direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

Bachelorarbeit von Anne Haase

Implementierung und Evaluation eines Fortschrittindikators für massiv parallele Datenverarbeitung auf Basis des Nephele Frameworks

Zusammenfassung

Die Menge der weltweit verfügbaren digitalen Daten wächst täglich in einem rasanten Tempo. Allein der Zuwachs an so genanntem „User Generated Content“ im Internet beträgt mehr als 2 GByte pro Tag. Große Internetfirmen wie Google oder Yahoo! haben deswegen Frameworks für die Verarbeitung dieser riesigen Datenmengen entwickelt, die auf dem Einsatz großer Cluster und einer massiv-parallelen Verarbeitung basieren.

Die Jobs, die mithilfe dieser neuen Frameworks abgearbeitet werden, laufen mitunter mehrere Tage und erstrecken sich über hunderte von Rechenknoten. Strategien zur Ausfallsicherheit, z.B. zur Kompensation einzelner Knotenausfälle, stellen aus diesem Grund ein interessantes Forschungsthema dar.

Der Lehrstuhl für komplexe und verteilte IT-Systeme arbeitet zurzeit an dem Nephele Framework. Nephele erlaubt massiv-parallele Datenverarbeitung und ist auf den Einsatz in Cloud Computing Umgebungen optimiert. Die grundlegende Verarbeitungsabfolge eines Jobs wird dabei durch einen gerichteten azyklischen Graphen (im Englischen kurz DAG) beschrieben.

Im Rahmen dieser Bachelorarbeit sollen Verfahren für Ermittlung von Fortschrittsinformation eines Nephele Jobs implementiert und evaluiert werden.

Termine

Der Abschlussvortrag fand am 21.10.2010 statt.

Zusatzinformationen / Extras

Quick Access:

Schnellnavigation zur Seite über Nummerneingabe

Auxiliary Functions