TU Berlin

Department of Telecommunication SystemsImplementierung und Evaluation eines Fortschrittindikators für massiv parallele Datenverarbeitung auf Basis des Nephele Frameworks

Page Content

to Navigation

Bachelorarbeit von Anne Haase

Implementierung und Evaluation eines Fortschrittindikators für massiv parallele Datenverarbeitung auf Basis des Nephele Frameworks

Zusammenfassung

Die Menge der weltweit verfügbaren digitalen Daten wächst täglich in einem rasanten Tempo. Allein der Zuwachs an so genanntem „User Generated Content“ im Internet beträgt mehr als 2 GByte pro Tag. Große Internetfirmen wie Google oder Yahoo! haben deswegen Frameworks für die Verarbeitung dieser riesigen Datenmengen entwickelt, die auf dem Einsatz großer Cluster und einer massiv-parallelen Verarbeitung basieren.

Die Jobs, die mithilfe dieser neuen Frameworks abgearbeitet werden, laufen mitunter mehrere Tage und erstrecken sich über hunderte von Rechenknoten. Strategien zur Ausfallsicherheit, z.B. zur Kompensation einzelner Knotenausfälle, stellen aus diesem Grund ein interessantes Forschungsthema dar.

Der Lehrstuhl für komplexe und verteilte IT-Systeme arbeitet zurzeit an dem Nephele Framework. Nephele erlaubt massiv-parallele Datenverarbeitung und ist auf den Einsatz in Cloud Computing Umgebungen optimiert. Die grundlegende Verarbeitungsabfolge eines Jobs wird dabei durch einen gerichteten azyklischen Graphen (im Englischen kurz DAG) beschrieben.

Im Rahmen dieser Bachelorarbeit sollen Verfahren für Ermittlung von Fortschrittsinformation eines Nephele Jobs implementiert und evaluiert werden.

Termine

Der Abschlussvortrag fand am 21.10.2010 statt.

Navigation

Quick Access

Schnellnavigation zur Seite über Nummerneingabe