Es ist unvorstellbar, welche Kapazitäten Facebook zum Speichern der täglich anfallenden Datenmengen benötigt. Im Frühjahr 2011 wurde es ziemlich eng, so dass ein neues Datenzentrum erschlossen werden musste. Während der Umzug in ein anderes Datenzentrum für kleinere Firmen kein großes Problem darstellen dürfte, befand sich Facebook in einem Konflikt, was die eleganteste Herangehensweise diesbezüglich betraf. Neben der Option, das System komplett abzuschalten um die vorhandenen Cluster von A nach B zu befördern, zog der Social Network Riese eine Spiegelung aller Daten ebenfalls in Betracht.
Es ist einfach ein logischer Schritt, wenn die Wohnung zu klein wird, einfach in eine größere zu ziehen um sich wieder wohl fühlen und vor allem frei entfalten zu können. Ähnlich sieht das bei Datenhungrigen Super-Netzwerken aus. Mehr als 750 Millionen User verursachen einen unvorstellbaren Traffic, den es zu beherrschen gilt ums stets ein stabiles System gewährleisten zu können.
Das auf Hadoop basierende Open Source-Framework, welches bei Social Networks gewöhnlich zum Einsatz kommt, platzte bei Facebook aus allen Nähten. Schließlich galt Facebook schon in der Vergangenheit als Betreiber des größten Hadoop-Clusters. Vor dem Umzug dachte man, mit 20 Petabyte Datenspeicher erst einmal bequem hinzu kommen. Im März 2011 betrug die Datenmenge bei Facebook nach Angaben von Paul Yang bereits um die 30 Petabyte. Einfach to much!
Hadoop Cluster
Als kleines Beispiel um diese geballte Datenmenge etwas veranschaulichen zu können, bietet sich der Vegleich mit der weltweit größten Bibliothek an.
Aktuell hat Facebook die 3000fache Menge der Daten der Library of Congress inne. Die Tendenz ist dabei klar steigend.
Den vorhanden Storage-Systemen konnte aus Platzgründen kein neues mehr hinzugefügt werden, so dass das Mammut Projekt des Facebook Umzugs von statten gehen musste. Nach längeren Überlegungen und dem Abwägen aller Umstände entschied sich das Team der Facebook Ingenieure für eine komplette Spiegelung der 30 Petabyte starken
Datenmasse.
Screenshot aus dem sogenannten War-Room der Facebooktechniker
In zwei Schritten vollzog sich der gesamte Umzug. Die User bekamen von all diesen Aufregungen nicht sonderlich viel mit. An dieser Stelle kann man schon einmal ein Kompliment an die Facebook Techniker aussprechen. Nun nachdem alles geglückt ist und die nächste Zeit erst einmal wieder überbrückt ist, kann Facebook weiter wieder fleißig Daten sameln.
Was die Replikation eines so gewaltigen Datenclusters angeht, bewegten sich die Techniker des Social Network Giganten ebenfalls auf absolutem Neuland und haben ihre Erfahrungen nun ausbauen können.
via winfuture
