Big Data

Was Big Data bezeichnet

Big Data bezeichnet Datenbestände, die sich mit herkömmlichen Datenbanken und Auswertungswerkzeugen nicht mehr sinnvoll verarbeiten lassen. Der Begriff beschreibt damit keine feste Menge, sondern ein Missverhältnis zwischen Datenaufkommen und verfügbarem Verfahren. Was heute ein Rechenzentrum beschäftigt, läuft in zehn Jahren womöglich auf einem einzelnen Server. Wie sich vorhandene Bestände dafür zusammenführen lassen, ordnet die Datenmigration ein.

Beschrieben wird das Missverhältnis über drei Merkmale. Das Volumen meint die schiere Menge. Die Geschwindigkeit meint, wie schnell neue Daten entstehen und ausgewertet werden müssen. Die Vielfalt meint die Mischung aus geordneten Tabellen, freiem Text, Bildern und Messwerten. Erst das Zusammentreffen aller drei macht den Unterschied. Eine große, gleichförmige Tabelle ist dagegen ein Fall für die klassische Datenbankentwicklung und keine besondere Herausforderung.

Wo solche Datenmengen entstehen

Typische Quellen sind Sensoren in Produktion und Logistik, Protokolle aus IT-Systemen, Zahlungsverkehr, Messnetze in der Umweltbeobachtung sowie Bild- und Videomaterial. Gemeinsam ist ihnen, dass die Daten fortlaufend anfallen und einzeln kaum Wert haben. Ein einzelner Temperaturwert sagt nichts, eine Messreihe über zwei Jahre kündigt einen Maschinenausfall an. Der Wert entsteht im Muster, nicht im einzelnen Datensatz.

Wie die Auswertung abläuft

Eine Big Data Analyse folgt vier Schritten. Zuerst werden Daten aus verschiedenen Quellen eingesammelt und an einer Stelle abgelegt. Dann werden sie bereinigt und vereinheitlicht, was regelmäßig den größten Aufwand ausmacht. Anschließend folgt die eigentliche Auswertung, meist verteilt über viele Maschinen. Zuletzt steht die Darstellung, ohne die kein Ergebnis genutzt wird. Der dritte Schritt bekommt die Aufmerksamkeit, der zweite kostet das Geld.

Ohne Bereinigung liefert jede Auswertung überzeugenden Unsinn. Wer Datenmengen auswerten will, investiert deshalb den größten Teil der Zeit in Herkunft, Vollständigkeit und Vergleichbarkeit der Daten und nicht in das Verfahren.

Rechtliche Grenzen und Aufwand

Sobald Personenbezug besteht, gelten Zweckbindung, Löschfristen und Auskunftsrechte, was der Sammellogik entgegensteht. Sinnvoll ist deshalb, früh zu trennen, was anonymisiert ausgewertet werden kann und was nicht. Eine nachträgliche Anonymisierung großer Bestände gelingt selten vollständig, weil sich Personen über die Kombination mehrerer Merkmale wieder erkennen lassen. Zum Big Data Management gehört außerdem eine Antwort auf die Frage, wer Datenqualität verantwortet und wie lange Bestände aufbewahrt werden. Die Rechenleistung für verteilte Auswertungen kommt dabei meist aus der Cloud-Infrastruktur, weil der Bedarf stark schwankt und eigene Hardware die Spitzen abdecken müsste. Genau daraus entsteht allerdings die Frage nach dem Speicherort der Daten.