Posts Tagged: ‘timeseries’

Informix beschleunigt die Analyse von Sensordaten

9. April 2013 Posted by Martin Fuerderer


Sensordaten sind für das Datenmanagement eine der bedeutenden Herausforderungen für die nächste Zeit. Üblicherweise fallen Sensordaten wiederholt an, oft sogar in regelmässigen Zeitabständen. Wenn es dazu noch recht viele Sensoren gibt, dann wird deutlich, dass schnell eine unüberschaubare Menge an Daten angehäuft wird. Ein oft zitiertes Beispiel in den letzten Jahren sind intelligente Stromzähler ("Smart Meters"), welche dem Stromlieferanten mehrfach täglich die gemessenen Verbrauchsdaten zurückmelden, oft sogar im Viertelstundentakt.

 

Dass der Informix Server besonders gut geeignet ist, solche sog. Zeitreihendaten zu speichern und zu verarbeiten, hat sich mittlerweile in der Branche schon herumgesprochen. Hierbei kommt die IBM Informix TimeSeries Technologie zum Einsatz, die für solche Anwendungen speziell entwickelt wurde und den Datenbankapplikationen auch besondere Funktionen anbietet, die dem Umgang mit dem Zeitreihendatentyp gerecht werden.

 

Im Zuge des allgemeinen Trends, vorhandene Daten für verschiedenste Zwecke mit analytischen Methoden auszuwerten, wird nun vermehrt gefordert, dies auch für Sensordaten zu ermöglichen. Die grosse Menge der Sensordaten ist hierbei jedoch ein beträchtliches Hindernis, denn analytische Abfragen betreffen meist alle vorhandenen Datensätze und sind zudem oft sehr komplex. Diese Kombination zwingt auch grösste Datenbanksysteme in die Knie. Zu lange Antwortzeiten machen die Abfragen selbst sinnlos.

 

Mit der neuen Version 12.10 bietet der Informix Server nun die Möglichkeit, auch die Analyse von Zeitreihendaten zu beschleunigen. Trotz seiner speziellen Speicherung kann der Zeitreihendatentyp nun als Faktentabelle in einen "data mart" im Informix Warehouse Accelerator (IWA) integriert werden. Somit stehen die Zeitreihendaten zusammen mit den normalen Daten für die Beschleunigung analytischer Abfragen zur Verfügung. Antwortzeiten der so beschleunigten Abfragen entsprechen den mit IWA üblicherweise erreichten Werten, realisiert durch die einzigartige In-Memory Technology, die den kompletten Umfang eines "data mart" im Hauptspeicher hält und somit bei Abfragen auf jeglichen Festplatten-I/O verzichten kann.

 

Beim "Big Data Launch", einer Veranstaltung im IBM Research Lab Almaden, Silicon Valley, zum Erscheinen neuer Versionen von Informix und DB2, wurde die neue Integration von IBM Informix TimeSeries Technologie mit dem Informix Warehouse Accelerator erfolgreich demonstriert - auf einem Rechnersystem, das im Münchner Gebäude der IBM steht, denn ein wesentlicher Teil der Informix IWA-Entwicklung und -Integration findet in München statt. In enger Zusammenarbeit konnten die an der Entwicklung beteiligten Kollegen im Silicon Valley das Müncher System mittels Remote-Zugriff für ihre Vorführung nutzen. Komplexe Abfragen über ca. 900 Millionen Datensätze wurden so innerhalb von 2 Sekunden beantwortet.