Posts Tagged: ‘big_data’

POWER8 – ein wichtiger Meilenstein in der Big-Data-Technologie

30. Mai 2014 Posted by Wolfgang Wendt

In den vergangenen Wochen haben wir die achte Generation von Power-Systemen angekündigt. Während meiner Zeit bei IBM habe ich schon einige Power-Ankündigungen mitbekommen, das erste mal 1991, damals in der Gründungszeit der RS6000. Nun verfolge ich die Entwicklung schon seit mehr als 20 Jahren und ich muss sagen, dass ich immer wieder begeistert von den Neuerungen jeder Generation bin.

Derzeit begleitet IBM die Kunden mit POWER8 in das Zeitalter riesiger Datenmengen und damit steigender Komplexität. POWER8 unterstützt also genau das, was der Markt erwartet, die Businessanforderungen und Technologiemöglichkeiten stimmen überein. Die neuen Systeme unterstützen Unternehmen dabei, die rasant ansteigende Menge von Daten zu bewältigen und neue Workloads zu realisieren. In Rechenzentren können extrem hohe Datenanforderungen mit bisher nicht gekannter Geschwindigkeit verarbeitet werden und so in Echtzeit zur Verfügung stehen. Einem aktuellen Branchen-Benchmark zufolge ermöglichen die Power-Systeme von IBM unseren Kunden eine bis zu 1000-mal schnellere Datenanalyse, wodurch sich die Laufzeiten auf wenige Sekunden reduzieren. Bisher dauerte dies mehrere Stunden.

Die POWER8-Ankündigung ist vor allem für die Wirtschaft von enormer Bedeutung. Dies zeigten die ersten Gespräche, die ich mit Business Partnern und Kunden hierzu geführt habe. In den Gesprächen erlebe ich immer wieder die Begeisterung für die neue POWER8-Technologie. Unternehmen aus der Versicherungsbranche beispielsweise sehen enorme Vorteile für ihr Geschäft, auch der Indstriebereich hat schon die Verfügarkeit der Server angefragt. Es scheint geradezu eine Renaissance bei den Kunden zu sein, wenn es darum geht verschiedene Workflow-Applikationen an einer zentralen Stelle schnell zu verwalten.

Tom Rosamilia, der weltweite STG-Leader bezeichnet POWER8 als ersten wirklich bahnbrechenden Fortschritt bei High-End-Server-Technik seit Jahrzehnten. Er spricht von „radikalen technischen Neuerungen und vollständigem Support für ein offenes Server-Ökosystem, das unsere Kunden nahtlos in die Welt von riesigen Datenvolumina und Komplexität führen wird.“ Ich kann mich dem anschließen und bin gespannt was die Zukunft bringen wird.

Artikelserie: Was Sie schon immer ueber BigData wissen wollten

4. Dezember 2012 Posted by Romeo Kienzler

 Hallo. 

Ich möchte hier eine kleine Serie über BigData schreiben. 

Sie wird ungefaehr die folgenden Topics beinhalten: 

  • Was ist BigData? 
  • Einige interessante BigData UseCases aus Sicht von IBM 
  • Einige interessante BigData UseCases aus globaler Sicht 
  • BigData Storage 
  • BigData Analytics 
    • Applied Statistics / Descriptive, Predictive, Prescriptive
    • Large Scale Mathematics
    • BigData Visualization 
  • Parallelization / Harddisk / Hauptspeicher / CPU Datendurchsatz
  • Fehler Toleranz / Commodity Hardware 
  • 360 Grad Ansicht: ETL (Extract Transform Load), Hadoop, Stream Computing, Massive Parallel DWH 
  • Ausblick, Self-Service BI 

Ich möchte nun mit der Definition von BigData beginnen. 

Wir sehen ein Datanprozessierungsproblem als BigData Problem wenn mindestens eines 
der folgenden V's zutrifft: 

Volume

Die groessten traditionellen DWH's die ich in meiner Laufbahn bisher kennen lernen durfte 
waren ca. 100 TB gross. Hier wurde jedoch sorgfältig ausgewählt welche Daten man im DWH 
speichert und welche nicht. Ziel von BigData ist es, den Zugriff von Unternehmen auf alle fuer Ihre Entscheidung relevanten Daten zu erweitern.
 
 
image
 
 
 
 
 
 
 
 
Abbildung 1: Seit Beginn der Menschheitsgeschichte bis 2003 wurden gleich viel Daten produziert
wie seit 2003 bis heute. 100 Millionen Tweets werden pro Tag verschickt, 35 Stunden Video in
 jeder Minute auf YouTube geladen, 6,1 Billionen Textnachrichten wurden
 2011 gesendet und 247 Millarden E-Mails gingen durch das Netz. 80 % davon sind Spam und Viren.
Die Informationsmenge nimmt schneller zu als die Moeglichkeiten wie Unternehmen diese 
Informationen prozessierenkoennen. Fuer den Teil zwischen den beiden Kurven befinden sich die
 Unternehmen im Blindflug.


Variaety

In traditionellen DWH's werden nur strukturierte Daten aufbereitet die ueber einen ETL Prozess 
vorher sorgfaeltig vom relationalen relationalen in DWH spezifische Strukturen ueberfuehrt 
wurden. Man sagt dass diese Prozess vom Aufwand her oft schon 70-80% des DHW Gesamtaufwandes 
darstellt. Der neue Ansatz lautet "Feature Extraction". Daten werden nicht mehr transformiert 
sondern so wie sie von der Quelle stammen importiert. Dies beinhaltet nicht nur strukturierte 
Daten, sondern auch "semi-structured data" wie z.B. News-Feeds oder "unstructured data" wie 
z.B. Freiform-Texte, Audio und Video. 

Velocity

Man unterscheidet zwischen "Data at Rest" und "Data in Motion". Beim Letzteren geht es um 
Echtzeit oder annähernde Echtzeitprozessierung (Near-RealTime). Zumeist setzt dies voraus 
dass Daten nicht oder nur sekundaer auf persistenten Speichermedien gehalten werden. 
Das Data-Processing findet auf dem Netzwerk, im Hauptspeicher und letztendlich in der CPU 
statt. Ein prominentes Beispiel hierfuer ist momentan "Click-Stream Analytics", bei dem 
der Pfad eines Webseitenbesuchers in Echtzeit verfolgt wird und dazu passende Inhalte 
geschaltet werden (vgl. "Recommender System"). 

Im naechsten Beitrag werde ich auf einige interessante IBM BigData UseCases eingehen wo
klar wird welche Rolle die 3 V's spielen.

"Big Data" und der Informix Warehouse Accelerator

3. September 2012 Posted by Martin Fuerderer


IWA Logo Truck"Big Data" ist ein relativ neues Schlagwort im Vokabular des IBM Data Management. Daher gibt es nun viele Veranstaltungen und Informationen rund um das Thema bzw. mit dem Titel. Doch was bedeutet Big Data? Wann sind Daten big? Und was macht man dann, wenn man zu dem Schluss gekommen ist, dass die eigenen Daten nun big sind?

Im Allgemeinen bezieht sich das Attribut big wohl auf die Gesamtgrösse der Daten, die sich im Laufe der Zeit so angesammelt haben, wobei hierbei meist Daten gemeint sind, die aktiv benutzt werden (im Gegensatz zu solchen, die nur archiviert sind). Solange die aktive Nutzung der Daten gut funktioniert, werden die Daten oft noch nicht so richtig als big angesehen. Erst wenn Dinge allmählich aus den Fugen geraten, fällt auf, dass die Datenmenge gross ist: das Limit der Speicherkapazität wird erreicht, der normale Umgang mit den Daten wird schwerfällig (z.B. bei Routinebackups) und besonders wenn der normale Arbeitsablauf ins Stocken gerät, weil "die Performance" nachlässt.

 

Hiermit ist auch verständlich, dass das big in Big Data relativ zu sehen ist. Was z.B. für NASA oder ESA in Anbetracht einer riesigen Sammlung von hochauflösenden Satellitenfotos eine eher mickrige Datenmenge ist, kann für einen Mittelstandsbetrieb berechtigterweise Big Data sein, besonders wenn die Nutzung durch komplexe Abfragen einfach zu langsam oder sogar unmöglich wird.

 

Ist man erstmal zum Schluss gekommen, dass die eigenen Daten nun als Big Data einzustufen sind, stellt sich natürlich gleich die Frage, welche Möglichkeiten gibt es, trotzdem noch vernünftig damit zu arbeiten.

 

Andreas Weiniger, Leading Technical Sales Professional - Information Management bei IBM Deutschland, wird beim 3. virtuellen Information Management Forum zum Thema "Daten effizient verwalten, sichern und analysieren im Zeitalter von Big Data!" genau solche Möglichkeiten aufzeigen und erörtern. Sein Vortrag zum Thema In-Memory für den Mittelstand: Der Informix Warehouse Accelerator - Anwendungsfälle, Technologie und Lizenzen findet im Virtuellen Forum am 13. September von 11:15 - 12:00 Uhr statt. Andreas Weininger hat diese neue Technologie schon bei einigen Kunden in Deutschland erfolgreich zum Einsatz gebracht und spricht daher weniger über theoretische Möglichkeiten, sondern mit einer Menge praktischer Erfahrung.

 

Information, Agenda und Anmeldung zum 3. virtuellen Information Management Forum finden Sie hier:
http://www.ibm.com/de/events/im-forum-virtuell/index.html


Heute schon sehen, was morgen passiert — Mit IBM Information Management Lösungen in der Cloud

8. März 2012 Posted by Sandra Hegewald

 

Heute schon sehen, was morgen erst passiert? Den berühmten „Blick in die Glaskugel" werfen? Wer hat nicht schon einmal davon geträumt, in die Zukunft zu sehen, um zum Beispiel die Lottozahlen von morgen (oder zumindest die zukünftige Geschäftsentwicklung) voraussagen zu können? Prinzipiell gibt es dazu zwei Möglichkeiten:

 

1.      Man begibt sich auf dem örtlichen Jahrmarkt in ein dunkles Zelt und lässt sich von einer dubiosen Gestalt mit übernatürlichen Fähigkeiten und fragwürdigem Kleidungsstil, auch bekannt als „Medium", die Karten, Hühnerknochen oder sonst irgendwas legen, nur um zu erfahren, dass „demnächst" mit an Sicherheit grenzender Wahrscheinlichkeit „irgendetwas" passieren wird. Oder auch nicht, je nachdem. (Wem der Gang zum Jahrmarkt zu beschwerlich ist, kann seinen persönlichen „Zukunftsberater" selbstverständlich auch bequem vom Sofa aus anrufen - schließlich leben wir in einer modernen und vernetzten Welt.)

2.      Man wendet sich, wenn man es gern etwas seriöser mag, an Experten auf dem Gebiet der analytischen Datenverarbeitung und der IT-gesteuerten strategischen Unternehmensplaung wie etwa IBM und ihren Business Partner active logistics GmbH.

 

 Die Spedition Kunze GmbH wählte die zweite Möglichkeit. Und dies aus gutem Grund: Bedingt durch ein anhaltendes Wachstum und eine stetige Expansion stand die Kunze GmbH vor der Herausforderung einer immer größer werdender Komplexität ihrer Geschäftsabläufe. Die Verfolgung von bis zu einer Million Sendungen und Lieferungen pro Jahr entwickelte sich genauso zu einer immer schwierigeren Aufgabe wie die Verwaltung von Verpackungsabläufen und Kommisionierungen. Außerdem gestaltete sich die Analyse von Kunden- und Unternehmensdaten, wie zum Beispiel für die Gewinn- und Verlustrechnung, als zunehmend komplizierter.

 

Um der Datenflut Herr zu werden und die Sicherheit und Kontrolle der komplexen Logistik- und Businessperformance zu verbessern, vertraute die Kunze GmbH dem Know-how und den Lösungen von IBM und seinem Business Partner active logistics GmbH. Durch den Einsatz der IBM Informix® Dynamic Server Enterprise Edition sowie der active BIC Lösung basierend auf IBM System x3550 M2 und System x3650 M2 Servern konnte ein neues, cloudbasiertes Transport- und Datenmanagement System bereitgestellt werden, mit dessen Hilfe die Kunze GmbH beispiellose und umfassende Einblicke in seine Geschäftsabläufe gewinnen konnte.

 

So wurde eine 360-Grad-Sicht auf alle Tür-zu-Tür-Transporte und auf die Daten aller Niederlassungen, Abfertigungen und Kunden ermöglicht. Außerdem ist das Unternehmen nun in der Lage, Defizite bei wichtigen Logistik- und Personaleinsatzprozessen sowie die Entwicklungen der Bruttomargen zu ermittelm, indem positive und negative Abweichungen im zeitverlauf sichtbar gemacht werden. Darüber hinaus helfen Was-wäre-wenn-Analysen dabei, die Auswirkungen von operativen Veränderungen zu prognostizieren und so zum Beispiel vorauszusagen, in welchen Monaten logistische Engpässe auftreten könnten, wenn die Zahl der Lieferungen zukünftig um einen bestimmten Wert steigt.

 

Durch die neu gewonnene Transparenz kann die Kunze GmbH nicht nur die Kontrolle ihrer Geschäftsergebnisse erhöhen, sondern zusätzlich Kosten einsparen. Die bequeme Lösung aus der Cloud bewirkt eine im Branchenvergleich mehr als unübliche Reduktion der IT-Kosten auf weniger als 1 Prozent des Umsatzes.

 

Die Erfolge der Kunze GmbH mit den Infomation Management Lösungen von IBM zeigen: Anstatt Entscheidungen aus dem Bauch heraus zu treffen oder sich auf zwielichtige Zukunftsvorhersagen zu verlassen, gelingt es mit den richtigen Tools durch die systematische Analyse von Daten, fundierte Entscheidungen zu treffen, die dazu führen, dass Kosten gesenkt und Einnahmen erhöht werden können.

 

Nur eins können wir leider noch nicht: Und zwar die Lottozahlen von morgen vorhersagen... Wir arbeiten daran.