Posts Tagged: ‘big’

IBM Insight Konferenz in Las Vegas

30. Oktober 2015 Posted by Thomas Kraus

Unter dem Motto 'Lead the Insight Economy' fand vom 25.-29. Oktober 2015 die IBM Insight Konferenz statt. Es ist die größte weltweite Veranstaltung zum Thema Big Data und Analytics. Mit rund 14.000 Teilnehmern und 1.600 sessions ist eine Vielzahl an Themen geboten, incl. einer großen Solution EXPO mit über 100 Sponsoren und Ausstellern.

Transform your Industry, Empower Yourself und Disrupt Your Marketplace waren die Aufhänger für die General Sessions - als Motivation für die Teilnehmer, sich den jeweiligen Themengebieten zu widmen. Vielen neue Ideen und Ansätze zu Advanced Analytics, Data Management, Internet of Things, Hadoop + Spark, Mobile, Cloud, Industry, Systems + Architecture, Content Management, Integration + Governance und Watson wurden mit einer Vielzahl von Sessions untermauert.

Highlight war auch die Ankündigung, dass IBM plant, das Produkt und Technologie Geschäft von 'The Weather Company' zu übernehmen.

ibm.com/ibmandweather

Die Aquisition würde IBM's kognitive und analytische Plattformen zusammenbringen mit der dynamischen Cloud Data Plattform von The Weather Company.

dev@insight umfasste einen Bereich dediziert für Techies, die für die Insight Economy entwickeln. Anwendungsentwickler konnten hier Hands-On Erfahrungen machen mit Watson, Spark, Analytics, Bluemix, Mobile und Security.

Hadoop und Spark waren auch wichtiger Teil der Konferenz, insbesondere bei Apache Spark ist IBM in eine Vorreiter-Rolle gegangen, da die Open Source Technologie Spark in eine Vielzahl von Produkten Einzug erhält.

Kundenvorträge und Erfahrungsberichte waren ebenfalls ein wichtiger Bestandteil, auch europäische Kunden waren hier vertreten.

Hier kann man einen Eindruck von der IBM Insight 2015 bekommen:

http://ibmgo.com

http://ibmevents.tumblr.com

#ibminsight

 

IBM Insight 2014 Konferenz in Las Vegas

6. November 2014 Posted by Thomas Kraus

Vom 26. Bis 30. Oktober 2014 fand in Las Vegas, USA die IBM Insight 2014 Konferenz statt. 

Die IBM Insight (bisher bekannt unter dem Namen IOD – Information on Demand) ist die zentrale Kundenkonferenz zum Thema Big Data und Analytics, mit mehr als 13.000 Teilnehmern.

Die Tracks unterteilen sich in die Gebiete Business Analytics, Information Management, Enterprise Content Management, Business und Industry Leadership und Watson/Cognitive Computing. Desweiteren sind die Themen Cloud, Security und Infrastructure Matters ebenfalls ein wichtiger Bestandteil der Konferenz.

Innerhalb der IBM Insight gab es den Bereich <dev>@Insight, der speziell für Anwendungsentwickler und Practitioner ausgelegt war, um hands-on Erfahrungen mit Technologien wie Bluemix, Softlayer, API’s, devOps, Watson cognitive und dem Internet of Things zu ermöglichen.

Es gab eine Reihe von Ankündigungen, hier exemplarisch einige Highlights:

  • IBM DataWorks, um Rohdaten in relevante Informationen zu transformieren und für Business User und Anwendungsentwickler zur Verfügung zu stellen
  • IBM dashDB, als neuer Datawarehouse und Analytics Service in der Cloud
  • IBM Cloudant Data Layer Local Edition, als NoSQL Datenbank um Mobile, Web und Internet of Things Anwendungen zu unterstützen
  • IBM PureSystems for Analytics N3001, als neues Modell der PureData System for Analytics Familie mit bis zu 1,5 PB User Kapazität
  • IBM InfoSphere System z Connector for Hadoop, um Datensourcen auf dem Mainframe (DB2, IMS, VSAM, log data) effizient und sicher in ein Hadoop Cluster zu integrieren

Ein großer Meilenstein war die Ankündigung der Partnerschaft zwischen IBM und Twitter, um die Daten von Twitter mit IBM Analytics Lösungen zu integrieren. Damit sollen Unternehmen ihre Kunden, Märkte und Trends besser verstehen.

Alles in allem eine sehr inspirierende Konferenz, mit zahlreichen neuen Ideen und Denkanstößen für Anwendungsfälle in verschiedenen Industrien, als Beispiel Watson Analytics und Einsatzgebiete im Gesundheitswesen bei der Krebsvorsorge.

Der Konferenz-Blog für weitere Informationen:

http://ibmevents.tumblr.com/

 

Der aktuelle STG Launch im Zeichen von Big Data

28. Oktober 2014 Posted by Wolfgang Wendt

Anfang Oktober 2014 haben wir umfassende Produkte und Produkt-Updates aus verschiedenen Bereichen der Systems and Technology Group angekündigt. Eine Gemeinsamkeit teilen alle diese Neuerungen: Sie stehen im Zeichen von Big Data. Denn für vieler unserer Kunden bleibt es eine Herausforderung, leistungsfähige technologische Infrastrukturen aufzubauen, um Nutzen aus den immer schneller wachsenden Datenmengen zu ziehen.

Ein Blick auf die Power-Ankündigungen zeigt, dass wir unser Geschäftsmodell der offenen Innovationen konsequent weiterverfolgen. So bauen sämtliche Systeme auf dem POWER8-Prozessor auf, der speziell für besonders anspruchsvolle Big Data-Anwendungen entwickelt wurde, und integrieren neben IBM-Technologien auch die anderer Mitglieder der OpenPOWER Foundation. Besonders beeindruckt hat mich der IBM Power S824L Server, der Millionen von Rechenvorgängen parallel schaltet und erheblich beschleunigt. Davon profitieren Kunden der unterschiedlichsten Branchen – seien es Banken, die Risiken analysieren oder Mediziner, die Heilmittel für Krankheiten suchen.

Bei der Datenspeicherung setzen wir weiterhin auf Software Defined Storage, um Kunden ebenfalls schnelle Datenanalysen sowie eine praktisch unbegrenzte Skalierung kostengünstig bieten zu können. Das für mich hier hervorstechende Produkt ist der neue IBM Elastic Storage Server, die Kombination aus unserem POWER8 Server mit einer Speichersoftware.

Erste positive Berichte von Kunden und Fachpresse zeigen uns, daß wir auf einem sehr guten Weg sind. Das macht mich gleichermaßen stolz und gespannt auf die Zukunft.  

Teil 2 meiner Artikelserie über BigData

20. Dezember 2012 Posted by Romeo Kienzler

 Im zweiten Teil der Serie über BigData möchte ich einige interessante Usecases von IBM vorstellen.
 
IBM Watson:

Watson, der Supercomputer welcher Anfang 2011 die beiden Jeopardy - Champions geschlagen hat
vereint zwei der Paradigmen, welche für alle BigData Projekte gelten. Einen modernen und
fortschrittlichen Algorithmus und die technische Möglichkeit diesen Algorithmus in kurzer 
Zeit auf sehr grosse Datenmengen anzuwenden.

Der Algorithmus bei Watson ist ein System welches DeepQA genannt wird (http://www.research.ibm.com/deepqa/deepqa.shtml). Es handelt sich hierbei um eine Weiterentwicklung
klassischer QA (Question Answering) Systeme. Kern von DeepQA ist die Erweiterung der
klassischen, Wissensbasierten Systeme um eine statistische Komponente die die neusten Entwicklungen
der NLP (Natural Language Processing) Forschung einfliessen lässt. 

Um nun diesen Algorithmus in ausreichender Geschwindigkeit mit Daten zu füttern hat sich IBM der allerneusten Power -- Prozessortechnologie  http://www-03.ibm.com/systems/power/index.html bedient. Kern bei dieser Prozessorgeneration ist die Tatsache dass sich ein Teil des Hauptspeichers nun auf dem Prozessorkern selbst befindet. Durch Zusammenschaltung von 2880 solcher CPU Kernen war
es möglich den Text des gesamten englischsprachigen Internets (dedupliziert nur ca. 1 TB!) auf den CPU Kernen zu speichern und somit die Suchanfragen in einer Taktfrequenz von über 5 Ghz auszuführen.

Die Ergebnisse der Suchanfrage wurden von DeepQA ausgewählt und je nach statistischer Zuversichtlichkeit des Systems
als mögliche Antwort vorgeschlagen. Hier musste extrem auf den Echtzeit-Aspekt wert gelegt werden da die Kandidaten
den „Buzzer" auch im Millisekundenbereich gedrückt haben.


Vestas:

Vestas stellt u.a. Windkraftanlagen her, möchte aber seine Kunden auch optimal beraten, wo diese Windkraftanlagen
am besten aufgestellt werden. Hierfür haben sie ein auf 2.8 PB (PetaByte, 1000 TB = 1 PB) Daten basierendes System entwickelt welches für eine Berechnung drei Wochen benötigt hat. Mit dem IBM BigInsights System und 15000
CPU Kernen wurde die Antwortzeit auf 15 Minuten verringert. Das System kann ohne Software seitigen Anpassungen
vergrössert werden, Vestas möchte das System innerhalb der nächsten Zeit auf 20 PB vergrössern.
 
 
Datenüberwachung einer Neugeborenen Intensivstation:

Mittels der IBM InfoSphere Streams massive parallelen und In-Memory Dataprocessing Middleware werden 16 Sensor-Streams von Neugeborenen in Echtzeit überwacht. Mithilfe eines statistischen Modells kann das System eine
Infektion 24 Stunden vor einem menschlichen Experten vorhersagen. Dieser Zeitvorsprung kann lebensrettend sein.
 
 Video 
 
Im nächsten Teil werde ich noch einige interessante Nicht-IBM Usecases aufzeigen um dann in die Technik einzutauchen.

Ich wünsche allen frohe Weihnachten und einen guten Rutsch ins Jahr 2013.

 

Artikelserie: Was Sie schon immer ueber BigData wissen wollten

4. Dezember 2012 Posted by Romeo Kienzler

 Hallo. 

Ich möchte hier eine kleine Serie über BigData schreiben. 

Sie wird ungefaehr die folgenden Topics beinhalten: 

  • Was ist BigData? 
  • Einige interessante BigData UseCases aus Sicht von IBM 
  • Einige interessante BigData UseCases aus globaler Sicht 
  • BigData Storage 
  • BigData Analytics 
    • Applied Statistics / Descriptive, Predictive, Prescriptive
    • Large Scale Mathematics
    • BigData Visualization 
  • Parallelization / Harddisk / Hauptspeicher / CPU Datendurchsatz
  • Fehler Toleranz / Commodity Hardware 
  • 360 Grad Ansicht: ETL (Extract Transform Load), Hadoop, Stream Computing, Massive Parallel DWH 
  • Ausblick, Self-Service BI 

Ich möchte nun mit der Definition von BigData beginnen. 

Wir sehen ein Datanprozessierungsproblem als BigData Problem wenn mindestens eines 
der folgenden V's zutrifft: 

Volume

Die groessten traditionellen DWH's die ich in meiner Laufbahn bisher kennen lernen durfte 
waren ca. 100 TB gross. Hier wurde jedoch sorgfältig ausgewählt welche Daten man im DWH 
speichert und welche nicht. Ziel von BigData ist es, den Zugriff von Unternehmen auf alle fuer Ihre Entscheidung relevanten Daten zu erweitern.
 
 
image
 
 
 
 
 
 
 
 
Abbildung 1: Seit Beginn der Menschheitsgeschichte bis 2003 wurden gleich viel Daten produziert
wie seit 2003 bis heute. 100 Millionen Tweets werden pro Tag verschickt, 35 Stunden Video in
 jeder Minute auf YouTube geladen, 6,1 Billionen Textnachrichten wurden
 2011 gesendet und 247 Millarden E-Mails gingen durch das Netz. 80 % davon sind Spam und Viren.
Die Informationsmenge nimmt schneller zu als die Moeglichkeiten wie Unternehmen diese 
Informationen prozessierenkoennen. Fuer den Teil zwischen den beiden Kurven befinden sich die
 Unternehmen im Blindflug.


Variaety

In traditionellen DWH's werden nur strukturierte Daten aufbereitet die ueber einen ETL Prozess 
vorher sorgfaeltig vom relationalen relationalen in DWH spezifische Strukturen ueberfuehrt 
wurden. Man sagt dass diese Prozess vom Aufwand her oft schon 70-80% des DHW Gesamtaufwandes 
darstellt. Der neue Ansatz lautet "Feature Extraction". Daten werden nicht mehr transformiert 
sondern so wie sie von der Quelle stammen importiert. Dies beinhaltet nicht nur strukturierte 
Daten, sondern auch "semi-structured data" wie z.B. News-Feeds oder "unstructured data" wie 
z.B. Freiform-Texte, Audio und Video. 

Velocity

Man unterscheidet zwischen "Data at Rest" und "Data in Motion". Beim Letzteren geht es um 
Echtzeit oder annähernde Echtzeitprozessierung (Near-RealTime). Zumeist setzt dies voraus 
dass Daten nicht oder nur sekundaer auf persistenten Speichermedien gehalten werden. 
Das Data-Processing findet auf dem Netzwerk, im Hauptspeicher und letztendlich in der CPU 
statt. Ein prominentes Beispiel hierfuer ist momentan "Click-Stream Analytics", bei dem 
der Pfad eines Webseitenbesuchers in Echtzeit verfolgt wird und dazu passende Inhalte 
geschaltet werden (vgl. "Recommender System"). 

Im naechsten Beitrag werde ich auf einige interessante IBM BigData UseCases eingehen wo
klar wird welche Rolle die 3 V's spielen.