PlanetNTF

Mein Name ist Romeo Kienzler und ich arbeite als Data Scientist, Architect und Technology Evangelist bei IBM Zurich (EcoD DACH) und befasse mich hautsächlich mit dem Thema „Data Management & Analytics in the Cloud“ auf der technischen Ebene.

Mein Fokus liegt hauptsächlich in der Betreuung von Start-Ups und akademischen Einrichtugen – ab und zu arbeite ich aber auch mit grösseren Enterprise-Kunden.

Ich arbeite nun seit dem Beginn der “OpenBeta” Anfang 2014 intensiv mit Bluemix und möchte hier einen kurzen Erfahrungsbericht schreiben.

IBM Bluemix, die „Open by Design“ PaaS (Platform as a Service) Cloud der IBM die auf offenen Standards basiert

IBM Bluemix ist die PaaS (Platform as a Service) Cloud von IBM welche letztes Frühjahr in die „Open Beta“ ging und seit knapp über einem Jahr nun in Produktion ist.

Der Hauptunterschied zu anderen PaaS Clouds ist der „Open By Design“ approach den IBM hier fährt. Anstelle von proprietären Schnittstellen basiert die IBM Cloud auf den Standards „OpenStack“, „DOCKER“ und „CloudFoundry“. OpenStack ist ein offener Standard für Infrastructure Clouds (IaaS), CloudFoundry das äquivalent dazu für Platform Clouds (PaaS) und DOCKER sind „ultra-light“ virtuelle Maschinen die auf Container Isolation basieren. Eine Docker VM startet beispielsweise in < 100 ms. Somit wird der „Vendor Lock-In“ reduziert – andererseits profitieren die OpenSource Communities auch von OpenSource Engagement der IBM.
Wie das OpenSource Engagement von IBM aussieht? Derzeit arbeiten beispielsweise über 150 aktive IBM Entwickler am Source – Code von „CloudFoundry“. Zusätzlich ist IBM auch Mitglied in der CloudFoundry Foundation, offizieller Platinum Member der OpenStack Foundation und ist mit DOCKER eine stategische Partnerschaft eingegangen. Ich denke dass diese Standards in hohem Masse von den Erfahrungen die IBM im Enterprise Geschäft hat profitieren da IBM einerseits sicherstellt dass diese Standards sich den Bedürfnissen der Enterprise Kunden anpassen und kontinuierlich erweitert werden, andererseits profitieren die Kunden davon Ihr Know-How, Prozesse und Toolset nun mit jeder Cloud (private, hybrid oder public) verwendet werden können die auf diesen Standards basiert.

Doch was macht der offene CloudFoundry – Standard eigentlich so spannend?

Das offene System bringt entscheidende Vorteile in Sachen Kompatibilität und Breite der angebotenen Technologien.

Es gibt weltweit keine Cloud die mehr Services anbietet, als die IBM Platform Cloud, aktuell sind es über 100 Services, aber es kommt ca. jeder Woche mindestens einer dazu. Neben Standards Services wie MongoDB, MySQL, PostgreSQL, Redis, DB2, CouchDB gibt es auch spezialisierte Services für alle möglichen Anforderungen.

Auf Runtime-Ebene wird alles von IBM WebSpehre Liberty (JEE Container analog TomCat oder Jetty) über Node.js zu einer Vielzahl von CloudFoundry Plugins für nahezu jede Programmiersprache und Frameworks unterstützt. Dies gilt nicht nur für PHP, Python oder Perl sondern auch für „Exoten“ wie Go, R, Scala oder „Aliens“ wie Eiffel, Erlang oder Haskel.

Aber neben den Runtimes gibt es auch ein offenes Services – Ecosystem und Dies wird durch den sogenannten IBM Cloud Marketplace ermöglicht in dem Fremdanbieter Ihren Service über IBM anbieten können – hierbei geschieht die Abrechnung jedoch zentral via IBM – ähnlich einem App-Store – nur für Services. Und nicht zu vergessen natürlich die IBM Watson Cognitive Comuting Services oder auch die Cloud Integration Services mit dem man ein lokales Data Center mit der IBM Cloud integrieren kann.

Meine ganz persönliche Erfahrung mit IBM Bluemix

Ich habe nun diese Reise seit über 18 Monaten begleitet und kann mit guten Gewissen sagen, dass die IBM Platform Cloud unter den grossen Wettbewerbern die offenste und reichhaltigste darstellt.

Es macht wirklich Spass damit zu entwickeln, da man sich nun voll und ganz auf die Applikationsentwicklung konzentrieren kann – lästiges Aufsetzen von Servern, Infrastruktur, Netzwerk und Middleware entfällt völlig. Eine Datenbank startet in unter 7 Sekunden und eine Applikation ist mit einem einzigen Befehl in ca. 1 Minute installiert und unter einer öffentlichen URL erreichbar.

Und nicht nur dies, mit einer einfachen zusätzlichen Konfiguration ist die Applikation sogar horizontal skalierbar – ohne die eigentliche Applikation zu ändern. Dies bedeutet dass bei geringem Workload die Applikation faktisch „schläft“ und nur ein Minimum an Resourcen benötigt. Wir die Applikation jedoch hohem Load ausgesetzt werden vollautomatisch zusätzliche Instannzen auch über Servergrenzen hinweg gestartet und auch wieder gestoppt. Dies alles geschieht ohne Zutun des Applikationsentwicklers und auch ohne dass der Anwender etwas davon mitbekommt. (Ausser natürlich eine angenehme, immer konstante – vordefinierte – Response-Time von z.B. 100ms).

Schlussendlich bietet diese Cloud zusätzlich noch eine komplette DevOps Integration mit automatischem Build Service „as a Serivce“ basierend auf Jenkins mit Plugins für Maven, Ant, Grunt, Gradle, ein privates GIT repository , Eclipse Orion, Rational Jazz und vieles mehr. Somit können neben traditionellen Softwareentwicklungsprozessen auch moderne Prozesse wie Scrum, Kanban, Contineous Integration und Contineous Delivery einfach intergriert werden – wenn nötig sogar ohne lokale installationen da sowohl Eclipse, das Source Code Reposiotry, der BuildServier und die Runtime als Cloud – Service verfügbar sind. Natürlich kann auf Wunsch auch jede Komponente lokal oder bei einem anderen Cloud-Provider verwedet werden.

IBM hat hier ein Meisterstück geleistet

Dies alles hat IBM in ca. 1 Jahr vom Beta auf Produktionsqualität getrieben und dies ist erst der Anfang der Reise. Falls alle Software die IBM im Portfolio hat wird Cloud enabled d.h. über Bluemix.net verfügbar sein – zusätzlich natürlich mit dem wöchentlich wachsenden Partnernetzwerk.

Interessiert? Versuchen Sie es doch selbst einmal – IBM hat einen sehr grosszügigen „Free Tier“ bei dem (unabhängig von der einmonatigen Trial) viele Services und Runtimes kostenlos (auch in Produktion) genutzt werden können.

Unter folgendem Link können Sie sich für die Trial registieren (wird nach 30 Tagen automatisch ins Free Tier konvertiert): ibm.biz/joinIBMCloud

Anbei noch ein kleines Video-Tutorial in dem man sehen kann dass wie man eine JavaEE WebApplikation innerhalb von 60 Sekunden schreiben und unter einer öffentlichen URL in der IBM Cloud verfügbar machen kann.

Have you ever worked with a pattern based cloud solution? For those who have I think the advantages are quite obvious.

For those who haven't please let me briefly explain.

In IaaS clouds you are obliged to manage the whole middle ware stack yourself. From the DB system to message queues and application servers. Things are getting even more complicated once you need to scale-out.

On Cloudfoundry based PaaS clouds this is all handled for you. The application server tier automatically scales out and provides fail over redundancy. Depending on the SLA of the services you are binding to it they also provide scale out and fail over redundancy.

One disadvantage of Cloudfoundry clouds is maintenance of different versions and configurations of middle ware products. Basically you are forced to use the software level and configuration sets the service provider (in the case of IBM Bluemix this is either IBM itself or 3rd party providers partnering with IBM in the cloud marketplace) supports.

Patterns for fast deployments

This fact sometime is a show stopper for migrating application from IaaS to PaaS. Already in 2012 IBM

released the Pure Application System which basically is a private, on-premise cloud appliance. Your deployment model is expressed in a so-called "pattern" and just installed on top of it. This pattern can refer to different SW packages like Databases, Message Queues, Application Servers and even more sophisticated SW like IBM Cognos.

Once needed these packages are installed automatically on top of virtual machines running on either KVM, VMWare or PowerVM. All the configuration needed is done automatically, this has designed by IBM Experts (this is why we call these systems "Expert Integrated Systems", because from the Hardware to the Software all united IBM expertise was used to build and automate this systems).

Cloud & OnPremise? Yes…

And guess what? These Systems are also available in the cloud on IBM Softlayer (http://www.ibm.com/ibm/puresystems/us/en/hybrid-cloud/) and support the OpenTOSCA standard, so you basically get your TOSCA runtime in the cloud already.

But what is wrong about virtual machines? Basically nothing besides a tremendous amount of resource overhead (and latency on re-scale operations). Google is not running a single virtual machine anymore! This has been achieved by a modification of the Linux kernel allowing processed to be grouped together and isolated from each other. So basically every process group has its own process three, file system tree, main memory segment, CPU slice and I/O bandwidth which allows them to be separated from each other as they would run in separate virtual machines. In addition to that different types of workloads can be co schedules on a CPU core increasing multi threading efficiency due to a fuller instruction pipeline (if similar instructions are in a CPU pipeline the CPU will insert NOP instructions in order to account for latencies of different functional units on the CPU).

This has been open sourced by Google in 2007 and is now part of the official Linux kernel since Version 2.6.24 It is called cgroups.

Linux container systems are making use of cgroups by providing a management layer on top of it. The most famous one is called DOCKER. DOCKER can be used to build container clouds and guess what? IBM announced a partnership which DOCKER yesterday (http://www-03.ibm.com/press/us/en/pressrelease/45597.wss).

So the good news is that you can benefit from this transparently because as a user of the Pure Application System you won't notice a shift from virtual machines to containers besides an increase in speed, decrease in resource consumption and a smoother scale-out behavior. The same holds for IBM Bluemix, where the runtimes are already based on container level isolation, I'm guessing that a subset of services in Bluemix will also be migrated to run in containers allowing them to be further isolated and individually configured with desired software levels and configurations.

Of course you can use DOCKER already now on Softlayer (https://docs.docker.com/installation/softlayer/) and I'm very excited in seeing what IBM will create out of the DOCKER partnership, (e.g. DevOps) to further facilitate our lives, stay tuned!

This entry is also available in english.

Watson - 2880 CPU-Kerne , 90 Power7 + Knoten , 16 TB Hauptspeicher, äquivalente Wissensbasis von zweihundert Millionen Buchseiten und ein ausgeklügeltes semantisches Such- und Hypothesenvalidierungssystem .

Ich nehme an, Sie haben die Jeopardy Show, welche Watson 2011 gegen zwei Weltmeister gewann mitverfolgt. Die Genauigkeit, mit der Watson in der Lage war, die Fragen zu beantworten, war erstaunlich, und wir sollten den Mitarbeitern des IBM Watson Research Lab für die Erfindung von DeepQA , ein System das in der Lage ist, die Semantik der menschlichen Sprache zu verstehen, dafür danken.

Dies ist ein großer Unterschied zu traditionellen Suchmaschinen, die nur Textabfragen interpretieren ohne die eigentliche semantische Bedeutung zu verstehen.

Zum Beispiel die Frage : "Welche Krankheit verursacht eine Uveitis bei einem Patienten mit Familiengeschichte von Arthritis die sich in kreisförmigem Hautausschlag, Fieber und Kopfschmerzen äussert?" Eine klassische Suchmaschine antwortet mit einer Liste von Suchtreffern, basierend auf Text die ein Domäne Experte manuell nacharbeiten muss um die relevanten Informationen zu extrahieren.

Wenn Sie die gleiche Frage Watson stellen , ist die Antwort :

76% Lyme-Krankheit,

1% Behcet -Krankheit,

1% Sarkoidose

Neben der reinen Beantwortung ist Watson auch in der Lage, die Wahrscheinlichkeit der Richtigkeit seiner Antwort zu berechnen. Dies ist ein wichtiger Aspekt im Cognitive Computing , bei dem Maschinen nichtdeterministisches Verhalten an den Tag legen – ähnlich wie Menschen. Um der Nachfrage nach dieser Art von Systemen nachzukommen gründete IBM kürzlich die Watson -Gruppe.

Aber IBM will eigentlich keine Shows gewinnen – wir wollen einen „Smarter Planet“. In 15 Sekunden beispielsweise kann Watson für Healthcare zweihundert Millionen Seiten klinischer Daten lesen, die Symptome von einer Million Krebspatienten querreferenzieren oder Millionen von aktuellen medizinischen Fachzeitschriften lesen, um Hypothesen zu testen.

Um die Menschheit noch stärker von Watson profitieren zu lassen, bietet IBM Watson in der Cloud im Watson for Ecosystem Program an, bei dem Independent Software Vendors (ISVs) in der Lage sind ihre individuellen Lösungen auf Basis von Watson -Technologie aufzubauen.

Ein prominentes Beispiel hierfür ist "The North Face ", wo Watson die „Consumer Experience“ mit einer Lösung vom IBM ISV-Partner „FluidRetail“ verbessert .

Aber die Fähigkeit, Ergebnisse in Millisekunden zurückzuliefern ist vor allem auf Innovationen im Design der IBM Mikroprozessoren zurückzuführen. Seit einigen Jahren wächst die CPU- Geschwindigkeit schneller als die Zugriffsgeschwindigkeit auf den Hauptspeicher. Obwohl mehrschichtige Caching Layer das Problem abschwächen wird der Engpass immer größer.

Falls dieses Problem nicht adressiert wird, wird in den gegenwärtigen und künftigen Generationen von Systemen das Bottleneck immer größer und die CPU wird in erster Linie auf Daten aus dem Hauptspeicher warten.

Beginnend mit der Power7 CPU Familie führte IBM DRAM (Hauptspeicher -Technologie), welches direkt mit der CPU auf dem gleichen Wafer liegt ein. IBM nennt diese Technologie eDRAM (embedded DRAM) . Mit dem schnellsten und am dichtesten bepacken eDRAM weltweit konnte die gesamte Wissensbasis von Watson dort gespeichert werden und war nur ein paar Millimeter von den Power7 + CPU-Kernen entfernt. Dies führte schlussendlich zu Antwortzeiten im Bereich von Millisekunden.

Doch der Spaß hat gerade erst begonnen! Im Jahr 2013 gründete IBM das Openpower -Konsortium mit den Migliedern Google, NVIDIA , Mellanox und Tyan , um die Power-Plattform dem breiten Markt zur Verfügung zu stellen..

Wenn dies alles viel zu komplex erscheint sind die IBM Expert Integrated Systems auf Power Technologie genau richtig. Entweder Pureflex für private IaaS-Clouds oder IBM PureApplication Systeme für private PaaS-Clouds vereint die Komplexität von Netzwerk-, Speicher -, Hardware- und Software hinter einer einfach zu bedienenden Oberfläche vereint und nutzt die Leistung aller Komponenten im Verbund.

Neulich habe ich auf dem Expert Integrated Systems Blog einen Betrag geschrieben und wurde gefragt ob ich nicht im BlueBlog einen Abstract in deutsch dazu schreiben möchte, was ich hiermit tue.

PS: Ich habe nicht vergessen dass ich eine Serie über BigData schreibe und werde demnächst den dritten Teil zu BigData Stroage schreiben.

Hier noch der Link zum Originalartikel.

Ich habe 2008 bei IBM angefangen. Schon damals wusste ich dass IBM sehr innovativ ist in den Bereichen Mikroprozessoren, Betriebssysteme und Datenbanken. Momentan arbeiten wir an der nächsten Generation von Mikroprozessoren - jenseits von CMOS Technologien und treten ins Zeitalter des Cognitive Computing ein.

IBM hat ein starkes Kommitment zu OpenSource, speziell in der Apache Software Foundation wo wir regelmässig commiten. Doch die Revolution kam mit BigInsights, einer BigData Analyseplattform mit Kernkomponenten komplett basierend auf OpenSource die alle Arten von End-zu-End Data Science Anwendungen inklusive Text Analytics, Machine Learing und Business Intelligence unterstützt. Zusätzlich ist noch InfoSphere Streams dabei, unsere Realtime Analytics Platform.

Wir füllen also die Lücke zwischen den OpenSource Innovation (wo wir auch aktiv unterstützen) und dem fertigen Produkt inklusive Support. Und das ganze gibt es mit der IBM PureData System for Hadoop nun auch noch als Appliance:

Und falls der Throughput nicht ausreicht haben wir noch die PureData for Analytics im Programm, eine auf AMPP (asymmetric massively parallel processing) basierende Appliance mit 128-gigabyte pro Sekunde effektiver Scanrate:

Ein prominentes Beispiel für BigData in der Cloud ist IBM Social Media Analytics as SaaS offering. Hier kann wirklich mittels Mausklick eine komplette Analyse sozialer Netzwerke durchgeführt werden:

Und zuguterletzt noch Watson, der Schlüssel in den Eintritt ins Zeitalter des Cognitive Computing.

Wir haben ein System gebaut welches die beiden Jeopardy Champions geschlagen hat...

...das macht mich stolz. Nun sind wir dabei mit Watson for Healthcare auch etwas sinnvolles für die Menschheit zu entwickeln.

Warten wir ab und sehen wir womit uns IBM in Zukunft noch überraschen wird!