Posts Tagged: ‘BigData’

1 Jahr Bluemix – ein Erfahrungsbericht aus technischer Sicht

21. Juli 2015 Posted by Romeo Kienzler

Mein Name ist Romeo Kienzler und ich arbeite als Data Scientist, Architect und Technology Evangelist bei IBM Zurich (EcoD DACH) und befasse mich hauptsächlich mit dem Thema „Data Management & Analytics in the Cloud“ auf der technischen Ebene.

Mein Fokus liegt in der Betreuung von Start-Ups und akademischen Einrichtugen – ab und zu arbeite ich aber auch mit größeren Enterprise-Kunden.

Ich arbeite nun seit dem Beginn der “OpenBeta” Anfang 2014 intensiv mit Bluemix und möchte hier einen kurzen Erfahrungsbericht schreiben.

 

IBM Bluemix, die „Open by Design“ PaaS (Platform as a Service) Cloud der IBM die auf offenen Standards basiert

 IBM Bluemix ist die PaaS (Platform as a Service) Cloud von IBM, welche letztes Frühjahr in die „Open Beta“ ging und seit knapp über einem Jahr nun in Produktion ist.

Der Hauptunterschied zu anderen PaaS Clouds ist der „Open By Design“-Approach, den IBM hier fährt. Anstelle von proprietären Schnittstellen basiert die IBM Cloud auf den Standards „ OpenStack “, „ DOCKER “ und „ CloudFoundry “. OpenStack ist ein offener Standard für Infrastructure Clouds (IaaS), CloudFoundry das äquivalent dazu für Platform Clouds (PaaS) und DOCKER sind „ultra-light“ virtuelle Maschinen die auf Container Isolation basieren. Eine Docker VM startet beispielsweise in < 100 ms. Somit wird der „Vendor Lock-In“ reduziert – andererseits profitieren die OpenSource Communities auch von OpenSource Engagement der IBM.
Wie das OpenSource Engagement von IBM aussieht? Derzeit arbeiten beispielsweise über 150 aktive IBM Entwickler am Source-Code von „CloudFoundry“. Zusätzlich ist IBM auch Mitglied in der CloudFoundry Foundation, offizieller Platinum Member der OpenStack Foundation und ist mit DOCKER eine stategische Partnerschaft eingegangen. Ich denke dass diese Standards in hohem Masse von den Erfahrungen die IBM im Enterprise Geschäft hat profitieren, da IBM einerseits sicherstellt dass diese Standards sich den Bedürfnissen der Enterprise Kunden anpassen und kontinuierlich erweitert werden, andererseits profitieren die Kunden davon Ihr Know-How, Prozesse und Toolset nun mit jeder Cloud (private, hybrid oder public) verwendet werden können die auf diesen Standards basiert.

Doch was macht der offene CloudFoundry – Standard eigentlich so spannend?

 Das offene System bringt entscheidende Vorteile in Sachen Kompatibilität und Breite der angebotenen Technologien.

Es gibt weltweit keine Cloud die mehr Services anbietet, als die IBM Platform Cloud, aktuell sind es über 100 Services, aber es kommt ca. jeder Woche mindestens einer dazu. Neben Standards Services wie MongoDB, MySQL, PostgreSQL, Redis, DB2, CouchDB gibt es auch spezialisierte Services für alle möglichen Anforderungen.

Auf Runtime-Ebene wird alles von IBM WebSpehre Liberty (JEE Container analog TomCat oder Jetty) über Node.js zu einer Vielzahl von CloudFoundry Plugins für nahezu jede Programmiersprache und Frameworks unterstützt. Dies gilt nicht nur für PHP, Python oder Perl sondern auch für „Exoten“ wie Go, R, Scala oder „Aliens“ wie Eiffel, Erlang oder Haskel.

Hier ein Beispiel wie einfach sich die PHP/MySQL Applikation "Wordpress" installieren lässt:

Aber neben den Runtimes gibt es auch ein offenes Services-Ecosystem und dies wird durch den sogenannten IBM Cloud Marketplace ermöglicht, in dem Fremdanbieter ihren Service über IBM anbieten können. Hierbei geschieht die Abrechnung jedoch zentral via IBM – ähnlich einem App-Store – nur für Services. Und nicht zu vergessen natürlich die IBM Watson Cognitive Computing Services oder auch die Cloud Integration Services, mit dem man ein lokales Data Center mit der IBM Cloud integrieren kann.

Meine ganz persönliche Erfahrung mit IBM Bluemix

Ich habe nun diese Reise seit über 18 Monaten begleitet und kann mit guten Gewissen sagen, dass die IBM Platform Cloud unter den großen Wettbewerbern die offenste und reichhaltigste darstellt.

Es macht wirklich Spaß damit zu entwickeln, da man sich nun voll und ganz auf die Applikationsentwicklung konzentrieren kann – lästiges Aufsetzen von Servern, Infrastruktur, Netzwerk und Middleware entfällt völlig. Eine Datenbank startet in unter 7 Sekunden und eine Applikation ist mit einem einzigen Befehl in ca. 1 Minute installiert und unter einer öffentlichen URL erreichbar.

Und nicht nur dies, mit einer einfachen zusätzlichen Konfiguration ist die Applikation sogar horizontal skalierbar – ohne die eigentliche Applikation zu ändern. Dies bedeutet dass bei geringem Workload die Applikation faktisch „schläft“ und nur ein Minimum an Ressourcen benötigt. Wird die Applikation jedoch hohem Load ausgesetzt, werden vollautomatisch zusätzliche Instannzen auch über Servergrenzen hinweg gestartet und auch wieder gestoppt. Dies alles geschieht ohne Zutun des Applikationsentwicklers und auch ohne dass der Anwender etwas davon mitbekommt. (Außer natürlich eine angenehme, immer konstante – vordefinierte – Response-Time von z.B. 100ms).

Schlussendlich bietet diese Cloud zusätzlich noch eine komplette DevOps Integration mit automatischem Build Service „as a Serivce“ basierend auf Jenkins mit Plugins für Maven, Ant, Grunt, Gradle, ein privates GIT repository , Eclipse Orion, Rational Jazz und vieles mehr. Somit können neben traditionellen Softwareentwicklungsprozessen auch moderne Prozesse wie Scrum, Kanban, Contineous Integration und Contineous Delivery einfach integriert werden – wenn nötig sogar ohne lokale Installationen da sowohl Eclipse, das Source Code Reposiotry, der BuildServier und die Runtime als Cloud – Service verfügbar sind. Natürlich kann auf Wunsch auch jede Komponente lokal oder bei einem anderen Cloud-Provider verwendet werden.

IBM hat hier ein Meisterstück geleistet

Dies alles hat IBM in 1 Jahr vom Beta auf Produktionsqualität getrieben und dies ist erst der Anfang der Reise. Falls alle Software die IBM im Portfolio hat wird cloud-enabled d.h. über Bluemix.net verfügbar sein – zusätzlich natürlich mit dem wöchentlich wachsenden Partnernetzwerk.

Interessiert? Versuchen Sie es doch selbst einmal – IBM hat einen sehr großzügigen „Free Tier“ bei dem (unabhängig von der einmonatigen Trial) viele Services und Runtimes kostenlos (auch in Produktion) genutzt werden können.

Unter folgendem Link können Sie sich für die Trial registieren (wird nach 30 Tagen automatisch ins Free Tier konvertiert): https://ibm.biz/BdXhUK

Anbei noch ein kleines Video-Tutorial, in dem man sehen kann, wie man eine JavaEE WebApplikation innerhalb von 60 Sekunden schreiben und unter einer öffentlichen URL in der IBM Cloud verfügbar machen kann.
 

-----------------------------------------------------------------------------------------------------------------------------------
IBM Cloud Free Tier: 20 GB Hadoop, 20 GB CouchDB, 500 MB MongoDB, 1 GB DB2
2 GB RAM DOCKER, 500 MB RAM  CloudFoundry, 12 GB RAM - 80 GB HD, 8vCores OpenStack
https://ibm.biz/BdXhUK
-----------------------------------------------------------------------------------------------------------------------------------

 

Big Data, Google, Facebook – data privacy still en vogue?

4. November 2014 Posted by Andre Kres

imageTechnologies for business analystics like data mining, big data and real time data look on the end of the day like a mind reading exercise for the customer. Knowing key customers well enough is the magic, which creates market leaders!

On the top level is it not too bad for the customer itself. The shop, which has the product on shelf the customer likes at a reasonable price he / she is prepared to afford, will be the shop of their choice very soon. Once the data are on premise of the company, what happens to it next?

I would like to introduce multiple aspects of privacy in connection with data and information.

 

Let us construct something. Imagine your son wants to celebrate his birthday in school by sharing some jelly babies with his friends. This clever boy realized already, that some of his friends have a Muslim religion and are not allowed to eat jelly babies made of pork jelly. By his social competence he realizes, that he can't share jelly babies in class without sharing with his Muslim friends. As a cosmopolitan parent you would look online for beef jelly babies. The keyword you enter is „halal“. Assuming you are not Muslim you need to look over a lot search results for a long time. Okay, now let us go one step further:
You wife works for US Aid and travels regularly to countries like Afghanistan...
In addition to the search requests for halal food comes a round trip airline ticket to Kabul, a couple of phone or skype calls and of course lot of internet research about Afghanistan.

You can imagine how this data may be interpreted, if it’s taken out of the context.

 

Edward Snowden opened the debate. People start thinking about how they are using the internet; thinking about their data available there. Facebook loses members. Deutsche Telekom is accused of giving the NSA access to their networks. Is the internet still save to use? Or has it ever been save? Can I still trust companies as oldest data privacy institution, since Deutsche Telekom got under suspicion of leaking out data or allow total control to the NSA?

I personally believe data privacy is more important than ever. In order to protect their business, companies need to be recognized as a trusted harbor for data!

 

There is an argument that the police needs access to the data in order to prevent crime. I believe this is wrong. The police needs information - not data.  For instance if they look for a stolen green car, they don't need to know the color of the car a suspect drives. They just need to know, whether it is green or not. Of course knowing the context of the question the suspects answer would most likely be all the time „no“.

This leads to the next topic – trust. How can the policeman trust in in the suspects answer? He normally wouldn't. The policeman would track down the suspect and simple check it with his own eyes if possible – this is somehow audit ability.

The problem is accidentally gained knowledge. Taking the example of the policeman with the car and the suspect. Inspecting the car he might find out that the passenger in the car is another man with his wife. This information will most likely have consequences to his marriage, but in fact is not related to his job and he shouldn't have this information. It is not in the interest of the car passenger. The privacy of innocent citizen is heavily impacted and damage to personal wealth and safety need to be feared.

What does it mean to companies and the way they deal with customer data?

Companies need to move from data to information management. Not every application needs to have data access. Most of the consuming business intelligence application need information generated by data. Although the data might be falling under the data privacy act the information might not.

 

 

Coming back to the shop example from the beginning. In order to have the products the customer wants to buy in the shop the customer personal shopping habits need to be the input of the system.  As the shop has many customers the single customer shopping habits will be collected along with many others. The order placement system of the shop itself will order at the distributor based on information generated from all shopping habits accessible. Single personal data are not necessary anymore and should be deleted – at least it should not be possible to conclude on a single person.

The concepts of information, trust and audit ability are universal. Not only customer at all levels are discouraged with the new world - also business operations function inside the own company.

 

Have you ever wondered, why your nice and shining standard reporting are not used? The official statement range from „they are wrong“, „they do not fit my need“, to „my business area is different or not covered“. At the end of the day this is again a matter of trust and audit ability.

 Aren’t this business analyst inside the business operations functions like the policeman with car? For me it looks like they want collect their own information out of the data available as they do not trust the standard report and can not audit it. On the other hand they also may learn things, they don't need to know.

 

Taking all this argument together, I would conclude „data privacy“ is more en vouge than ever. The initial trust in main companies based on historic believes - is on risk. Companies need to invest in information management technology and avoid giving access to data. The originator of the information – the customer – need to be able to trust, that the data are not in inappropriately shared. This trust can only be achieved by an end to end trace ability for the data called data linage. This data linage data need to be audit able - in the preferred case by the customer itself.

If data linage information can not made available to end customer then trust need to come of external auditing companies.

 

Talking about Big Data also means talking about data privacy. There are plenty of information in the internet, which are not protected by any authentication mechanism and therefore public. This also includes many facebook  / google profiles, internet foren and other privately authored content. Although in the media big data and analytics is presented as the bad guy giving access to the most private secrets - there is technology available to make it “safe for the public”. In my upcoming blog posts I’m going to write more detailed about all the different aspects of data privacy I just broached and introduce technical solutions to handle the challenges coming with information need and privacy.

 

 

[DE] “Big Data” – Risiken, Chancen und Aufgaben

30. Juni 2013 Posted by StefanP.

20130630-173720.jpg

“Big Data” ist ein neues Modewort, das nicht nur die IT Industrie durch das digitale Mediendorf treibt. Auch “The European” widmet sich in seiner aktuellen Printausgabe des Themas. Die Beiträge sind wohl geschrieben worden, bevor der PRISM-Aspekt von “Big Data” publik wurde. Dies gibt manchem Beitrag ein gewisses Geschmäckle. Wenn T-Systems-Vorstandsmitglied Reinhard Clemens darüber lästert, wie wir Deutschen wieder einmal technologieskeptisch sind, dabei die Obama-Wahlkampagne zitiert und IT-Unternehmen dazu auffordert, den Nutzen von “Big Data” jenseits des rein Kommerziellen deutlich zu machen, bekommt das schon jetzt eine neue Bedeutung.

Um es klar zu sagen: Ich bin technologiefreundlich und glaube, dass Technologien wie Watson und vergleichbare Systeme in der zielgerichteten Analyse von “Big Data” unendlich viel Nützliches und Gutes bewirken können, in Wirtschaft ebenso wie im Gesundheitswesen. Jedoch machen PRISM und die vergleichbaren Vorfälle auch deutlich, dass der kontrollierte Umgang mit unseren Daten ein elementares Thema ist. Sich dabei auf Behörden wie die NSA zu kaprizieren, ist nicht genug. Die Google’s und Amazon’s dieser Welt gehören ebenfalls in den Blick – und kontrolliert. Gerd Leonhard vergleicht die Datenkraken von heute mit den Ölgiganten, den Exxons und MobileOils, von gestern. Nur wer kann Kontrolle in einer globalen Welt jenseits der Nationalstaaten leisten? Wer kann multinationale Konzerne und Stattsorgane kontrollieren? Darüber müssen wir nachdenken und dabei – so weit möglich – mit der Kontrolle unserer eigenen, persönlichen Daten beginnen.

Die Potenziale, die derzeit entfaltet werden, sind gigantisch. “Big Data” wird von anderen Megatrends befeuert: “Mobile” – überall “on” sein, Daten generieren und abrufen – und “Social” – sich vernetzen, Informationen teilen und austauschen, eben gerade auch mobil – produzieren immer mehr Daten, die ausgewertet werden können. Die Cloud (um es mal platt zu sagen) ist der Ort, wo sie mehr oder weniger sicher und gesichert gespeichert werden.

Der Rohstoff Öl ist endlich. Der Rohstoff Information, Data, scheint – so der Vergleich nicht hinkt – unendlich, ja wachsend. MEssieht so aus, als ob wir erst am Anfang der Möglichkeiten von “Big Data” sind. Wenn heute unerlaubt, ohne persönliche Einwilligung E-Mails unter dem Deckmäntelchen der nationalen Sicherheit abgehört werden, wenn schon seit Jahren persönliches Surf- und Kaufverhalten ausgewertet und monetarisiert wird, so kommen schon jetzt Geoinformationen und vor allem multimediale Inhalte unzähliger Kameras hinzu. Und all diese Informationen werden intelligent vernetzt. Ich will hier bestimmt nicht den Datenteufel an die Wand malen, aber jedem sollte bewusst sein, welche auch negativen Möglichkeiten “Big Data” bietet und wie – besser in welchem Rahmen – man seine persönlichen Daten auf Google und Co. schützen kann. Ich rede von Schutz, nicht Verweigerung!

Das Bekanntwerden von PRISM läutet (hoffentlich) eine neue Phase der Sensibiltität gegenüber Datenüberwachung und den “Big Brother’s “ein, hoffentlich nicht im Sinne platter Bilderstürmerei und Technologiefeindlichkeit (wie wir sie nur zu oft gerade in Deutschland pflegen), sondern vielmehr in der konstruktiven, streithaften und streitbaren Auseinandersetzung um die Vorteile und Gefahren von “Big Data”. Das Netz und die dort generierten Daten haben ungeheueres, positives Potential. Es liegt an uns allen die negativen Aspekte einzudämmen.

P.S. Ich hoffe, dass die gegenwärtige Diskussion nicht wieder einmal nur dazu führt, dass ausschliesslich die USA-Administration platt kritisiert werden. Es wäre endlich an der Zeit, dass auch gerade die selbsternannte deutsche Netzeliten endlich einmal einen kritischen Blick auf die kommerziellen Datensammler und -verwerter wirft, statt blauäugig und anbetend selbstdeklarierten Gutkonzernen alles durchgehen zu lassen.

P.P.S. In einem solchen “Big Picture” bekommt das Verhalten eines Snowden eine neue Dimension.


Filed under: Deutsch Tagged: Analytics, BigData, DataPrivacy

[DE] Der Vertrag: Wer Google vertraut und seine Daten gibt, erhält Produkte, die Leben leichter machen – Netzökonomie-Blog – FOCUS Online

28. Mai 2013 Posted by StefanP.

Eine sehr gute Zusammenfassung und Analyse von Holger Schmidt zu Google:

Denn im Gegensatz zur Konkurrenz glaubt Page den Schlüssel für die Innovationen der nächsten Jahre schon in der Hand zu halten: Aus riesigen Datenmengen die Informationen herausfiltern zu können, die für den Nutzer in seiner jeweiligen Situation besonders hilfreich sind. Smartphones oder künftig die Google-Brille liefern den nötigen Kontext wie den genauen Aufenthaltsort oder Tempo und Art der Fortbewegung. …

Was die Tech-Enthusiasten begeistert, wird aber bei vielen Menschen Bedenken hervorrufen. … Es ist eine Art Vertrag, den Google seinen Nutzern anbietet: Wer Google vertraut und seine Daten gibt, erhält dafür Produkte, die das Leben leichter machen. Je mehr Daten, desto besser die Produkte.

via Datendienste: Wie Google der Konkurrenz und den Nutzern enteilt – Netzökonomie-Blog – FOCUS Online – Nachrichten.


Filed under: Deutsch Tagged: BigData, DataPrivacy, Google

Evolution of the networked enterprise: McKinsey Global Survey results on Social Business

28. März 2013 Posted by Stefan Pfeiffer

Interesting result out of a McKinsey survey confirming that Social is on the rise and merging with Cloud, Mobile and Big Data. Beyond technology it is obvious, that organizational barriers and change seems to be the most challenging issue:

With respect to productivity benefits in particular, the results indicate that companies must invest time and effort to enable greater productivity (particularly among knowledge workers) and competitive advantage. The likely need for significant organizational change is a challenging problem—and one that must be met by doing far more than changing the tools in a company’s portfolio. Companies can realize potential advantages more quickly by getting started early on the organizational transformations that will facilitate better use of technologies.

One way to facilitate and encourage more employee use of social technologies—and thus enhance their related benefits—is equipping workers with mobile access to these tools. Companies can also deploy cloud-based solutions when appropriate to make these solutions more scalable and decrease time to value.

via Evolution of the networked enterprise: Survey results – McKinsey Quarterly – High Tech – Strategy & Analysis.

Two graphs out of the study (you should read online or download). Which technologies are being used and which risks are being seen:

Technologien-2

Risks

[EN] IBM MobileFirst and IBM’s Social Business Vision – @MichaelSampson

26. Februar 2013 Posted by StefanP.

Michael Sampson on the IBM Mobile:

There’s a new phrase – a “mobile enterprise” or a “mobile business.” With IBM’s concurrent activities in the “social business” space, I hope they have designed in a structure for collaboration across these major initiatives internally and with respect to customer engagements. It’s going to be no good for customers if they have to deal with a barrage of outreach from different areas of IBM about being a “mobile business” here, a “social business” there, and a “big data business” over there. Indeed these need to come together.

via IBM MobileFirst – Michael Sampson on Making Collaboration Work.

My comment: Mobile, Cloud and Big Data are of course baked into the Social Business vision. So these topics are already, but we need to make sure that we do communicate this properly. As Alistair Rennie, General Manager of IBM’s Social Business Division, said at IBM Connect, in the future this going to be simply Business. Or we go with my friend Luis Suarez calling it Open Business. Anyway: The important thing is that all elements are baked in and interlocked.


Filed under: English Tagged: BigData, Cloud, Mobile, SocBiz