Posts Tagged: ‘data’

Acoustic Launch Events am 4. & 5. Dezember in Stuttgart: Was plant die Nachfolgeorganisation von IBM Watson Marketing? @GoAcoustic!

25. Oktober 2019 Posted by Stefan Pfeiffer

Die vergangenen Tag war ich etwas stiller im Blog und auf den sozialen Kanälen, denn ich bin mitten in der Vorbereitung des Acoustic Launch Events und der Acoustic TechniCon, der ersten europäischen technischen Konferenz, am 4. und 5. Dezember in Stuttgart im Mercedes-Benz Museum. Acoustic, das aus dem Kauf der IBM Watson Marketing-Produkte durch Centerbridge Partners entstanden ist, wird sich mit diesen Events erstmals in Deutschland vorstellen. In den USA ist Acoustic schon ein eigenständiges Unternehmen, in Europa werden die entsprechenden Gesellschaften nach und nach je nach gesetzlichen Vorgaben folgen – Stichwort Betriebsübergang für Deutschland.

Trends und Themen im Marketing und wie Acoustic darauf antwortet

Außenaufnahmen Mercedes-Benz MuseumWas passiert nun am 4. und 5. Dezember in Stuttgart? Das Acoustic Launch Event beginnt um 15:30 Uhr im Mercedes-Benz Museum. Dort wird Natalie Lamb, designierte EMEA-Chefin für Acoustic, zusammen mit Jay Henderson, Senior Vice President für Produkt Management, die Besucher begrüßen. Jay stellt dann die Produktstrategie von Acoustic vor, das die größte unabhängige Marketing Cloud mit einem offenen, lebendigen Ökosystem werden will. Was gerade die Trends und Themen im digitalen Marketing sind, behandelt dann Martin Meyer-Gossner, der auch als Moderator durch die Veranstaltung führt.

Gestern haben wir uns schon einmal ausgetauscht, was denn derzeit auf der Agenda der meisten CMOs steht. Customer Experience, ein möglichst positives und stringentes Erlebnis der Kunden und Interessenten beim Kontakt mit einem Unternehmen, ist und bleibt dabei ganz sicher eine Priorität. Marketing Automation, die Automatisierung von Kampagnen und Aktionen, ist ein weiteres wichtiges Thema, oft eng verwoben mit dem Kundenerlebnis.

Behindert die DSGVO das Marketing oder führt sie gar zu besserer Qualität?

All das funktioniert aber nicht ohne eine vernünftige Datenbasis. Und hier waren Martin und ich uns einig, dass noch viel zu tun ist, um alle Datensilos und -töpfe zu erschließen und wirklich für besagte Kundenerlebnisse zu nutzen. Durch die DSGVO scheint – so Martin – noch zusätzliche Verunsicherung in den Marketingabteilungen eingezogen zu sein. Der aktuelle Benchmark von Acoustic zieht da eher eine positive Zwischenbilanz: Durch entsprechende Regularien ist die Datenqualität sogar besser geworden, was man beispielsweise an den Click Throughs und Öffnungsraten von E-Mails nachverfolgen kann.

Meinungsaustauch und Diskussion im Mercedes-Benz Museum

D584416.jpgGenau an diesen Stellen gilt es dann auch, das Thema künstliche Intelligenz zu hinterfragen. Was kann KI im Angesicht der DSGVO in der Auswertung der Daten für das Marketing wirklich leisten? Wir haben sicher genug Stoff für eine interessante Diskussion mit den Referenten und dem Publikum. Es haben sich ja schon wortgewaltige Experten mit pointierter Meinung angemeldet. Und wir sind auch noch auf der Suche nach ein oder zwei Sprechern von Unternehmen, die zu den Marketingtrends ihre Meinung haben. Rund um das Mercedes-Benz Museum und in Stuttgart sitzen ja einige namhafte Unternehmen.

Nach der angedachten Diskussion können wir uns dann anschließend beim Get Together weiter austauschen und nicht nur für Mercedes-Fahrerinnen und -Fahrer bieten wir Führungen durch die faszinierende Welt des Mercedes-Benz Museums an. Ich freue mich auf jeden Fall auf diesen spannenden Nachmittag und Abend, der für alle Marketingverantwortlichen und -interessierten sicherlich sehr spannend werden wird.

Technik hautnah: Unter die Haube der Acoustic-Lösungen schauen

Am kommenden Tag, dem 5. Dezember, kann man dann unter die Haube der Acoustic-Plattform und der einzelnen Produkte schauen. Wir laden zur ersten technischen Konferenz, der Acoustic TechniCon, ein. Dazu ziehen wir im Mercedes-Benz Museum aus dem Bereich „Faszination Technik“ in das Casino auf dem (glaube ich) obersten Stockwerk um. Doch nicht durch den spektakuläre Blick auf das Stadion des VfB Stuttgart ablenken lassen! Wer mehr darüber erfahren will, wie Acoustic die oben angesprochenen Themen der Integration von Daten, der Nutzung von künstlicher Intelligenz für Customer Experience und Marketing Automation angeht, sollte aufmerksam zuhören.

IMG_2766Durch den Tag führen Avril Couper und Mateusz Urban und Kolleginnen aus der Entwicklung werden direkt vor Ort sein, denn in Böblingen sitzen einige der Developer von (bald) Acoustic, die insbesondere an dem Acoustic Content-Produkt arbeiten. Nachdem Jay Henderson an diesem Tag technisch tiefer in die Roadmap eingestiegen ist, wird Thomas Stober aus dem Labor Acoustic Content detailliert unter dem Titel „Content as a Service and Web Sites in a Omnichannel World“ vorstellen- bestimmt ganz besonders interessant, direkt von der Entwicklung mehr über die Pläne zu erfahren.

Die (bald) Acoustic-Entwickler aus Böblingen direkt vor Ort treffen

Mike Bean und Dan Carter erklären danach, wie man Benutzerverhalten mit Acoustic Analytics besser verstehen kann, Kessy Hamann und David Kerr stellen unter anderem den neuen Message Composer von Acoustic Campaign, der Marketing Automation-Komponente der Plattform vor. Das Thema Erschließung und Nutzung von Daten ist wie schon mehrmals erwähnt besonders wichtig. Bernd Schlösser wird Acoustic Exchange, das Modul, mit dem verschiedenste Datenquellen angezapft und integriert werden können, behandeln. Und natürlich will das Produktmanagement und die Entwicklung auch Feedback und Ideen. Diese können während der gesamten Veranstaltung und im abschließenden Panel vorgebracht und diskutiert werden. Am Nachmittag sollten wir dann hoffentlich auf zwei spannende Tage zurückblicken und uns mit neuen Ideen und Lösungsansätzen den täglichen Herausforderungen im Marketing widmen können.

Ich hoffe, ich habe Appetit auf die beiden Events gemacht. Hier kann man sich anmelden und ich freue mich darauf, viele neue und bekannte Gesichter in Stuttgart begrüßen zu können.

Kein Ökosystem ohne ein Netzwerk kompetenter Partner

Und ich will auch nicht versäumen auf eine weitere Veranstaltung hinzuweisen, die vor dem Launch Event stattfindet. Über das Acoustic Ökosystem habe ich bereits geschrieben. Doch dabei geht es nicht nur um Technologien von Acoustic und die absolut notwendige Integration von Produkten andere MarTech- und CRM-Anbieter. Zu einem Ökosystem gehören natürlich auch Geschäftspartner, Integratoren, Agenturen und Beratungsunternehmen aus dem Marketingumfeld. Acoustic setzt genau auf ein solches Netzwerk, will dieses fördern und ausbauen.

Deshalb treffen sich am 4. Dezember vor dem Launch Event bestehende und potentielle neue Partner von Acousic zu einem Austausch im nahe am Mercedes-Benz Museum gelegenen Hilton Garden Inn. Dort werden die EMEA-Partnerverantwortlichen Derick Wiesner und Graeme Mclaren zusammen mit Franziska Vielmeier aus der DACH-Region das Partnerprogramm vorstellen und über den gemeinsamen Go-To-Market im verbleibenden Jahr und besonders 2020 mit interessierten Partnern sprechen. Anmelden kann man sich auch hier über besagten Link.

(Stefan Pfeiffer)

IBM Insight Konferenz in Las Vegas

30. Oktober 2015 Posted by Thomas Kraus

Unter dem Motto 'Lead the Insight Economy' fand vom 25.-29. Oktober 2015 die IBM Insight Konferenz statt. Es ist die größte weltweite Veranstaltung zum Thema Big Data und Analytics. Mit rund 14.000 Teilnehmern und 1.600 sessions ist eine Vielzahl an Themen geboten, incl. einer großen Solution EXPO mit über 100 Sponsoren und Ausstellern.

Transform your Industry, Empower Yourself und Disrupt Your Marketplace waren die Aufhänger für die General Sessions - als Motivation für die Teilnehmer, sich den jeweiligen Themengebieten zu widmen. Vielen neue Ideen und Ansätze zu Advanced Analytics, Data Management, Internet of Things, Hadoop + Spark, Mobile, Cloud, Industry, Systems + Architecture, Content Management, Integration + Governance und Watson wurden mit einer Vielzahl von Sessions untermauert.

Highlight war auch die Ankündigung, dass IBM plant, das Produkt und Technologie Geschäft von 'The Weather Company' zu übernehmen.

ibm.com/ibmandweather

Die Aquisition würde IBM's kognitive und analytische Plattformen zusammenbringen mit der dynamischen Cloud Data Plattform von The Weather Company.

dev@insight umfasste einen Bereich dediziert für Techies, die für die Insight Economy entwickeln. Anwendungsentwickler konnten hier Hands-On Erfahrungen machen mit Watson, Spark, Analytics, Bluemix, Mobile und Security.

Hadoop und Spark waren auch wichtiger Teil der Konferenz, insbesondere bei Apache Spark ist IBM in eine Vorreiter-Rolle gegangen, da die Open Source Technologie Spark in eine Vielzahl von Produkten Einzug erhält.

Kundenvorträge und Erfahrungsberichte waren ebenfalls ein wichtiger Bestandteil, auch europäische Kunden waren hier vertreten.

Hier kann man einen Eindruck von der IBM Insight 2015 bekommen:

http://ibmgo.com

http://ibmevents.tumblr.com

#ibminsight

 

How to get the most out of your PureData System for Analytics using Hadoop as a cost-efficient extension

23. Juni 2015 Posted by Ralf Götz

Today’s requirements for collecting huge amounts of data are different from several years back when only relational databases satisfied the need for a system of record. Now, new data formats need to be acquired, stored and processed in a convenient and flexible way. Customers need to integrate different systems and platforms to unify data access and acquisition without losing control and security.

The logical data warehouse

More and more relational databases and Hadoop platforms are building the core of a Logical Data Warehouse in which each system handles the workload which it can handle best. We call this using “fit for purpose” stores.

An analytical data warehouse appliance such as PureData System for Analytics is often at the core of this Logical Data Warehouse and it is efficient in many ways. It can host and process several terabytes of valuable, high-quality data enabling lightning fast analytics at scale. And it has been possible (with some effort) to move bulk data between Hadoop and relational databases using Sqoop – an open source component of Hadoop. But there was no way to query both systems using SQL – a huge disadvantage.

Two options for combining relational database and Hadoop

Why move bulk data between different systems or run cross-systems analytical queries? Well, there are several use cases for this scenario but I will only highlight two of them based on a typical business scenario in analytics.

The task: an analyst needs to find out how the stock level of the company’s products will develop throughout the year. This stock level is being updated very frequently and produces lots of data in the current data warehouse system implemented on PureData System for Analytics. Therefore the data cannot be kept in the system for more than a year (hot data). A report on this hot data indicates that the stock level is much too high and needs to be adjusted to keep stock costs low. This would normally trigger immediate sales activities (e.g. a marketing and/or sales campaign with lower prices).

“We need a report, which could analyze all stock levels for all products for the last 10+ years!”

Yet, a historical report, which could analyze all stock levels for all products for the last 10+ years would have indicated that the stock level at this time of the year is a good thing, because a high season is approaching. Therefore, the company would be able to sell most of their products and satisfy the market trend. But how can the company provide such a report with so much data?

Bild

The company would have 2 use case options to satisfy their needs:

  1. Replace the existing analytical data warehouse appliance with a newer and bigger one (This would cost some dollars and has been covered in another blog post.), or
  2. Use an existing Hadoop cluster as a cheap storage and processing extension for the data warehouse appliance (Note that a new, yet to be implemented Hadoop cluster would probably cost more than a bigger PureData box as measured by Total Cost of Ownership).

Option 2 would require a mature, flexible integration interface between Hadoop and PureData. Sqoop would not be able to handle this, because it requires more capabilities than just bulk data movement capabilities from Hadoop to PureData.

IBM Fluid Query for seamless cross-platform data access using standard SQL

These requirements are only two of the reasons why IBM has introduced IBM Fluid Query in March, 2015 as a no charge extension for PureData System for Analytics. Fluid Query enables bulk data movement from Hadoop to PureData and vice versa ANDoperational SQL query federation. With Fluid Query, data residing in Hadoop distributions from Cloudera, Hortonworks and IBM BigInsights for Apache Hadoop can be combined with the data residing in PureData using standard SQL syntax.

“Move and query all data, find the value in the data and integrate only if needed.”

This enables users to seamlessly query older, cooler data and hot data without the complexity of data integration with a more exploratory approach: move and query all data, find the value in the data and integrate only if needed.

Bild

IBM Fluid Query can be downloaded and installed as a free add-on for PureData System for Analytics.

Try it out today. IBM Fluid Query is technology that is available for PureData System for Analytics.  Clients can download and install this software and get started right away with these new capabilities.  Download it here on Fix Central. Doug Dailey’s “Getting Started with Fluid Query” blog for more information and documentation links to get started is highly recommended reading.

Bild

Do you need more information? Follow me on Twitter.

How to get the most out of your PureData System for Analytics using Hadoop as a cost-efficient extension

23. Juni 2015 Posted by Ralf Götz

Today’s requirements for collecting huge amounts of data are different from several years back when only relational databases satisfied the need for a system of record. Now, new data formats need to be acquired, stored and processed in a convenient and flexible way. Customers need to integrate different systems and platforms to unify data access and acquisition without losing control and security.

The logical data warehouse

More and more relational databases and Hadoop platforms are building the core of a Logical Data Warehouse in which each system handles the workload which it can handle best. We call this using “fit for purpose” stores.

An analytical data warehouse appliance such as PureData System for Analytics is often at the core of this Logical Data Warehouse and it is efficient in many ways. It can host and process several terabytes of valuable, high-quality data enabling lightning fast analytics at scale. And it has been possible (with some effort) to move bulk data between Hadoop and relational databases using Sqoop – an open source component of Hadoop. But there was no way to query both systems using SQL – a huge disadvantage.

Two options for combining relational database and Hadoop

Why move bulk data between different systems or run cross-systems analytical queries? Well, there are several use cases for this scenario but I will only highlight two of them based on a typical business scenario in analytics.

The task: an analyst needs to find out how the stock level of the company’s products will develop throughout the year. This stock level is being updated very frequently and produces lots of data in the current data warehouse system implemented on PureData System for Analytics. Therefore the data cannot be kept in the system for more than a year (hot data). A report on this hot data indicates that the stock level is much too high and needs to be adjusted to keep stock costs low. This would normally trigger immediate sales activities (e.g. a marketing and/or sales campaign with lower prices).

“We need a report, which could analyze all stock levels for all products for the last 10+ years!”

Yet, a historical report, which could analyze all stock levels for all products for the last 10+ years would have indicated that the stock level at this time of the year is a good thing, because a high season is approaching. Therefore, the company would be able to sell most of their products and satisfy the market trend. But how can the company provide such a report with so much data?

Bild

The company would have 2 use case options to satisfy their needs:

  1. Replace the existing analytical data warehouse appliance with a newer and bigger one (This would cost some dollars and has been covered in another blog post.), or
  2. Use an existing Hadoop cluster as a cheap storage and processing extension for the data warehouse appliance (Note that a new, yet to be implemented Hadoop cluster would probably cost more than a bigger PureData box as measured by Total Cost of Ownership).

Option 2 would require a mature, flexible integration interface between Hadoop and PureData. Sqoop would not be able to handle this, because it requires more capabilities than just bulk data movement capabilities from Hadoop to PureData.

IBM Fluid Query for seamless cross-platform data access using standard SQL

These requirements are only two of the reasons why IBM has introduced IBM Fluid Query in March, 2015 as a no charge extension for PureData System for Analytics. Fluid Query enables bulk data movement from Hadoop to PureData and vice versa ANDoperational SQL query federation. With Fluid Query, data residing in Hadoop distributions from Cloudera, Hortonworks and IBM BigInsights for Apache Hadoop can be combined with the data residing in PureData using standard SQL syntax.

“Move and query all data, find the value in the data and integrate only if needed.”

This enables users to seamlessly query older, cooler data and hot data without the complexity of data integration with a more exploratory approach: move and query all data, find the value in the data and integrate only if needed.

Bild

IBM Fluid Query can be downloaded and installed as a free add-on for PureData System for Analytics.

Try it out today. IBM Fluid Query is technology that is available for PureData System for Analytics.  Clients can download and install this software and get started right away with these new capabilities.  Download it here on Fix Central. Doug Dailey’s “Getting Started with Fluid Query” blog for more information and documentation links to get started is highly recommended reading.

Bild

Do you need more information? Follow me on Twitter.

How to get the most out of your PureData System for Analytics using Hadoop as a cost-efficient extension

23. Juni 2015 Posted by Ralf Götz

Today’s requirements for collecting huge amounts of data are different from several years back when only relational databases satisfied the need for a system of record. Now, new data formats need to be acquired, stored and processed in a convenient and flexible way. Customers need to integrate different systems and platforms to unify data access and acquisition without losing control and security.

The logical data warehouse

More and more relational databases and Hadoop platforms are building the core of a Logical Data Warehouse in which each system handles the workload which it can handle best. We call this using “fit for purpose” stores.

An analytical data warehouse appliance such as PureData System for Analytics is often at the core of this Logical Data Warehouse and it is efficient in many ways. It can host and process several terabytes of valuable, high-quality data enabling lightning fast analytics at scale. And it has been possible (with some effort) to move bulk data between Hadoop and relational databases using Sqoop – an open source component of Hadoop. But there was no way to query both systems using SQL – a huge disadvantage.

Two options for combining relational database and Hadoop

Why move bulk data between different systems or run cross-systems analytical queries? Well, there are several use cases for this scenario but I will only highlight two of them based on a typical business scenario in analytics.

The task: an analyst needs to find out how the stock level of the company’s products will develop throughout the year. This stock level is being updated very frequently and produces lots of data in the current data warehouse system implemented on PureData System for Analytics. Therefore the data cannot be kept in the system for more than a year (hot data). A report on this hot data indicates that the stock level is much too high and needs to be adjusted to keep stock costs low. This would normally trigger immediate sales activities (e.g. a marketing and/or sales campaign with lower prices).

“We need a report, which could analyze all stock levels for all products for the last 10+ years!”

Yet, a historical report, which could analyze all stock levels for all products for the last 10+ years would have indicated that the stock level at this time of the year is a good thing, because a high season is approaching. Therefore, the company would be able to sell most of their products and satisfy the market trend. But how can the company provide such a report with so much data?

Bild

The company would have 2 use case options to satisfy their needs:

  1. Replace the existing analytical data warehouse appliance with a newer and bigger one (This would cost some dollars and has been covered in another blog post.), or
  2. Use an existing Hadoop cluster as a cheap storage and processing extension for the data warehouse appliance (Note that a new, yet to be implemented Hadoop cluster would probably cost more than a bigger PureData box as measured by Total Cost of Ownership).

Option 2 would require a mature, flexible integration interface between Hadoop and PureData. Sqoop would not be able to handle this, because it requires more capabilities than just bulk data movement capabilities from Hadoop to PureData.

IBM Fluid Query for seamless cross-platform data access using standard SQL

These requirements are only two of the reasons why IBM has introduced IBM Fluid Query in March, 2015 as a no charge extension for PureData System for Analytics. Fluid Query enables bulk data movement from Hadoop to PureData and vice versa ANDoperational SQL query federation. With Fluid Query, data residing in Hadoop distributions from Cloudera, Hortonworks and IBM BigInsights for Apache Hadoop can be combined with the data residing in PureData using standard SQL syntax.

“Move and query all data, find the value in the data and integrate only if needed.”

This enables users to seamlessly query older, cooler data and hot data without the complexity of data integration with a more exploratory approach: move and query all data, find the value in the data and integrate only if needed.

Bild

IBM Fluid Query can be downloaded and installed as a free add-on for PureData System for Analytics.

Try it out today. IBM Fluid Query is technology that is available for PureData System for Analytics.  Clients can download and install this software and get started right away with these new capabilities.  Download it here on Fix Central. Doug Dailey’s “Getting Started with Fluid Query” blog for more information and documentation links to get started is highly recommended reading.

Bild

Do you need more information? Follow me on Twitter.

IBM Insight 2014 Konferenz in Las Vegas

6. November 2014 Posted by Thomas Kraus

Vom 26. Bis 30. Oktober 2014 fand in Las Vegas, USA die IBM Insight 2014 Konferenz statt. 

Die IBM Insight (bisher bekannt unter dem Namen IOD – Information on Demand) ist die zentrale Kundenkonferenz zum Thema Big Data und Analytics, mit mehr als 13.000 Teilnehmern.

Die Tracks unterteilen sich in die Gebiete Business Analytics, Information Management, Enterprise Content Management, Business und Industry Leadership und Watson/Cognitive Computing. Desweiteren sind die Themen Cloud, Security und Infrastructure Matters ebenfalls ein wichtiger Bestandteil der Konferenz.

Innerhalb der IBM Insight gab es den Bereich <dev>@Insight, der speziell für Anwendungsentwickler und Practitioner ausgelegt war, um hands-on Erfahrungen mit Technologien wie Bluemix, Softlayer, API’s, devOps, Watson cognitive und dem Internet of Things zu ermöglichen.

Es gab eine Reihe von Ankündigungen, hier exemplarisch einige Highlights:

  • IBM DataWorks, um Rohdaten in relevante Informationen zu transformieren und für Business User und Anwendungsentwickler zur Verfügung zu stellen
  • IBM dashDB, als neuer Datawarehouse und Analytics Service in der Cloud
  • IBM Cloudant Data Layer Local Edition, als NoSQL Datenbank um Mobile, Web und Internet of Things Anwendungen zu unterstützen
  • IBM PureSystems for Analytics N3001, als neues Modell der PureData System for Analytics Familie mit bis zu 1,5 PB User Kapazität
  • IBM InfoSphere System z Connector for Hadoop, um Datensourcen auf dem Mainframe (DB2, IMS, VSAM, log data) effizient und sicher in ein Hadoop Cluster zu integrieren

Ein großer Meilenstein war die Ankündigung der Partnerschaft zwischen IBM und Twitter, um die Daten von Twitter mit IBM Analytics Lösungen zu integrieren. Damit sollen Unternehmen ihre Kunden, Märkte und Trends besser verstehen.

Alles in allem eine sehr inspirierende Konferenz, mit zahlreichen neuen Ideen und Denkanstößen für Anwendungsfälle in verschiedenen Industrien, als Beispiel Watson Analytics und Einsatzgebiete im Gesundheitswesen bei der Krebsvorsorge.

Der Konferenz-Blog für weitere Informationen:

http://ibmevents.tumblr.com/

 

Big Data, Google, Facebook – data privacy still en vogue?

4. November 2014 Posted by Andre Kres

imageTechnologies for business analystics like data mining, big data and real time data look on the end of the day like a mind reading exercise for the customer. Knowing key customers well enough is the magic, which creates market leaders!

On the top level is it not too bad for the customer itself. The shop, which has the product on shelf the customer likes at a reasonable price he / she is prepared to afford, will be the shop of their choice very soon. Once the data are on premise of the company, what happens to it next?

I would like to introduce multiple aspects of privacy in connection with data and information.

 

Let us construct something. Imagine your son wants to celebrate his birthday in school by sharing some jelly babies with his friends. This clever boy realized already, that some of his friends have a Muslim religion and are not allowed to eat jelly babies made of pork jelly. By his social competence he realizes, that he can't share jelly babies in class without sharing with his Muslim friends. As a cosmopolitan parent you would look online for beef jelly babies. The keyword you enter is „halal“. Assuming you are not Muslim you need to look over a lot search results for a long time. Okay, now let us go one step further:
You wife works for US Aid and travels regularly to countries like Afghanistan...
In addition to the search requests for halal food comes a round trip airline ticket to Kabul, a couple of phone or skype calls and of course lot of internet research about Afghanistan.

You can imagine how this data may be interpreted, if it’s taken out of the context.

 

Edward Snowden opened the debate. People start thinking about how they are using the internet; thinking about their data available there. Facebook loses members. Deutsche Telekom is accused of giving the NSA access to their networks. Is the internet still save to use? Or has it ever been save? Can I still trust companies as oldest data privacy institution, since Deutsche Telekom got under suspicion of leaking out data or allow total control to the NSA?

I personally believe data privacy is more important than ever. In order to protect their business, companies need to be recognized as a trusted harbor for data!

 

There is an argument that the police needs access to the data in order to prevent crime. I believe this is wrong. The police needs information - not data.  For instance if they look for a stolen green car, they don't need to know the color of the car a suspect drives. They just need to know, whether it is green or not. Of course knowing the context of the question the suspects answer would most likely be all the time „no“.

This leads to the next topic – trust. How can the policeman trust in in the suspects answer? He normally wouldn't. The policeman would track down the suspect and simple check it with his own eyes if possible – this is somehow audit ability.

The problem is accidentally gained knowledge. Taking the example of the policeman with the car and the suspect. Inspecting the car he might find out that the passenger in the car is another man with his wife. This information will most likely have consequences to his marriage, but in fact is not related to his job and he shouldn't have this information. It is not in the interest of the car passenger. The privacy of innocent citizen is heavily impacted and damage to personal wealth and safety need to be feared.

What does it mean to companies and the way they deal with customer data?

Companies need to move from data to information management. Not every application needs to have data access. Most of the consuming business intelligence application need information generated by data. Although the data might be falling under the data privacy act the information might not.

 

 

Coming back to the shop example from the beginning. In order to have the products the customer wants to buy in the shop the customer personal shopping habits need to be the input of the system.  As the shop has many customers the single customer shopping habits will be collected along with many others. The order placement system of the shop itself will order at the distributor based on information generated from all shopping habits accessible. Single personal data are not necessary anymore and should be deleted – at least it should not be possible to conclude on a single person.

The concepts of information, trust and audit ability are universal. Not only customer at all levels are discouraged with the new world - also business operations function inside the own company.

 

Have you ever wondered, why your nice and shining standard reporting are not used? The official statement range from „they are wrong“, „they do not fit my need“, to „my business area is different or not covered“. At the end of the day this is again a matter of trust and audit ability.

 Aren’t this business analyst inside the business operations functions like the policeman with car? For me it looks like they want collect their own information out of the data available as they do not trust the standard report and can not audit it. On the other hand they also may learn things, they don't need to know.

 

Taking all this argument together, I would conclude „data privacy“ is more en vouge than ever. The initial trust in main companies based on historic believes - is on risk. Companies need to invest in information management technology and avoid giving access to data. The originator of the information – the customer – need to be able to trust, that the data are not in inappropriately shared. This trust can only be achieved by an end to end trace ability for the data called data linage. This data linage data need to be audit able - in the preferred case by the customer itself.

If data linage information can not made available to end customer then trust need to come of external auditing companies.

 

Talking about Big Data also means talking about data privacy. There are plenty of information in the internet, which are not protected by any authentication mechanism and therefore public. This also includes many facebook  / google profiles, internet foren and other privately authored content. Although in the media big data and analytics is presented as the bad guy giving access to the most private secrets - there is technology available to make it “safe for the public”. In my upcoming blog posts I’m going to write more detailed about all the different aspects of data privacy I just broached and introduce technical solutions to handle the challenges coming with information need and privacy.

 

 

Der aktuelle STG Launch im Zeichen von Big Data

28. Oktober 2014 Posted by Wolfgang Wendt

Anfang Oktober 2014 haben wir umfassende Produkte und Produkt-Updates aus verschiedenen Bereichen der Systems and Technology Group angekündigt. Eine Gemeinsamkeit teilen alle diese Neuerungen: Sie stehen im Zeichen von Big Data. Denn für vieler unserer Kunden bleibt es eine Herausforderung, leistungsfähige technologische Infrastrukturen aufzubauen, um Nutzen aus den immer schneller wachsenden Datenmengen zu ziehen.

Ein Blick auf die Power-Ankündigungen zeigt, dass wir unser Geschäftsmodell der offenen Innovationen konsequent weiterverfolgen. So bauen sämtliche Systeme auf dem POWER8-Prozessor auf, der speziell für besonders anspruchsvolle Big Data-Anwendungen entwickelt wurde, und integrieren neben IBM-Technologien auch die anderer Mitglieder der OpenPOWER Foundation. Besonders beeindruckt hat mich der IBM Power S824L Server, der Millionen von Rechenvorgängen parallel schaltet und erheblich beschleunigt. Davon profitieren Kunden der unterschiedlichsten Branchen – seien es Banken, die Risiken analysieren oder Mediziner, die Heilmittel für Krankheiten suchen.

Bei der Datenspeicherung setzen wir weiterhin auf Software Defined Storage, um Kunden ebenfalls schnelle Datenanalysen sowie eine praktisch unbegrenzte Skalierung kostengünstig bieten zu können. Das für mich hier hervorstechende Produkt ist der neue IBM Elastic Storage Server, die Kombination aus unserem POWER8 Server mit einer Speichersoftware.

Erste positive Berichte von Kunden und Fachpresse zeigen uns, daß wir auf einem sehr guten Weg sind. Das macht mich gleichermaßen stolz und gespannt auf die Zukunft.  

Isolation and multi-tenancy in the IBM PureApplication System – Cloud Groups are the NEW Virtual Systems

9. April 2014 Posted by Yathish Kumar

(This is a guest entry posted on behalf of Georg Ember)

Almost any application running in the cloud is designed to share resources. Virtualization is the key enabler for cloud computing in integrated or converged systems. Applications run in the cloud as workloads that share system resources, such as CPU, memory and networking.  However, there are legal or organizational requirements where workloads must be isolated from each other and the key question is: What type of isolation is the right way to protect the application environments from each other?

Isolation (also as know as multi-tenancy) is a key requirement for cloud computing. An application deployed into a cloud environment must be able to run independently and separately from other applications in the cloud. Each application requires it to move traffic along the network and protect its data as well.

Isolation of applications and data, by physical separation or by virtualization within an integrated system, may satisfy security requirements and ensure that a failure of one application will not cause the failure of other applications. While the data has to be kept isolated, in many cases, other departments within a company are not allowed to see deployed resources (Virtual Machines) of other environments.

An ideal solution to implement such an application and virtual systems isolation is to exploit the multi-tenancy features of the IBM PureApplication System.

A comfortable and easy way to isolate LAN, SAN and Server resources, on a physical as well as a logical level in PureApplication System, is to use the concept of Cloud Groups and environment profiles.

Using the isolation techniques that are incorporated within the IBM PureApplication System can help minimize business risks and increase the availability. By selecting nodes to Cloud Groups which are placed in separate chassis modules, the performance and availability of a Cloud Group can be greatly increased.

image

If you are required to isolate applications and data not only on a logical level, the concept of Cloud Groups in the PureApplication Systems is the right choice for you. You do not need to acquire multiple physical systems, except for high availability or disaster recovery reasons, when you need to separate multiple application environments in a multi-tenant infrastructure. PureApplication System offers the concept of dedicated Cloud Groups.

IBM PureApplication System Cloud Groups physically separate:

  • Compute Nodes (server nodes), across IBM Flex Chassis,
  • LANs by defining VLANs (on dedicated LAN ports) and IP groups (IP address ranges),
  • Services running on the System (so called shared services), each Cloud Group can have “private” services running, without affecting other Cloud Groups. Examples of shared services are monitoring, OS updates, Load Balancers and clustered file systems services, just to name a few.
  • Workload (deployment) users, where each user belongs to one or more environment profiles, can deploy an application to the designated Cloud Group, without seeing other deployed resources from other users or being seen by other users on the Cloud Groups.

image

Companies normally separate environments according to application development lifecycle. The typical divisions are:

  • Development (DEV): An environment used for developing applications.
  • Testing (TEST): Used for testing applications.
  • Production (PROD): Used for running applications; this is the realm of business or end users.

Each of these environments typically runs on totally independent sets of hardware and networks to avoid cross-environment issues. But, when using Cloud Groups in the PureApplication System, application environments are totally isolated from each other, if required, even by the users and shared services they use. Consecutively, you do not need to acquire multiple physical systems – one PureApplication System does it all for isolation of application environments. There is full isolation and protection in any layer of the stack.

Teil 2 meiner Artikelserie über BigData

20. Dezember 2012 Posted by Romeo Kienzler

 Im zweiten Teil der Serie über BigData möchte ich einige interessante Usecases von IBM vorstellen.
 
IBM Watson:

Watson, der Supercomputer welcher Anfang 2011 die beiden Jeopardy - Champions geschlagen hat
vereint zwei der Paradigmen, welche für alle BigData Projekte gelten. Einen modernen und
fortschrittlichen Algorithmus und die technische Möglichkeit diesen Algorithmus in kurzer 
Zeit auf sehr grosse Datenmengen anzuwenden.

Der Algorithmus bei Watson ist ein System welches DeepQA genannt wird (http://www.research.ibm.com/deepqa/deepqa.shtml). Es handelt sich hierbei um eine Weiterentwicklung
klassischer QA (Question Answering) Systeme. Kern von DeepQA ist die Erweiterung der
klassischen, Wissensbasierten Systeme um eine statistische Komponente die die neusten Entwicklungen
der NLP (Natural Language Processing) Forschung einfliessen lässt. 

Um nun diesen Algorithmus in ausreichender Geschwindigkeit mit Daten zu füttern hat sich IBM der allerneusten Power -- Prozessortechnologie  http://www-03.ibm.com/systems/power/index.html bedient. Kern bei dieser Prozessorgeneration ist die Tatsache dass sich ein Teil des Hauptspeichers nun auf dem Prozessorkern selbst befindet. Durch Zusammenschaltung von 2880 solcher CPU Kernen war
es möglich den Text des gesamten englischsprachigen Internets (dedupliziert nur ca. 1 TB!) auf den CPU Kernen zu speichern und somit die Suchanfragen in einer Taktfrequenz von über 5 Ghz auszuführen.

Die Ergebnisse der Suchanfrage wurden von DeepQA ausgewählt und je nach statistischer Zuversichtlichkeit des Systems
als mögliche Antwort vorgeschlagen. Hier musste extrem auf den Echtzeit-Aspekt wert gelegt werden da die Kandidaten
den „Buzzer" auch im Millisekundenbereich gedrückt haben.


Vestas:

Vestas stellt u.a. Windkraftanlagen her, möchte aber seine Kunden auch optimal beraten, wo diese Windkraftanlagen
am besten aufgestellt werden. Hierfür haben sie ein auf 2.8 PB (PetaByte, 1000 TB = 1 PB) Daten basierendes System entwickelt welches für eine Berechnung drei Wochen benötigt hat. Mit dem IBM BigInsights System und 15000
CPU Kernen wurde die Antwortzeit auf 15 Minuten verringert. Das System kann ohne Software seitigen Anpassungen
vergrössert werden, Vestas möchte das System innerhalb der nächsten Zeit auf 20 PB vergrössern.
 
 
Datenüberwachung einer Neugeborenen Intensivstation:

Mittels der IBM InfoSphere Streams massive parallelen und In-Memory Dataprocessing Middleware werden 16 Sensor-Streams von Neugeborenen in Echtzeit überwacht. Mithilfe eines statistischen Modells kann das System eine
Infektion 24 Stunden vor einem menschlichen Experten vorhersagen. Dieser Zeitvorsprung kann lebensrettend sein.
 
 Video 
 
Im nächsten Teil werde ich noch einige interessante Nicht-IBM Usecases aufzeigen um dann in die Technik einzutauchen.

Ich wünsche allen frohe Weihnachten und einen guten Rutsch ins Jahr 2013.

 

Artikelserie: Was Sie schon immer ueber BigData wissen wollten

4. Dezember 2012 Posted by Romeo Kienzler

 Hallo. 

Ich möchte hier eine kleine Serie über BigData schreiben. 

Sie wird ungefaehr die folgenden Topics beinhalten: 

  • Was ist BigData? 
  • Einige interessante BigData UseCases aus Sicht von IBM 
  • Einige interessante BigData UseCases aus globaler Sicht 
  • BigData Storage 
  • BigData Analytics 
    • Applied Statistics / Descriptive, Predictive, Prescriptive
    • Large Scale Mathematics
    • BigData Visualization 
  • Parallelization / Harddisk / Hauptspeicher / CPU Datendurchsatz
  • Fehler Toleranz / Commodity Hardware 
  • 360 Grad Ansicht: ETL (Extract Transform Load), Hadoop, Stream Computing, Massive Parallel DWH 
  • Ausblick, Self-Service BI 

Ich möchte nun mit der Definition von BigData beginnen. 

Wir sehen ein Datanprozessierungsproblem als BigData Problem wenn mindestens eines 
der folgenden V's zutrifft: 

Volume

Die groessten traditionellen DWH's die ich in meiner Laufbahn bisher kennen lernen durfte 
waren ca. 100 TB gross. Hier wurde jedoch sorgfältig ausgewählt welche Daten man im DWH 
speichert und welche nicht. Ziel von BigData ist es, den Zugriff von Unternehmen auf alle fuer Ihre Entscheidung relevanten Daten zu erweitern.
 
 
image
 
 
 
 
 
 
 
 
Abbildung 1: Seit Beginn der Menschheitsgeschichte bis 2003 wurden gleich viel Daten produziert
wie seit 2003 bis heute. 100 Millionen Tweets werden pro Tag verschickt, 35 Stunden Video in
 jeder Minute auf YouTube geladen, 6,1 Billionen Textnachrichten wurden
 2011 gesendet und 247 Millarden E-Mails gingen durch das Netz. 80 % davon sind Spam und Viren.
Die Informationsmenge nimmt schneller zu als die Moeglichkeiten wie Unternehmen diese 
Informationen prozessierenkoennen. Fuer den Teil zwischen den beiden Kurven befinden sich die
 Unternehmen im Blindflug.


Variaety

In traditionellen DWH's werden nur strukturierte Daten aufbereitet die ueber einen ETL Prozess 
vorher sorgfaeltig vom relationalen relationalen in DWH spezifische Strukturen ueberfuehrt 
wurden. Man sagt dass diese Prozess vom Aufwand her oft schon 70-80% des DHW Gesamtaufwandes 
darstellt. Der neue Ansatz lautet "Feature Extraction". Daten werden nicht mehr transformiert 
sondern so wie sie von der Quelle stammen importiert. Dies beinhaltet nicht nur strukturierte 
Daten, sondern auch "semi-structured data" wie z.B. News-Feeds oder "unstructured data" wie 
z.B. Freiform-Texte, Audio und Video. 

Velocity

Man unterscheidet zwischen "Data at Rest" und "Data in Motion". Beim Letzteren geht es um 
Echtzeit oder annähernde Echtzeitprozessierung (Near-RealTime). Zumeist setzt dies voraus 
dass Daten nicht oder nur sekundaer auf persistenten Speichermedien gehalten werden. 
Das Data-Processing findet auf dem Netzwerk, im Hauptspeicher und letztendlich in der CPU 
statt. Ein prominentes Beispiel hierfuer ist momentan "Click-Stream Analytics", bei dem 
der Pfad eines Webseitenbesuchers in Echtzeit verfolgt wird und dazu passende Inhalte 
geschaltet werden (vgl. "Recommender System"). 

Im naechsten Beitrag werde ich auf einige interessante IBM BigData UseCases eingehen wo
klar wird welche Rolle die 3 V's spielen.