Posts Tagged: ‘iwa’

Neues IBM Redbook zum Informix Warehouse Accelerator

17. Oktober 2013 Posted by Martin Fuerderer

 

Ist die Datenanalyse in Ihrer Organisation zu langsam oder skaliert die Performance des Datenbanksystems nicht mit der Menge der zu analysierenden Daten? In diesem neuen IBM Redbook finden Sie bestimmt interessante Antworten und neue Ideen zu solchen Fragestellungen.

 

Die Vorabversion des neuen IBM Redbook "Query Acceleration for Business using Informix Warehouse Accelerator" ist unter folgender URL als PDF-Download verfügbar:

http://www.redbooks.ibm.com/redpieces/abstracts/sg248150.html?Open

 

Das Buch bietet detaillierten Einblick in die Technologie und Architektur von Informix Warehouse Accelerator. Es enthält viele Hintergrundinformationen zu Tools, Datensynchronisation und der Verarbeitung von Abfragen, sowie schrittweise Anleitungen zur Implementation der Datenanalyse mit dem Informix Warehouse Accelerator.

 

Kapitel des Buches:

  1. Introduction to Informix Warehouse Accelerator
  2. Designing data marts
  3. Designing and sizing an Informix Warehouse Accelerator environment
  4. Informix Warehouse Accelerator installation and configuration
  5. Creating Informix Warehouse Accelerator data marts
  6. Query execution
  7. Managing Informix Warehouse Accelerator data mart
  8. Informix Warehouse Accelerator server administration
  9. Use of Cognos with Informix Warehouse Accelerator
  10. Proof of concept for Informix Warehouse Accelerator
  11. Appendix: Tools for Informix Warehouse Accelerator

 

Sie haben auch die Gelegenheit, diesen Draft schon vor der Veröffent;lichung des Buches zu beurteilen. Vergeben Sie für vier Kategorien jeweils bis zu fünf Sterne. Nutzen Sie hierzu den Link "Rate this Draft", auf der obigen Internet-Seite rechts, oder gehen Sie direkt auf die Seite zur Beurteilung.

(Es wird erfreulicherweise kein login und keine e-mail Adresse benötigt, weder für den PDF-Download, noch für die Beurteilung.)

 

Read full article |Kommentare deaktiviert für Neues IBM Redbook zum Informix Warehouse Accelerator
Tags: , , , , , , ,
Categories: Allgemein

Informix beschleunigt die Analyse von Sensordaten

9. April 2013 Posted by Martin Fuerderer

Sensordaten sind für das Datenmanagement eine der bedeutenden Herausforderungen für die nächste Zeit. Üblicherweise fallen Sensordaten wiederholt an, oft sogar in regelmässigen Zeitabständen. Wenn es dazu noch recht viele Sensoren gibt, dann wird deutlich, dass schnell eine unüberschaubare Menge an Daten angehäuft wird. Ein oft zitiertes Beispiel in den letzten Jahren sind intelligente Stromzähler ("Smart Meters"), welche dem Stromlieferanten mehrfach täglich die gemessenen Verbrauchsdaten zurückmelden, oft sogar im Viertelstundentakt.

 

Dass der Informix Server besonders gut geeignet ist, solche sog. Zeitreihendaten zu speichern und zu verarbeiten, hat sich mittlerweile in der Branche schon herumgesprochen. Hierbei kommt die IBM Informix TimeSeries Technologie zum Einsatz, die für solche Anwendungen speziell entwickelt wurde und den Datenbankapplikationen auch besondere Funktionen anbietet, die dem Umgang mit dem Zeitreihendatentyp gerecht werden.

 

Im Zuge des allgemeinen Trends, vorhandene Daten für verschiedenste Zwecke mit analytischen Methoden auszuwerten, wird nun vermehrt gefordert, dies auch für Sensordaten zu ermöglichen. Die grosse Menge der Sensordaten ist hierbei jedoch ein beträchtliches Hindernis, denn analytische Abfragen betreffen meist alle vorhandenen Datensätze und sind zudem oft sehr komplex. Diese Kombination zwingt auch grösste Datenbanksysteme in die Knie. Zu lange Antwortzeiten machen die Abfragen selbst sinnlos.

 

Mit der neuen Version 12.10 bietet der Informix Server nun die Möglichkeit, auch die Analyse von Zeitreihendaten zu beschleunigen. Trotz seiner speziellen Speicherung kann der Zeitreihendatentyp nun als Faktentabelle in einen "data mart" im Informix Warehouse Accelerator (IWA) integriert werden. Somit stehen die Zeitreihendaten zusammen mit den normalen Daten für die Beschleunigung analytischer Abfragen zur Verfügung. Antwortzeiten der so beschleunigten Abfragen entsprechen den mit IWA üblicherweise erreichten Werten, realisiert durch die einzigartige In-Memory Technology, die den kompletten Umfang eines "data mart" im Hauptspeicher hält und somit bei Abfragen auf jeglichen Festplatten-I/O verzichten kann.

 

Beim "Big Data Launch", einer Veranstaltung im IBM Research Lab Almaden, Silicon Valley, zum Erscheinen neuer Versionen von Informix und DB2, wurde die neue Integration von IBM Informix TimeSeries Technologie mit dem Informix Warehouse Accelerator erfolgreich demonstriert - auf einem Rechnersystem, das im Münchner Gebäude der IBM steht, denn ein wesentlicher Teil der Informix IWA-Entwicklung und -Integration findet in München statt. In enger Zusammenarbeit konnten die an der Entwicklung beteiligten Kollegen im Silicon Valley das Müncher System mittels Remote-Zugriff für ihre Vorführung nutzen. Komplexe Abfragen über ca. 900 Millionen Datensätze wurden so innerhalb von 2 Sekunden beantwortet.

Read full article |Kommentare deaktiviert für Informix beschleunigt die Analyse von Sensordaten
Tags: , , , , ,
Categories: Allgemein

Webseminar "INFORMIX WAREHOUSE ACCELERATOR"

18. Februar 2013 Posted by Martin Fuerderer

Das Thema In-Memory-Verarbeitung ist in letzter Zeit immer öfter im Zusammenhang mit Data Warehousing zu hören.
 
Speziell für Fachverantwortliche aus IT und DV haben wir am 05.03.2013 um 11.00 Uhr ein Webseminar aufgelegt:
 
"Spaltenbasierte In-Memory-Verarbeitung für Data Warehousing: Welche grundlegend neuen Möglichkeiten bietet dieser Ansatz?"
 
In diesem Vortrag wird zum einen beleuchtet, was die Gründe für diese Entwicklung sind. Zum anderen wird ein Produkt -- der Informix Warehouse Accelerator -- vorgestellt, der spaltenbasierte Komprimierung und Speicherung von Daten nutzt, um mittels In-Memory-Verarbeitung und der Ausnutzung der Fähigkeiten aktueller Hardware gewaltige Performance-Steigerungen bei gleichzeitig starker Reduktion des Administrationsaufwands im Vergleich zu traditionellen Technologien zu erreichen. Dies wird anhand von Beispielen aus Kundensituationen gezeigt.
 
Melden Sie sich am besten gleich an unter:
 
Die 45-minütigen Live-Veranstaltung bietet Ihnen die Möglichkeit, ganz bequem von Ihrem eigenen Arbeitsplatz aus das Thema kennenzulernen und sich per Chat mit unseren Experten auszutauschen.
 
Read full article |Kommentare deaktiviert für Webseminar "INFORMIX WAREHOUSE ACCELERATOR"
Tags: , , , ,
Categories: Allgemein

"Big Data" und der Informix Warehouse Accelerator

3. September 2012 Posted by Martin Fuerderer

IWA Logo Truck"Big Data" ist ein relativ neues Schlagwort im Vokabular des IBM Data Management. Daher gibt es nun viele Veranstaltungen und Informationen rund um das Thema bzw. mit dem Titel. Doch was bedeutet Big Data? Wann sind Daten big? Und was macht man dann, wenn man zu dem Schluss gekommen ist, dass die eigenen Daten nun big sind?

Im Allgemeinen bezieht sich das Attribut big wohl auf die Gesamtgrösse der Daten, die sich im Laufe der Zeit so angesammelt haben, wobei hierbei meist Daten gemeint sind, die aktiv benutzt werden (im Gegensatz zu solchen, die nur archiviert sind). Solange die aktive Nutzung der Daten gut funktioniert, werden die Daten oft noch nicht so richtig als big angesehen. Erst wenn Dinge allmählich aus den Fugen geraten, fällt auf, dass die Datenmenge gross ist: das Limit der Speicherkapazität wird erreicht, der normale Umgang mit den Daten wird schwerfällig (z.B. bei Routinebackups) und besonders wenn der normale Arbeitsablauf ins Stocken gerät, weil "die Performance" nachlässt.

 

Hiermit ist auch verständlich, dass das big in Big Data relativ zu sehen ist. Was z.B. für NASA oder ESA in Anbetracht einer riesigen Sammlung von hochauflösenden Satellitenfotos eine eher mickrige Datenmenge ist, kann für einen Mittelstandsbetrieb berechtigterweise Big Data sein, besonders wenn die Nutzung durch komplexe Abfragen einfach zu langsam oder sogar unmöglich wird.

 

Ist man erstmal zum Schluss gekommen, dass die eigenen Daten nun als Big Data einzustufen sind, stellt sich natürlich gleich die Frage, welche Möglichkeiten gibt es, trotzdem noch vernünftig damit zu arbeiten.

 

Andreas Weiniger, Leading Technical Sales Professional - Information Management bei IBM Deutschland, wird beim 3. virtuellen Information Management Forum zum Thema "Daten effizient verwalten, sichern und analysieren im Zeitalter von Big Data!" genau solche Möglichkeiten aufzeigen und erörtern. Sein Vortrag zum Thema In-Memory für den Mittelstand: Der Informix Warehouse Accelerator - Anwendungsfälle, Technologie und Lizenzen findet im Virtuellen Forum am 13. September von 11:15 - 12:00 Uhr statt. Andreas Weininger hat diese neue Technologie schon bei einigen Kunden in Deutschland erfolgreich zum Einsatz gebracht und spricht daher weniger über theoretische Möglichkeiten, sondern mit einer Menge praktischer Erfahrung.

 

Information, Agenda und Anmeldung zum 3. virtuellen Information Management Forum finden Sie hier:
http://www.ibm.com/de/events/im-forum-virtuell/index.html

Read full article |Kommentare deaktiviert für "Big Data" und der Informix Warehouse Accelerator
Tags: , , , , , ,
Categories: Allgemein

Bericht von der IIUG Conference in San Diego

18. Mai 2012 Posted by Martin Fuerderer

Einer meiner Kollegen hatte die Möglichkeit, die diesjährige Konferenz der Internationalen Informix User Group (IIUG) zu besuchen. Folgend sein kurzer Bericht.
Zur IIUG Konferenz bin ich nach San Diego (22.-25.4.2012) gereist, um dort einen Vortrag zum Thema "Informix Warehouse Accelerator on Cluster" zu halten. Das Ziel eines solchen Clusters ist, Speicher- und Prozessorlimits günstiger PC Hardware zu überwinden und die Performance zu skalieren. Nach der Erläuterung der Hardware- und Softwarevoraussetzungen sowie der Konfiguration und Administration des Informix Warehouse Accelerator Clusters demonstrierte ich in einer Live Demo die Skalierung für Load- und Query-Tasks auf 2 und 3 Cluster Nodes.
Weiter Vorträge zum Informix Warehouse Accelerator wurden gehalten zu den Themen:
  • How to combine Informix TimeSeries with the Informix Warehouse Accelerator for analytic performance
  • Informix Warehouse Accelerator ** Billion rows benchmark demo
  • Informix Warehouse Accelerator - A look at the First Year and Beyond
Desweiteren wurden "Hands on Labs" angeboten:
  • Informix Warehouse Accelerator - Installation and Setup
  • How to Speed up Data Warehousing with Informix Warehouse Accelerator
Rund 140 Sessions gaben wertvolle Information und Perspektiven zu verschiedensten Themen rund um den Informix Server. Besonders wertvoll war auch die Gelegenheit, direkt mit Anwendern und Kollegen sprechen zu können.
Ausführlichere Informationen zur Konferenz:
http://www.iiug.org/conf/2012/iiug/
Read full article |Kommentare deaktiviert für Bericht von der IIUG Conference in San Diego
Tags: , , , , , , , ,
Categories: Allgemein

Informix Warehouse Accelerator: Ein Jahr im Rückblick (3)

11. Mai 2012 Posted by Martin Fuerderer

Icon: IWA Logo TruckMit den Themen Funktionalitätserweiterungen und Ausblick möchte ich nun die Serie (siehe auch Teil 1 und Teil 2) abschliessen.
Den Originaltext finden Sie (in englischer Sprache verfasst) auf developerWorks im Blog von Fred Ho.
Funktionalitätserweiterungen
Seit Erscheinen des Informix Warehouse Accelerators vor einem Jahr haben wir einige bedeutende Features hinzugefügt. Die wichtigsten sind folgend mit jeweils einer kurzen Beschreibung aufgelistet:
  • Workload Analysis Tool
    Ermöglicht die einfache Definition von Data Marts, die auf dem Accelerator anzulegen sind, ohne Detailswissen über die Workload zu erfordern. Man lässt einfach die normale Workload laufen (mit oder ohne tatsächliche Ausführung) und lässt das Tool die Abfragen analysieren und die Data Mart Definitionen im XML Format erzeugen. Diese werden dann benutzt, um die Data Marts anzulegen und mit den Daten zu laden.
  • Datenerneuerung bei kontinuierlicher Verfügbarkeit
    Obwohl eine Studie der IDUG zeigt, dass 90% der Data Warehouses nur einmal am Tag oder weniger oft aktualisiert werden, können Kunden, die ihr Daten öfter erneuern müssen, einen zweiten Data Mart (mit komprimierten Daten) aufbauen. Durch Umschalten zwischen den zwei Data Marts zur jeweils aktuelleren Kopie kann eine bessere Datenaktualität erzielt werden, ohne zwischendurch auf die Beschleunigung verzichten zu müssen.
  • Unterstützung für Cluster
    Der Informix Warehouse Accelerator kann sowohl auf einer Standard SMP Maschine laufen, als auch auf einem Cluster System, wie es z.B. typisch für eine Blade Server Konfiguration ist. Dies ermöglicht dem Accelerator die Nutzung von noch mehr CPU cores und Speicher der beteiligten Clusterknoten verglichen mit einem Einzelsystem. Der Accelerator partitioniert die Daten von Fakttabellen effizient über die Clusterknoten hinweg und repliziert die Dimensionstabellen für optimale Performance. Die Anzahl der Coordinator- und Workerknoten des Accelerator kann entsprechend skaliert werden.
  • Partition Refresh
    In der kommenden Version 11.70.FC5 wird es zwei bedeutende Funktionalitätserweiterungen geben. Mit der derzeitigen Version des Informix Warehouse Accelerators müssen die Daten komplett neu in den Data Mart geladen werden, wenn dieser nach Datenänderungen in der Informix Server Datenbank wieder auf den neuesten Stand gebracht werden soll. Das neue Partition Refresh Feature hingegen erlaubt dem Benutzer, die Daten einzelner Partitionen (bei Informix auch Fragmente genannt) im Data Mart zu erneuern. Wurde z.B. ein Data Warehouse in Terabytegrösse schon in den Accelerator geladen und danach nur eine kleine Datenmenge (z.B. einige GB) in bestimmten Tabellenfragmenten geändert, so können die den geänderten Tabellenfragmenten entsprechenden Partitionen aus dem Data Mart im Accelerator entfernt werden, um dann gezielt nur die geänderten Tabellenfragmente als neue Partitionen wieder zu laden. Dies verkürzt die Ladezeit erheblich. Bei anderen Systemen werden solche Verfahren oft Incremental Update oder Trickle Feed genannt.
  • Das Laden von Daten von einem Informix Mach11 Secondary Server aus
    Von den Vorteilen der Informix Replikation (auch unter dem Stichwort MACH11 bekannt) kann man auch mit dem Accelerator profitieren. Z.B. kann ein Secondary Informix Server in einem MACH11-Verbund mit dem Accelerator verbunden werden, damit zur Administration des Accelerators und seinen Data Marts benutzt werden, die Daten in den Accelerator laden, und ebenso Abfragen mit dem Accelerator beschleunigen. Solch ein Secondary Server kann ein Informix HDR, RSS oder auch ein SDS Knoten im MACH11-Verbund sein. Dadurch wird eine effektive Lastverteilung erreicht, denn der Primary Informix Server muss sich nicht um den Accelerator kümmern und steht mit all seinen Ressourcen für OLTP zur Verfügung. Die Möglichkeit, solche gemischten Arbeitslasten mit ein und demselben System zu bedienen, ist einer der heiligen Grale für Datenbankmanagement.
    • HDR = High availability Data Replication (Secondary)
    • RSS = Remote Standalone Secondary
    • SDS = Shared Disk Secondary
Ausblick
Unser Ziel ist, die Basis zu erweitern für unsere Informixkunden mit einem Bedarf für komplexe Datenanalyse. Natürlich wollen wir auch über Bestandskunden hinaus neue Kunden hinzugewinnen. Obwohl es im Information Management Portfolio der IBM überlappende Produkte gibt, sind wir der meinung, dass die fortschrittliche In-Memory Technoligie des Informix Warehouse Accelerators gepaart mit den Stärken des Informix Server im OLTP ein einzigartiges Angebot zu einem Preis wie kein zweites ist.
Weitere Informationen: Über einen Kommentar zu einem der blog-Einträge hier, oder auch (in englisch) bei Fred Ho direkt: hof@us.ibm.com .
Read full article |Kommentare deaktiviert für Informix Warehouse Accelerator: Ein Jahr im Rückblick (3)
Tags: , , , , , , ,
Categories: Allgemein

Informix Warehouse Accelerator: Ein Jahr im Rückblick (2)

4. Mai 2012 Posted by Martin Fuerderer


Icon: IWA Logo Truck Nach dem ersten Teil des Jahresrückblicks mit dem Thema Technologie geht es diesmal um bisherige Verkäufe und um den Wettbewerb zum Informix Warehouse Accelerator.
Verkäufe
Der mit dem Informix Warehouse Accelerator im ersten Jahr erzielte Umsatz, das wichtigste Erfolgsmaß für jedes Produkt - speziell für ein neues Produkt innerhalb IBM-Information Management-Informix - war mehr als respektabel und auf jeden Fall im Millionenbereich (genaue Zahlen können hier jedoch nicht genannt werden). Es gibt schon eine Anzahl von Kunden, verteilt über verschiedene Geografien und verschiedene Industriezweige, einschliesslich Einzelhandel, Versicherungen, Hotelwesen, Energieversorgung, sowie im öffentlichen Bereich. Noch wichtiger ist, dass es Partner gibt, die mit ihrem eigenen Angebot auf Basis des Accelerators selbständig und erfolgreich Verkäufe abgeschlossen haben. Informix war schon immer ein sehr Partner-orientiertes Produkt und der Informix Warehouse Accelerator ist hier keine Ausnahme. Dies gilt besonders für Mittelstandskunden, wo geringe Kosten von größter Wichtigkeit sind. Mit einem aggressiven Zeitplan für eine Anzahl von Workshops und Bootcamps überall auf der Welt wurden unsere Partner geschult, was auch 2012 das ganze Jahr über weitergeführt wird.
Wettbewerb
Jeder Anbieter auf dem Markt scheint dieser Tage zu behaupten, dass er analytische Abfragen schnell durchführen kann. Schliesst man Angebote spaltenorientierter Datenbanken mit ein, sind es 10 bis 20 konkurrierende Produkte in diesem Bereich. Die meiste Aufmerksamkeit erhielt HANA von SAP, das viele Eigenschaften und Funktionalitäten mit dem Informix Warehouse Accelerator gemeinsam hat. Dies ist günstig für uns, denn durch das erhöhte Bewusstsein der Möglichkeiten einer in-memory Datenbank, speziell entwickelt für Data Warehousing im industriellen Einsatz, werden Kunden die Unterschiede zwischen Informix Warehouse Accelerator und HANA weiter untersuchen.
Wir haben schon Vergleichszahlen (basierend auf realen PoCs von Kunden) gegenüber Produkte anderer Anbieter, z.B. Teradata und SQL Server, und spaltenorientierter Datenbanken von Anbietern wie Greenplum und Ingres VectorWise. Wir können erfreut berichten, dass wir in diesen Vergleichen gut dastehen, sowohl bezüglich Performance als auf TCO. Daher sind uns solche Vergleiche willkommen.
Im nächsten blog-Eintrag betrachten wir die wichtigsten der vielen Funktionalitätserweiterungen, die der Informix Warehouse Accelerator schon im ersten Jahr erfahren hat.
Read full article |Kommentare deaktiviert für Informix Warehouse Accelerator: Ein Jahr im Rückblick (2)
Tags: , , , , , , ,
Categories: Allgemein

Informix Warehouse Accelerator: Ein Jahr im Rückblick (1)

2. Mai 2012 Posted by Martin Fuerderer


Icon: IWA Logo TruckNachdem der Informix Warehouse Accelerator Anfang April ziemlich genau ein Jahr auf dem Markt ist, hat Fred Ho, Chief Technologist - Informix Warehouse Software Product Manager, einen Jahresrück- bzw. Überblick geschrieben, den ich hier auch in deutscher Sprache anbieten möchte.
Der Überblick ist in mehrere Abschnitte zu den folgenden Themen unterteilt: Technologie, Verkäufe, Wettbewerb, Funktionalitätserweiterungen und Ausblick. Diese Themen werden in lockerer Folge als blog-Einträge vorgestellt. Beginnen wir mit dem Thema ...:
Technologie
Für alle, die das Informix Warehouse Accelerator Produkt noch nicht kennen: es ist ein Beschleuniger, der unsichtbar hinter einem Informix Server läuft und speziell für Data-Warehousing oder analytische Abfragen entwickelt wurde. Die Benutzer setzen ihre Abfragen entweder direkt in SQL oder über ihr bevorzugtes Business Intelligence Tool (z.B. Cognos, Microstrategy oder Pentaho) wie gewohnt an den Informix Server ab. Basierend auf Definitionen von Data Marts leitet der Informix Server die Abfragen an den Accelerator, empfängt von ihm das Ergebnis und leitet es an den Benutzer weiter, als ob der Informix Server die Abfrage selbst beantwortet hätte. Der einzige Unterschied ist, dass die Antwortzeit für solche Abfragen 10 bis 100 mal so schnell sein kann. Abfragen, die viele Minuten oder sogar Stunden gedauert haben, können in wenigen Sekunden ausgeführt sein. All dies passiert ohne spezielles Tuning, oder Hinzufügen von Indexen oder Datenwürfeln. Der Accelerator ist bestens geeignet für Informix-Kunden, die auf dem Informix Server Standard OLTP ausführen, aber auch analytische Abfragen stellen, entweder auf demselben oder auf einem anderen System. Der Accelerator läuft auf günstiger Intel Hardware, für die es hunderte Gigabytes DRAM zu sehr günstigen Preisen gibt.
Im nächsten blog-Eintrag: <b>Verkäufe</b> und <b>Wettbewerb</b>.
Read full article |Kommentare deaktiviert für Informix Warehouse Accelerator: Ein Jahr im Rückblick (1)
Tags: , , , , , , ,
Categories: Allgemein