Posts Tagged: ‘database’

How to Choose the Right Database for Commerce

19. Oktober 2021 Posted by Amanda Tevis

“What is the best database for large eCommerce websites, and why?” was a question I saw on Quora. This question is important because managing data within your eCommerce website plays a pivotal role in delivering positive user experiences and providing smooth transactions. It doesn’t matter how well your eCommerce website interface is designed and how nice the products/services look. It will be worthless unless the eCommerce website has the performance to quickly retrieve, process, and deliver information.  

Your database handles organizing and managing your company’s data. And with over 340 databases on the market, finding a powerful, reliable, and secure database for eCommerce can be a challenge, and choosing the best one can be overwhelming.   

But we are here to help!   

Below, we give some helpful tips on what to look for when choosing the right database for your eCommerce website. 

Cloud Native: When evaluating databases, look for an enterprise-grade cloud native database that makes deploying, scaling, and managing data easy within a Kubernetes environment because a cloud native database offers transactional processing speed, reliability, and flexibility all in one. 

Reliability: Consider a database with high availability (HA) that provides the performance and resiliency enterprises’ need, while meeting the Recovery Time Objective (RTO) and Recovery Point Objectives (RPO) for your business. ‘High Availability’ (HA) ensures the uptime required for enterprise, mission-critical applications to ensure business success.   

Easy Deployment: Developers and agile teams want to begin development in a matter of minutes as opposed to days or weeks. Finding a database that allows for quick deployment yields significant benefits, including reduced time to value, decreased operational costs, and shortened output hours for developers. 

Versatility: A database that runs on any cloud – private, public, or hybrid–with no vendor lock-in are features to look for because its capability translates well for on-premise, edge and/or cloud and even embedded/IoT solutions. Also, finding a multi-model database that encompasses multiple disparate data models within a single, streamlined backend allows you and your company to easily combine different database model types into one integrated database engine.  

Transactional speed: Speed and performance are top considerations when choosing a database to power critical applications. A database that rapidly delivers the throughput (TPS/TPM), response time, and cost per transaction modern applications require is necessary for large eCommerce platforms. 

Ease of Use: A modern user interface to monitor and manage the database delivers business productivity and efficiency. Therefore, you must pay attention to a database’s usability from various viewpoints, including the number of active users it can support at a time, visualization, and overall ease of use. In addition, it would help if you consider ease of reporting key performance indicators (KPIs), a task scheduler, customizable alerting system, operating system, and framework compatibility. 

Cost: While scalability and transactional speed requirements are crucial considerations, you can’t overlook the total cost (TCO) of implementing a database with your eCommerce solution. Your new database should fall within your budget and align with your organization’s financial objectives and existing sales and marketing plans. 

Trial the Product: Vendors provide experts who will demo the database and perhaps build a customized demo based on your requirements. But you need to know what’s going on behind the curtain. So instead of being shown a static report, why not try to build the demo yourself.  Best thing outside of going to a class to learn about the database is requesting a free trial, so that you can work hands-on with the database. It’s a fantastic way to get an actual perspective on the product.  

Same Vendor: Now, picking an eCommerce solution from one vendor and a database from another one happens all the time and can work. But one way you can look to complement your eCommerce solution with a powerful database is to buy from the same vendor. This ensures tight integration between the products, and can deliver on innovation that customers want without being constrained by other software vendors. Plus, the same vendor carefully plans roadmaps, support, and new releases for their products to work collectively without issues. 

The list of factors to consider when choosing a database is endless. However, the above tips are some of the most valuable ones if you are looking for a place to start.  

Are you looking for a powerful, reliable, proven database to power your cloud-native application development projects? Or have questions? Contact the OneDB team, and we will assist. 

Also, check out HCL Commerce for enterprise commerce platforms that delivering powerful B2C and B2B (Business 2 Business) customer experiences.  

OneDB for Commerce – The best option for Cloud Native Commerce?

30. August 2021 Posted by John Beechen

HCL Commerce has supported traditional relational databases such as DB2 and Oracle for many years.  In 2021 we added support for another option, OneDB. This blog talks about why customers are asking us to do this, what features it offers and how you can use OneDB as a cloud native database with HCL Commerce.

OneDB isn’t a completely new database technology. It is based on IBM Informix which HCL provides engineering support for, but OneDB is its own product with its own development stream and roadmap.  HCL’s goal with OneDB is to provide customers with a cloud native database solution that can work in the cloud or on premise with the performance that makes it automatically the best choice for solutions like HCL Commerce.

Why introduce a new database for HCL Commerce? The primary reason is that our customers have been asking for a fully cloud native solution to the database component of Commerce. Going fully cloud native for the entire Commerce infrastructure offers many benefits for scalability, high availability, ease of management and costs. For example, with Commerce and OneDB in Kubernetes, install and configuration can be done with a single Helm chart, greatly simplifying deployment, configuration and future updates.

DB2 and Oracle are proven database technologies that helps HCL Commerce deliver the highest performance for its transactional operations and other needs, however they are owned by IBM and Oracle and therefore we have no control over their roadmaps, support, end of service announcements and the like.  With HCL OneDB we wanted to have more control, so that we can imagine and deliver on innovation that our customers want without being constrained by other software vendors. The HCL teams working on OneDB and Commerce are joined at the hip, so when Commerce has a requirement, the OneDB team is able to turnaround a new release for it within days – accelerating our overall time to market.

Customers are asking for capabilities that go beyond just a transactional database.  OneDB offers versatility to Commerce customers who can use it for the following:

  • As a transactional database for Commerce to replace DB2 or Oracle.
  • As a time series database for event data, such as from IOT devices.
  • As a data warehouse to capture data for analysis.

The fact that its cloud native is big for our customers. HCL Commerce has been cloud native and containerized for some time, so the ability to bring a database that is ALSO containerized and cloud native, sits well with our vision.  The cloud native capabilities of OneDB solves some problems for Commerce customers, such as:

  • Achieve near-zero downtime for the commerce platform helps clients sell more products and services, with hot-hot capabilities reducing the need for a disaster recovery (DR) site.
  • Ability to scale the database layer using Kubernetes, the same way the Commerce application containers can be scaled.
  • Ability to distribute those containers into different cloud data centers to create active-active database availability across those different zones and geographically distributed databases for performance or compliance reasons.
  • Ability to deploy the database together with Commerce using a single Helm chart, which is much simpler faster and easier for clients, thereby reducing time to market.
  • Small footprint, low resource usage for cost efficiency.

For Developers, OneDB for Commerce has also been developed with interoperability in mind.  You can use familiar JSON to document data store patterns, but you can do “join” queries across SQL databases and document databases using SQL Drivers and OneDB’s support for the MongoDB API.  This avoids having to move all the data into OneDB, and respects customer’s desires to keep data where it is and not create data silos that are difficult to manage.

OneDB’s heritage had an emphasis on low administration.  The database was designed to work well in environments where there was no Database Administrator, and so the admin overhead of running it is low.  This helps customers with their Total Cost of Ownership (TCO), as many manual tasks are automated with OneDB.  The OneDB Explore console shows you whats going on, but there isn’t as high a level of active involvement due to its low admin nature.

With Commerce, scaling for peak loads is important.  The Commerce and OneDB teams took a lot of time to ensure that prior to launching Commerce with OneDB we tested it under a variety of load scenarios, such as storefront browsing, checkout, search and administrative loads such as data ingest (loading Commerce related product or inventory data in large volumes).  Our goal was to provide equal to or better than performance than existing Commerce database options (DB2 or Oracle) with Commerce.  We wouldn’t release the product until we had that, and we’re delighted to have achieved that goal.

To learn more, schedule a demo of OneDB – available as an option with HCL Commerce Summer 2021 release.

 

 

 

 

Neues IBM Redbook zum Informix Warehouse Accelerator

17. Oktober 2013 Posted by Martin Fuerderer

 

Ist die Datenanalyse in Ihrer Organisation zu langsam oder skaliert die Performance des Datenbanksystems nicht mit der Menge der zu analysierenden Daten? In diesem neuen IBM Redbook finden Sie bestimmt interessante Antworten und neue Ideen zu solchen Fragestellungen.

 

Die Vorabversion des neuen IBM Redbook "Query Acceleration for Business using Informix Warehouse Accelerator" ist unter folgender URL als PDF-Download verfügbar:

http://www.redbooks.ibm.com/redpieces/abstracts/sg248150.html?Open

 

Das Buch bietet detaillierten Einblick in die Technologie und Architektur von Informix Warehouse Accelerator. Es enthält viele Hintergrundinformationen zu Tools, Datensynchronisation und der Verarbeitung von Abfragen, sowie schrittweise Anleitungen zur Implementation der Datenanalyse mit dem Informix Warehouse Accelerator.

 

Kapitel des Buches:

  1. Introduction to Informix Warehouse Accelerator
  2. Designing data marts
  3. Designing and sizing an Informix Warehouse Accelerator environment
  4. Informix Warehouse Accelerator installation and configuration
  5. Creating Informix Warehouse Accelerator data marts
  6. Query execution
  7. Managing Informix Warehouse Accelerator data mart
  8. Informix Warehouse Accelerator server administration
  9. Use of Cognos with Informix Warehouse Accelerator
  10. Proof of concept for Informix Warehouse Accelerator
  11. Appendix: Tools for Informix Warehouse Accelerator

 

Sie haben auch die Gelegenheit, diesen Draft schon vor der Veröffent;lichung des Buches zu beurteilen. Vergeben Sie für vier Kategorien jeweils bis zu fünf Sterne. Nutzen Sie hierzu den Link "Rate this Draft", auf der obigen Internet-Seite rechts, oder gehen Sie direkt auf die Seite zur Beurteilung.

(Es wird erfreulicherweise kein login und keine e-mail Adresse benötigt, weder für den PDF-Download, noch für die Beurteilung.)


 

Informix Warehouse Accelerator: Semesterprojekt an der Hochschule Furtwangen

13. Juli 2012 Posted by Martin Fuerderer


image An der Hochschule Furtwangen hat Serbest Hammade unter der Leitung von Prof. Dr. Lothar Piepmeyer in einem Semesterprojekt mit dem etwas provokanten Titel "Die schnellste Datenbank der Welt?" die Möglichkeiten des Informix Warehouse Accelerator unter die Lupe genommen:

"Relationale Datenbanksysteme verbringen oft einen erheblichen Teil Ihrer Laufzeit damit, auf die Ergebnisse von Ein- und Ausgabeoperationen von Festplatten zu warten. Einen anderen und wesentlich performanteren Ansatz verfolgen In-Memory-Datenbanken: Sie interagieren sehr selten mit der Festplatte und halten die Daten - wie der Name schon sagt - im Arbeitsspeicher vor. Zur Seite stehen diesen Systemen moderne Komprimierungstechniken und die Entwicklung kostengünstiger großer Speichermodule. So können teilweise gewaltige Datenmengen vorgehalten werden.

Eines dieser Produkte - den Informix Warehouse Accelerator - haben wir im Laufe des Semesterprojekts "Die schnellste Datenbank der Welt?" im Wintersemester 2011/2012 geleitet von Herrn Professor Doktor Lothar Piepmeyer an der Hochschule Furtwangen untersucht."

(Zitat aus der Zusammenfassung der schriftlichen Dokumentation des Projekts)

Im Verlauf der umfangreichen Dokumentation beschreibt Serbest Hammade ausführlich, wie er mit der TPC-H Version 2.14 als Testsuite die Leistung des Informix Server in Kombination mit dem Informix Warehouse Accelerator (beide der Version 11.70.FC2) auf einem Linux-System mit einer CPU und 64 GB RAM untersucht hat. All dies fand nicht auf einem bereits eingerichteten System statt, sondern der gesamte Software-Stack musste zuerst installiert und dann auch konfiguriert werden. Da innerhalb des Semesterprojekts trotzdem genügend Zeit für die eigentlichen Leistungsmessungen blieb, wurde bewiesen, dass Installation und Konfiguration des Systems als relativ einfach einzustufen sind, und somit auch ohne die Hilfe von Informix-Spezialisten, womöglich sogar vor Ort, durchführbar sind. Es wurden sogar noch Messungen mit SQLite durchgeführt, die jedoch leider aufgrund der Unterschiede in den ausführbaren SQL-Abfragen nicht zu einem direkten Vergleich herangezogen werden konnten.

Zum Vergleich kamen somit die Werte von drei verschiedenen Messreihen:

  1. Nur Informix Server, normale Konfiguration.

    Die Informix Server Instanz wurde nicht speziell für eine Data Warehouse Umgebung konfiguriert und die Datenbank enthielt neben den Benutzerdaten auch Indexe zur Optimierung des Zugriffs auf einzelne Datensätze sowie zur Sicherstellung der Datenintegrität mittels Primär- und Fremdschlüssel. Eine solche Konfiguration wäre für OLTP typisch.

  2. Nur Informix Server als reines Data Warehouse, "fully cached".

    Um zu erreichen, dass der Informix Server alle Daten im Speicher hat und während der Abfragen keine Plattenzugriffe mehr machen muss, wurde die Datenbank ohne jegliche Indexe angelegt. Zudem musste erst eine Aufwärmphase durchlaufen werden, um durch mehrfache Abfragen alle Daten in den Bufferpool des Informix Servers zu laden, in dem der Informix Server die Daten dann halten kann.

  3. Informix Server mit Informix Warehouse Accelerator.

    Informix Server wie in a. jedoch mit dem Accelerator zur Beschleunigung der Abfragen.

Die Ergebnisse der Zeitmessungen von mehreren Messreihen wurden dann zum Vergleich in einer übersichtlichen Tabelle wie folgt zusammengefasst:

Query Konfig. a.Faktor
a. zu c.
Konfig. b.Faktor
b. zu c.
Konfig. c.
Faktor = 1
1186s5,8151s4,732s
2>9h>2700,0250s20,012s
3180s90,013s6,52s
4>4h>230,033s0,563s
5488s12,015s0,340s

Mit der Festellung, viel im Bereich der praktischen Anwendung eines Datenbanksystems und Benchmark-änlichen Leistungsmessungen desselben gelernt zu haben, kommt Serbest Hammade bezüglich der Messergebnisse zu folgendem Fazit:

"Die Messergebisse zeigen, dass der Informix Warehouse Accelerator im Gegensatz zu der optimierten Informix Instanz konstante Laufzeiten hat und bei den meisten Abfragen schneller ist. ...

Wenn Informix in kleinen oder mittelständischen Unternehmen zur Anwendung kommt, dürfte es kostengünstiger sein, Informix optimal auf das System zugeschnitten zu konfigurieren.

Für kleine Softwarelösungen lässt sich dagegen SQLite perfekt einsetzen, da es keinen eigenen Server mit eigener Konfiguration benötigt, allerdings muss die Software die Bibliothek einsetzen, um die Daten zu verarbeiten."

(Zitat aus dem Fazit)

Durchgeführt im Studium, ist dieses Semesterprojekt als beachtliche Leistung eines Studenten zu bewerten! Das Ergebnis ist treffend, wenn auch ergänzend einige Anmerkungen erlaubt seien:

  • Konfiguration b. kann dann vorteilhafter sein, wenn alle Daten in den Bufferpool passen können - was nicht unbedingt mit der Firmengrösse eines Anwenders zu tun hat.
  • Ausreichend Speicher fuer einen ausreichend grossen Bufferpool der Konfiguration b. zu haben, ist Bedingung für einen "fully cached" Betrieb des Systems. Daher mussten auch die Indexe entfernt werden, da Indexpages ansonsten die Datenpages aus dem Bufferpool wieder verdrägen und somit keinen "fully cached" Betrieb zulassen.
  • Wo Speicher nicht ausreichend vorhanden ist, da kann Informix Warehouse Accelerator sein Potential voll zur Geltung bringen, da die Daten nur in komprimiertem Zustand im Speicher gehalten werden, und dank der speziellen Kompression in vielen Fällen eine Auswertung der Daten sogar im komprimierten Zustand möglich ist.
  • Der Aufwand, ein System der Konfiguration b. dauerhaft im Zustand des "fully cached" Betriebs zu halten, kann durchaus mehr Kosten verursachen als der Einsatz des Informix Warehouse Accelerators.


Informix Warehouse Accelerator: Ein Jahr im Rückblick (1)

2. Mai 2012 Posted by Martin Fuerderer



Icon: IWA Logo TruckNachdem der Informix Warehouse Accelerator Anfang April ziemlich genau ein Jahr auf dem Markt ist, hat Fred Ho, Chief Technologist - Informix Warehouse Software Product Manager, einen Jahresrück- bzw. Überblick geschrieben, den ich hier auch in deutscher Sprache anbieten möchte.
 
Der Überblick ist in mehrere Abschnitte zu den folgenden Themen unterteilt: Technologie, Verkäufe, Wettbewerb, Funktionalitätserweiterungen und Ausblick. Diese Themen werden in lockerer Folge als blog-Einträge vorgestellt. Beginnen wir mit dem Thema ...:

Technologie

Für alle, die das Informix Warehouse Accelerator Produkt noch nicht kennen: es ist ein Beschleuniger, der unsichtbar hinter einem Informix Server läuft und speziell für Data-Warehousing oder analytische Abfragen entwickelt wurde. Die Benutzer setzen ihre Abfragen entweder direkt in SQL oder über ihr bevorzugtes Business Intelligence Tool (z.B. Cognos, Microstrategy oder Pentaho) wie gewohnt an den Informix Server ab. Basierend auf Definitionen von Data Marts leitet der Informix Server die Abfragen an den Accelerator, empfängt von ihm das Ergebnis und leitet es an den Benutzer weiter, als ob der Informix Server die Abfrage selbst beantwortet hätte. Der einzige Unterschied ist, dass die Antwortzeit für solche Abfragen 10 bis 100 mal so schnell sein kann. Abfragen, die viele Minuten oder sogar Stunden gedauert haben, können in wenigen Sekunden ausgeführt sein. All dies passiert ohne spezielles Tuning, oder Hinzufügen von Indexen oder Datenwürfeln. Der Accelerator ist bestens geeignet für Informix-Kunden, die auf dem Informix Server Standard OLTP ausführen, aber auch analytische Abfragen stellen, entweder auf demselben oder auf einem anderen System. Der Accelerator läuft auf günstiger Intel Hardware, für die es hunderte Gigabytes DRAM zu sehr günstigen Preisen gibt.

Im nächsten blog-Eintrag: <b>Verkäufe</b> und <b>Wettbewerb</b>.