Schnellster Weg zu Data Lakes, die für Analysen bereit sind

Automatisierung Ihrer Datenpipeline

Attunity Compose für Hive automatisiert die Datenpipeline, um Daten zu erstellen, die für Analysen bereit sind.  Durch Automatisierung der Datenerfassung, Hive-Schemaerstellung und kontinuierliche Aktualisierungen können Organisationen aus ihren Data Lakes schneller Wert schöpfen.

Universelle Datenerfassung

Attunity unterstützt die branchenweit größte Auswahl an Quellen und Zielen. Sie ermöglicht das Erfassen von Daten im Data Lake in lokalen, in der Cloud befindlichen oder in hybriden Umgebungen. Zu den Quellen gehören:

  • RDBMS: Oracle, SQL, DB2, MySQL, Sybase, PostgreSQL
  • Data warehouses: Exadata, Teradata, IBM Netezza, Vertica, Pivotal
  • Hadoop: Hortonworks, Cloudera, MapR
  • Cloud: AWS, Azure, Google Cloud
  • Messaging systems: z.b., Apache Kafka
  • Applications: z.b., SAP
  • Legacy: IMS/DB, DB2 z/OS, RMS, VSAM

Einfache Datenstrukturierung und Transformation

Automatisches Erzeugen des Schemas und der Strukturen im Hive-Katalog für operative Datenspeicher (Operational Data Stores, ODS) und Datenspeicher mit Daten aus der Vergangenheit (Historical Data Stores, HDS) – ohne manuelle Codierung.

  • Intuitiver und angeleiteter Prozess für Modellierung, Ausführung und Aktualisierungen
  • Pushdown-Verarbeitung nach Hadoop.  Alle erforderlichen Transformationslogiken werden automatisch generiert und zur Verarbeitung nach Hadoop weitergeleitet, während die Daten die Pipeline durchlaufen

Kontinuierliche Aktualisierungen

Sie können sich darauf verlassen, dass Ihr ODS und HDS Ihr Quellsystem genau wiedergeben.

  • Nutzen Sie CDC, um Echtzeitanalysen mit weniger Verwaltungs- und Verarbeitungsaufwand möglich zu machen
  • Lassen Sie Big Data-Lasten mittels parallelem Threading effizient verarbeiten
  • Zeitbasierte Partitionierung mit Transaktionskonsistenz stellt sicher, dass nur die Transaktionen, die innerhalb der angegebenen Zeit abgeschlossen sind, verarbeitet werden

Gewährleistung der Datenkonsistenz

Nutzen Sie die neuesten SQL-Weiterentwicklungen in Hive (inklusive des neuen ACID MERGE-Verfahrens), um Datenerfassungen, -aktualisierungen und -löschungen effizient zu verarbeiten, die Datenintegrität zu gewährleisten und Beeinträchtigungen für Benutzer zu vermeiden.

Sich langsam verändernde Dimensionen

Zum Analysieren historischer Daten kann Ihr HDS sich langsam verändernde Dimensionen vom Typ 2 unterstützen und neue Zeilen anhängen, sobald Aktualisierungen aus Quellsystemen eintreffen. Dieser neue Datensatz verfügt über einen Zeitstempel, so dass Sie problemlos Trend- und andere zeitorientierten Analysen durchführen können.

Wenn Sie mehr erfahren oder am Beta-Programm teilnehmen möchten, klicken Sie bitte hier und melden Sie sich an!

Dev Tool:

Request: products/compose/compose-for-hive
Matched Rewrite Rule: (.?.+?)(?:/([0-9]+))?/?$
Matched Rewrite Query: pagename=products%2Fcompose%2Fcompose-for-hive&page=
Loaded Template: page.php