BLOG

Lesen Sie die neuesten Nachrichten von Billigence und aus der Welt der Technologie und Datenanalyse.
Vergessen Sie nicht, sie per E-Mail zu abonnieren.

Einführung in Matillion

In diesem Blogbeitrag möchten wir Ihnen diechnologie Matillion, Ihre Vorteile, a erklärtbeleuchtetals ji verwenden. zu Verbesserung Prozesse ETL/ELT und k Schneller Vorbereitung Daten.

ETL & ELT

ETL und ELT sind Datenintegrationsprozesse, die im Data Engineering eingesetzt werden. Beide Verfahren haben ihre Stärken, aber es gibt auch Unterschiede zwischen ihnen, die bei der Auswahl für eine bestimmte Anwendung berücksichtigt werden müssen.

ETL (Extract, Transform, Load): ist ein Datenintegrationsprozess, bei dem Daten aus verschiedenen Quellen extrahiert, in das gewünschte Format umgewandelt und dann in die Zieldatenbank oder das Data Warehouse geladen werden. Dies ist ein traditioneller Ansatz zur Datenintegration, der seit vielen Jahren weit verbreitet ist. Der herkömmliche ETL-Prozess kann jedoch an Grenzen stoßen, die sich aus der Rechenleistung der Systeme ergeben, die zur Durchführung der Transformationen verwendet werden. Daher kann es viel Zeit und Ressourcen kosten.

ELT (Extract, Load, Transform): ist ein moderner Ansatz zur Datenintegration, der sich vom traditionellen ETL dadurch unterscheidet, dass die Umwandlung der Daten erfolgt , nachdem sie in das Zieldatenlager geladen worden sind. Bei ELT werden die Daten zunächst aus verschiedenen Quellen extrahiert und dann in das Ziel-Data-Warehouse geladen, häufig im Rohformat. Die Daten werden dann mithilfe der Rechenleistung und Skalierbarkeit des Data Warehouse selbst und nicht eines anderen separaten Systems umgewandelt. Dieser Ansatz ermöglicht eine schnellere Verarbeitung, geringere Datenlatenzzeiten und eine höhere Effizienz.

Was ist Matillion?

Matillion ist eine Datenintegrationsplattform, die nicht nur Datenquellen nahtlos mit Cloud-Plattformen (z. B. AWS, Azure, GCP und Snowflake) verbindet, sondern auch Daten in einen analysefähigen Zustand umwandelt. Diese Daten können dann von Analyse- und BI-Tools (z. B. Tableau, PowerBI und Sigma) verwendet werden. Matillion nutzt die Leistungsfähigkeit dieser Cloud-basierten Datenplattformen, um Daten zu laden, umzuwandeln, zu synchronisieren und zu orchestrieren, so dass das Unternehmen viel schneller über verfügbare Daten verfügt.

matillion

Als cloudbasierte ELT/ETL-Software hilft Ihnen Matillion, das Beste aus Cloud-Data-Warehouses herauszuholen. Es ist in der Lage, Daten aus einer Vielzahl von Quellen zu integrieren und umzuwandeln, darunter Datenbanken, Cloud-Anwendungen und Flat Files. Matillion bietet auch:

  • Datenintegration: erleichtert das Extrahieren von Daten aus verschiedenen Quellen und das Laden in das Data Warehouse. Sie unterstützt Multi-Cloud-Plattformen wie Amazon Web Services, Google Cloud Platform, Microsoft Azure und Snowflake und ermöglicht es Unternehmen, Daten aus verschiedenen Quell- und Zielsystemen zu integrieren und zu transformieren.
  • Datentransformation: Mit Hilfe einer leistungsstarken Transformations-Engine erleichtert es verschiedene Datentransformationen, einschließlich Datenbereinigung, -anreicherung und -aggregation. Auf diese Weise können die Daten in das für die Analyse und Berichterstattung erforderliche Format gebracht werden.
  • Skalierbarkeit: Matillion ist ein skalierbares Werkzeug, das es einfach macht, mehr Datenquellen hinzuzufügen, komplexere Transformationen durchzuführen und größere Datenmengen zu verarbeiten (Big Data).
  • Einfach zu bedienen: Matillion bietet eine benutzerfreundliche Drag-and-Drop-Oberfläche, die das Arbeiten mit ELT erleichtert. Außerdem ist es ein Low-Code-Tool, so dass Sie sich auf die Daten und nicht auf die Technologie konzentrieren können.
  • Kosteneffizienz: Durch die Nutzung von Cloud Data Warehousing trägt Matillion dazu bei, die mit der herkömmlichen Datenspeicherung verbundenen Kosten zu senken. Dazu gehören die Senkung der Hardware-, Software- und Wartungskosten sowie die Freisetzung von Ressourcen für andere Prioritäten.

Mit Matillion können Unternehmen schnell und einfach komplexe Datentransformationen durchführen, Daten aus verschiedenen Quellen kombinieren und umgewandelte Daten in Data Warehouses laden – und dabei die unbegrenzte Skalierbarkeit und Rechenleistung der Cloud nutzen. Unternehmen können so schneller Erkenntnisse aus ihren eigenen Daten gewinnen und darauf basierend flexible Entscheidungen treffen und so die digitale Transformation im Unternehmen unterstützen.

Matillion ETL-Benutzeroberfläche

1. das Panel Eigenschaften: hier finden Sie die erstellten Aufgaben.

2. Task Canvas: Hier können Sie den Inhalt der ausgewählten Aufgabe sehen – ihre Komponenten und wie sie miteinander verbunden sind.

3. Bauteil-Panel. Die verfügbaren Komponenten hängen von der gewählten Auftragsart ab. Im obigen Beispiel wurde eine Transformationsaufgabe ausgewählt, so dass die Transformationskomponenten im Komponentenfenster zu sehen sind. Klicken Sie auf eine Orchestrierungsaufgabe, um die Orchestrierungskomponenten anzuzeigen.

4. Eigenschaften-Panel.

5. Taskleiste: Überwachen Sie den Fortschritt der aktuellen Aufgabe.

6. Menügestaltung: Zeigt zusätzliche Optionen für das aktuelle Projekt an (in der oberen linken Ecke).

7. Hilfe: Enthält zusätzliche Informationen über Matillion ETL (in der oberen rechten Ecke).

Für weitere Informationen über die Benutzeroberfläche und die grundlegenden Funktionen von Matillion lesen Sie bitte dieses Dokument.

Orchestrierung und Umwandlungsaufgaben

Matillion nutzt Transformations- und Orchestrierungsaufgaben, um Daten zu extrahieren, abzurufen und in die gewünschte Cloud-Datenplattform zu transformieren. Orchestrierungsaufträge übertragen externe Daten in das ausgewählte Lager. Transformationsaufträge werden zur Änderung von Daten im Data Warehouse verwendet.

So erstellen Sie eine Orchestrierungsaufgabe

Klicken Sie in der Navigationsleiste mit der rechten Maustaste auf den entsprechenden Ort (in diesem Fall „Standard“) und wählen Sie Orchestrierungsauftrag hinzufügen. In diesem Beispiel haben wir Daten aus einem Azure-Storage-Konto (Blob-Storage) und wollen sie in Snowflake laden. Da die Daten in Excel vorliegen, wählen Sie im Komponentenbedienfeld die Komponente Excel-Query aus, ziehen sie auf den Task Canvas, verbinden sie mit der Komponente Start und konfigurieren ihre Eigenschaften.

Wie man eine Transformationsaufgabe erstellt

Klicken Sie im Navigationsbereich erneut mit der rechten Maustaste auf den Speicherort (in diesem Fall „Standard“), und wählen Sie diesmal Umwandlungsauftrag hinzufügen. Beginnen Sie mit dem Abrufen von Daten aus Snowflake mithilfe der Komponente Tabelleneingabe.

In den Daten ist die Spalte „Bestelldatum“ im Format yr-mm-dd hh:mm:ss zu sehen. Transformationskomponenten werden verwendet, um diese Spalte in separate Jahres-, Monats-, Datums- und Zeitspalten aufzuteilen. Fügen Sie dem Canvas zwei Komponenten „Split Field“ hinzu , die erste, um die Spalte „Order Date“ in zwei Spalten aufzuteilen – eine Datumsspalte (yyyy-mm-dd) und eine Zeitspalte (hh:mm:ss) – und die zweite, um die neue Datumsspalte in drei Spalten aufzuteilen – Jahr, Monat und Datum.

Zeigen Sie Ihre Daten an, indem Sie auf die Registerkarte Vorschau neben der Registerkarte Eigenschaften und dann auf die Schaltfläche Daten klicken. Verwenden Sie anschließend die Komponente Rewrite Table, um die transformierten Daten in die Tabelle orderlist_final zu schreiben.

Zum Abschluss ziehen Sie die Transformationsaufgabe in die Orchestrierungsaufgabe.

Schließlich können Sie eine Aufgabe starten, die alle Komponenten ausführt.

Beginnen Sie damit, die Bestelllistendaten von Azure abzurufen, sie in die Bestelllistentabelle in Snowflake zu laden und die Daten dann umzuwandeln (d. h. die Spalte „Bestelldatum“ so aufzuteilen, dass sie separate Spalten für Jahr, Monat, Tag und Uhrzeit enthält). Schreiben Sie die geänderten Daten in die Tabelle orderlist_final. Wenn wir in Snowflake nachsehen, sehen wir eine neue Tabelle, orderlist_final, mit unseren gewünschten Spalten.

Schlussfolgerung

Mit Matillion können Sie Daten aus Azure abrufen und in Snowflake by Matillion in Minutenschnelle ändern – und das alles, ohne ein eigenes SQL-Skript schreiben zu müssen. Matillion hilft Unternehmen, Zeit, Ressourcen und Geld zu sparen und die Genauigkeit zu erhöhen.

Billigence, der globale Platin-Partner von Matillion, verfügt über das Fachwissen, um diese Technologie in Ihren bestehenden Technologie-Stack zu integrieren. Sind Sie interessiert? Kontaktieren Sie uns mit dem untenstehenden Formular.

KATEGORIE