Data Engineering für Einsteiger

Target Groups:

Interessenten mit abgeschlossener Berufsausbildung oder Berufserfahrungen im Medienbereich, Kommunikationsbereich oder kaufmännischen Bereich, die sicher im Umgang mit dem PC sind sowie eine Affinität zum Internet und digitalen Medien haben und die sich im Thema: Data Engineering für Einsteiger weiterbilden wollen.

Professional Requirements:

Keine besonderen Anforderungen.

Technical Requirements:

Keine besonderen Anforderungen.

Classification of the Federal Employment Agency:

keine Angaben

Contents

Data Science kann allgemein als der Prozess definiert werden, Daten nützlich zu machen und Data Engineering ist ein wichtiger Teil des Wie und Warum.


Wenn Sie sich Data Science wie einen Rennwagen vorstellen, sind die Data Engineers die Boxen-Crew. Sie fahren nicht das Auto, aber sie sorgen dafür, dass das Auto viel leichter zu fahren ist.

Dateningenieure sorgen dafür, dass der Datenfluss reibungslos funktioniert, überwachen Systeme, sehen Probleme voraus und reparieren die Datenpipeline, wenn Probleme auftreten. Sie extrahieren und sammeln Daten aus verschiedenen Quellen und laden sie in eine einzige, leicht abfragbare Datenbank.

Sie werden die wesentlichen Grundlagen des Data Engineering kennenlernen und hören vin Schlüsselthemen wie Data Wrangling, Datenbankschemata und die Entwicklung von ETL-Pipelines. Außerdem nutzen Sie verschiedene Data-Engineering-Tools wie Hive, Hadoop, Spark und Airflow.

Am Ende werden Sie wissen, warum der Data Engineer eine der wichtigsten Personen in einer datengesteuerten Organisation ist.

Einführung in Data Engineering
- Was ist Data Engineering?
- Einführung in Data Engineering
- Dateningenieur versus Datenwissenschaftler
- Wesentliche Werkzeuge für Data Engineering

Datenbanken und Dataframes
- Einführung in Datenbanken und ihre Typen
- Verstehen von Datenbankschemata
- Verteiltes Rechnen

Daten-Engineering-Werkzeuge
- MapReduce und Hadoop
- Hive
- Spark
- Airflow

ETL-Pipelines
- Quellen der Datenextraktion
- Datenextraktion aus einer PostgreSQL-Datenbank
- Transformieren von Daten
- Laden von Daten in eine DB
- Planen der ETL-Pipeline mit Airflow


Es gibt so viele Schlagworte in der Tech-Branche in diesen Tagen. Man kennt sich aus mit maschinellem Lernen, künstlicher Intelligenz, neuronalen Netzwerken usw. Und obwohl das Schreiben von Algorithmen zur Erstellung von Vorhersagen eine wichtige neue Fähigkeit ist, ist es nicht die einzige, die man braucht, um in diesem Bereich einzusteigen. Im modernen Big-Data-System ist die Person, die Algorithmen schreibt, nicht diejenige, die die Daten bereinigt. Das Auslegen von Daten für Wissenschaftler und Forscher ist mittlerweile ein komplexes Problem für sich selbst. Das ist der Punkt, an dem Dateningenieure einspringen und ihre Rolle in diesem Ökosystem finden. Sie werden die Grundlagen des Data Engineering lernen. Sie werden damit beginnen, die Bedeutung von Data Engineering zu verstehen, wie es sich von Data Science unterscheidet und welche Tools Sie beherrschen sollten, um Datenpipelines zu entwickeln. Dann werden Sie die Grundlagen eines Big-Data-Systems untersuchen, wie Datenbanken und verteiltes Rechnen. Im weiteren Verlauf lernen Sie die Tools kennen, die bei der Entwicklung einer ETL-Datenpipeline für jede Art von Problem nützlich sein können. Abschließend werden Sie die erlernten Konzepte und Tools anwenden, um Ihre eigene ETL-Pipeline zu entwickeln und zu planen.


Die Weiterbildung "Data Engineering für Einsteiger" bieten wir Ihnen als Coaching, Workshop, Training - Live-Online und Vor-Ort an.