Passt das zu Ihnen?
Data Engineer (AWS / DWH / ETL) - m/w/d - temp. Festanstellung (DE)
[16093]
Für unseren Kunden aus der Branche "Transport / Logistics" suchen wir einen "Data Engineer (AWS / DWH / ETL) - m/w/d" im Rahmen der Arbeitnehmerüberlassung. Start: schnellstmöglich Ende: 29.03.2029 Auslastung: Vollzeit (39h / Woche) Einsatzort: 80% Remote / 20% Frankfurt Projektkontext: Das Projekt zielt auf den Aufbau, die Weiterentwicklung und den Betrieb einer zentralen Datenplattform für das Capacity Management im Infrastrukturumfeld eines großen Mobilitäts- und Verkehrsunternehmens ab. Innerhalb eines agilen Entwicklungsteams wird eine skalierbare Data-Warehouse- bzw. Data-Lakehouse-Architektur auf Basis einer modernen Cloudplattform entwickelt und betrieben. Die Rolle unterstützt sowohl konzeptionelle als auch technische Tätigkeiten, insbesondere die Analyse, Konzeption und Implementierung von Datenintegrations- und Datenverarbeitungsprozessen. Ein wesentlicher Bestandteil des Projekts ist die Migration bestehender ETL-Strecken aus vorhandenen Data-Warehouse-Systemen in eine cloudbasierte Datenplattform. Zusätzlich werden neue Datenquellen angebunden, Daten transformiert, qualitätsgesichert und für analytische Zwecke bereitgestellt. Dabei erfolgt eine enge Zusammenarbeit mit fachlichen Verantwortlichen, Architekt:innen, Product Ownern sowie weiteren Stakeholdern, um eine stabile, zukunftssichere und skalierbare Datenarchitektur sicherzustellen. Aufgaben: ·Programmierung sowie Analyse und Konzeption in Abstimmung mit den fachlichen Verantwortlichen ·Aufbau, Weiterentwicklung und Betrieb der zentralen Datenplattform für das Capacity Management ·Arbeit im agilen Entwicklungsteam, Einbringen von Seniorität und Wissen aus dem Bereich ETL und damit Unterstützung des Product Owners ·Austausch mit den System Architekten und weiteren Kolleg:innen im interdisziplinären Team zur Entwicklung eines stabilen und zukunftssicheren Datawarehouses ·Migration von ETL-Strecken/Data Pipelines aus existierenden Anwendungen DWH ·Anbindung, Aufbereitung, Verknüpfung, Qualitätssicherung und Bereitstellung von Daten sowie die Abstimmung dieser mit zugehörigen Stakeholdern ·Entwicklung basierend auf einer zukunftsgerichteten und skalierbaren AWS Cloud Plattform ·Analyse und Abstimmung von neuen Datenquellen und Schnittstellen mit dem liefernden System, basierend auf AWS ETL- bzw. Data Flow-Werkzeugen ·Beratung und Einbringen von KnowHow beim Einsatz automatisierter Testverfahren und der Definition von Testcases ·Aktive Mitarbeit in der Planung und Umsetzung von neuen Features, Architekturvorgaben, der Stabilisierung und Verbesserung bestehender Prozesse & Entwicklungen Anforderungen: ·Mindestens 2 Jahre Erfahrung in der Implementierung großer Business Intelligence / Data Warehouse Lösungen ·Erfahrung mit SQL-basierter ETL-Entwicklung ·Kenntnisse von Datawarehouse-Strukturen (Historisierung, Key-Generierung, Star-Schema, Snowflake, 3NF) ·Mindestens 2 Jahre Erfahrung mit einem AWS-basierten Datalakehouse ·Erfahrung mit AWS Services: oAthena oRedshift oLambda oStepfunctions oS3 oSecrets Manager oIAM oAWS Glue ·Programmierkenntnisse in Python und SQL ·Erfahrung in Strukturierung, Prototypisierung und Umsetzung von Data-Warehouse-Lösungen inkl. Test/Qualitätssicherung ·Erfahrung im Stakeholdermanagement (Koordination mit Betrieb, Entwicklungsprojekten, Product Management) Wünschenswert: ·Erfahrung in Datenmigration und Migration von ETL-Strecken in Cloud-Architekturen ·Erfahrung in Datenmodellierung komplexer, mehrlagiger Datenquellen ·Erfahrung mit Query-Optimierung (Athena / Redshift) ·Erfahrung mit BI-Tools, vorzugsweise MS Power BI ·Erfahrung mit DevOps-Vorgehensmodellen (Git, CI/CD Pipelines) ·AWS-Zertifizierung (z. B.): oCloud Practitioner oDeveloper oDevOps Engineer oSolution Architect ·Gute Englischkenntnisse
Für unseren Kunden aus der Branche "Transport / Logistics" suchen wir einen "Data Engineer (AWS / DWH / ETL) - m/w/d" im Rahmen der Arbeitnehmerüberlassung.
Start: schnellstmöglich
Ende: 29.03.2029
Auslastung: Vollzeit (39h / Woche)
Einsatzort: 80% Remote / 20% Frankfurt
Projektkontext:
Das Projekt zielt auf den Aufbau, die Weiterentwicklung und den Betrieb einer zentralen Datenplattform für das Capacity Management im Infrastrukturumfeld eines großen Mobilitäts- und Verkehrsunternehmens ab. Innerhalb eines agilen Entwicklungsteams wird eine skalierbare Data-Warehouse- bzw. Data-Lakehouse-Architektur auf Basis einer modernen Cloudplattform entwickelt und betrieben. Die Rolle unterstützt sowohl konzeptionelle als auch technische Tätigkeiten, insbesondere die Analyse, Konzeption und Implementierung von Datenintegrations- und Datenverarbeitungsprozessen. Ein wesentlicher Bestandteil des Projekts ist die Migration bestehender ETL-Strecken aus vorhandenen Data-Warehouse-Systemen in eine cloudbasierte Datenplattform. Zusätzlich werden neue Datenquellen angebunden, Daten transformiert, qualitätsgesichert und für analytische Zwecke bereitgestellt. Dabei erfolgt eine enge Zusammenarbeit mit fachlichen Verantwortlichen, Architekt:innen, Product Ownern sowie weiteren Stakeholdern, um eine stabile, zukunftssichere und skalierbare Datenarchitektur sicherzustellen.
Aufgaben:
- Programmierung sowie Analyse und Konzeption in Abstimmung mit den fachlichen Verantwortlichen
- Aufbau, Weiterentwicklung und Betrieb der zentralen Datenplattform für das Capacity Management
- Arbeit im agilen Entwicklungsteam, Einbringen von Seniorität und Wissen aus dem Bereich ETL und damit Unterstützung des Product Owners
- Austausch mit den System Architekten und weiteren Kolleg:innen im interdisziplinären Team zur Entwicklung eines stabilen und zukunftssicheren Datawarehouses
- Migration von ETL-Strecken/Data Pipelines aus existierenden Anwendungen DWH
- Anbindung, Aufbereitung, Verknüpfung, Qualitätssicherung und Bereitstellung von Daten sowie die Abstimmung dieser mit zugehörigen Stakeholdern
- Entwicklung basierend auf einer zukunftsgerichteten und skalierbaren AWS Cloud Plattform
- Analyse und Abstimmung von neuen Datenquellen und Schnittstellen mit dem liefernden System, basierend auf AWS ETL- bzw. Data Flow-Werkzeugen
- Beratung und Einbringen von KnowHow beim Einsatz automatisierter Testverfahren und der Definition von Testcases
- Aktive Mitarbeit in der Planung und Umsetzung von neuen Features, Architekturvorgaben, der Stabilisierung und Verbesserung bestehender Prozesse & Entwicklungen
Anforderungen:
- Mindestens 2 Jahre Erfahrung in der Implementierung großer Business Intelligence / Data Warehouse Lösungen
- Erfahrung mit SQL-basierter ETL-Entwicklung
- Kenntnisse von Datawarehouse-Strukturen (Historisierung, Key-Generierung, Star-Schema, Snowflake, 3NF)
- Mindestens 2 Jahre Erfahrung mit einem AWS-basierten Datalakehouse
- Erfahrung mit AWS Services:
- Athena
- Redshift
- Lambda
- Stepfunctions
- S3
- Secrets Manager
- IAM
- AWS Glue
- Programmierkenntnisse in Python und SQL
- Erfahrung in Strukturierung, Prototypisierung und Umsetzung von Data-Warehouse-Lösungen inkl. Test/Qualitätssicherung
- Erfahrung im Stakeholdermanagement (Koordination mit Betrieb, Entwicklungsprojekten, Product Management)
Wünschenswert:
- Erfahrung in Datenmigration und Migration von ETL-Strecken in Cloud-Architekturen
- Erfahrung in Datenmodellierung komplexer, mehrlagiger Datenquellen
- Erfahrung mit Query-Optimierung (Athena / Redshift)
- Erfahrung mit BI-Tools, vorzugsweise MS Power BI
- Erfahrung mit DevOps-Vorgehensmodellen (Git, CI/CD Pipelines)
- AWS-Zertifizierung (z. B.):
- Cloud Practitioner
- Developer
- DevOps Engineer
- Solution Architect
- Gute Englischkenntnisse
Ljubow Pospiech