Projektbeschreibung
Data Engineer (m/w/d) (DE)
Constaff GmbH [15055]
Für unseren Kunden in Frankfurt suchen wir einen Data Engineer (m/w/d). Aufgaben: ·Weiterentwicklung und Betrieb einer zentralen AWS-Datenplattform für das Capacity Management ·Entwicklung, Analyse und Konzeption von Datenflüssen, ETL-Strecken und Datenbereitstellungen ·Migration bestehender ETL-Strecken und Datenpipelines in eine cloudbasierte AWS-Umgebung ·Anbindung, Aufbereitung, Verknüpfung und Qualitätssicherung heterogener Datenquellen ·Entwicklung und Optimierung von Data-Warehouse-/Datalakehouse-Lösungen ·Erstellung, Pflege und Weiterentwicklung von Testkonzepten, Teststrategien und risikobasierten Testansätzen ·Ableitung und Umsetzung von Testfällen und Testszenarien aus Anforderungen, User Stories sowie Daten- und Prozessmodellen ·Konzeption, Entwicklung und Pflege automatisierter Tests sowie deren Integration in CI/CD-Prozesse ·Durchführung und Dokumentation fachlicher, funktionaler, Integrations- und Regressionstests inklusive Datenqualitätstests ·Unterstützung bei Testdatenkonzeption, Testvorbereitung, Abnahmetests und Nachweisführung ·Einsatz und Weiterentwicklung generativer bzw. agentischer KI-Lösungen zur Unterstützung von Entwicklung und Testautomatisierung Anforderungen: ·Abgeschlossenes IT-Studium (Diplom/Master) oder vergleichbare Qualifikation ·Mind. 2 Jahre Erfahrung in der Entwicklung großer BI-/Data-Warehouse-Lösungen und SQL-basierter ETL-Strecken ·Mind. 2 Jahre Erfahrung mit AWS Datalakehouse, insbesondere Athena, Redshift, Lambda, Step Functions, S3, IAM, Secrets Manager, Glue, Python und SQL ·Erfahrung mit Datenmodellierung, DWH-Strukturen (u. a. Historisierung, Key-Generierung, Star-/Snowflake-Schema, 3NF) ·Fundierte Erfahrung mit Testkonzepten, Teststrategien, Testfällen und Testszenarien ·Erfahrung in Konzeption, Entwicklung und Pflege automatisierter Tests ·Erfahrung im Eisenbahnverkehr oder Transportwesen ·Technisches Verständnis für Datenstrukturen, Schnittstellen, Datenflüsse und Systemabhängigkeiten ·Nachweisliche Erfahrung mit generativer KI in Entwicklung und Qualitätssicherung Aufgrund von Kundenvorgaben wird eine projektbezogene Anstellung vorausgesetzt. Haben Sie Zeit und Interesse an einem spannenden Projekt? Dann freuen wir uns auf Ihre Kontaktaufnahme!
- Weiterentwicklung und Betrieb einer zentralen AWS-Datenplattform für das Capacity Management
- Entwicklung, Analyse und Konzeption von Datenflüssen, ETL-Strecken und Datenbereitstellungen
- Migration bestehender ETL-Strecken und Datenpipelines in eine cloudbasierte AWS-Umgebung
- Anbindung, Aufbereitung, Verknüpfung und Qualitätssicherung heterogener Datenquellen
- Entwicklung und Optimierung von Data-Warehouse-/Datalakehouse-Lösungen
- Erstellung, Pflege und Weiterentwicklung von Testkonzepten, Teststrategien und risikobasierten Testansätzen
- Ableitung und Umsetzung von Testfällen und Testszenarien aus Anforderungen, User Stories sowie Daten- und Prozessmodellen
- Konzeption, Entwicklung und Pflege automatisierter Tests sowie deren Integration in CI/CD-Prozesse
- Durchführung und Dokumentation fachlicher, funktionaler, Integrations- und Regressionstests inklusive Datenqualitätstests
- Unterstützung bei Testdatenkonzeption, Testvorbereitung, Abnahmetests und Nachweisführung
- Einsatz und Weiterentwicklung generativer bzw. agentischer KI-Lösungen zur Unterstützung von Entwicklung und Testautomatisierung
- Abgeschlossenes IT-Studium (Diplom/Master) oder vergleichbare Qualifikation
- Mind. 2 Jahre Erfahrung in der Entwicklung großer BI-/Data-Warehouse-Lösungen und SQL-basierter ETL-Strecken
- Mind. 2 Jahre Erfahrung mit AWS Datalakehouse, insbesondere Athena, Redshift, Lambda, Step Functions, S3, IAM, Secrets Manager, Glue, Python und SQL
- Erfahrung mit Datenmodellierung, DWH-Strukturen (u. a. Historisierung, Key-Generierung, Star-/Snowflake-Schema, 3NF)
- Fundierte Erfahrung mit Testkonzepten, Teststrategien, Testfällen und Testszenarien
- Erfahrung in Konzeption, Entwicklung und Pflege automatisierter Tests
- Erfahrung im Eisenbahnverkehr oder Transportwesen
- Technisches Verständnis für Datenstrukturen, Schnittstellen, Datenflüsse und Systemabhängigkeiten
- Nachweisliche Erfahrung mit generativer KI in Entwicklung und Qualitätssicherung
Michelle Maggio