Für unseren Kunden in Frankfurt suchen wir einen Data Engineer (m/w/d).

Aufgaben:

• Mitarbeit in einem agilen DevOps-Team

• Durchführung von Aufgaben im fachlichen Betrieb, z. B. Bearbeitung von CVEs, Daten-Nachprozessierung und Stakeholderkommunikation

• Weiterentwicklung von Datenprodukten im Bereich Data Engineering mit SQL und Spark

• Identifikation von Optimierungspotenzialen hinsichtlich Time-to-Market und Betriebskosten

• Aufbau und Betrieb von Datenpipelines für Streaming (Kafka/Event Hubs) und Batch (ADLS/S3) in Microsoft Fabric Lakehouses mit Scala Spark und Delta Lake

• Umsetzung von Datenprodukten end-to-end: Ingestion, Transformation, Testing, Deployment, Scheduling und Monitoring

• Entwicklung von Data-Warehousing-Artefakten (z. B. MySQL) und bei Bedarf Star-Schema-Modellierung

• Sicherstellung von Datenqualität sowie Anonymisierung gemäß DSGVO

• Orchestrierung von Workflows mit Apache Airflow

• Bereitstellung konsumierbarer Datasets für Analytics in Power BI

• Zusammenarbeit in agilen Frameworks (Scrum/SAFe) inklusive sauberer Dokumentation

Anforderungen:

• Erfahrung in der Arbeit in einem SCRUM- oder agilen Team

• Erfahrung mit Verantwortung im Anwendungsbetrieb

• Programmierkenntnisse im Data Engineering Kontext

• Sehr gute Praxis in SQL sowie Erfahrung mit Scala Spark und Delta Lake

• Kenntnisse in Kafka/Event Hubs (Streaming) und Airflow (Orchestrierung)

• Erfahrung mit Microsoft Fabric und/oder Azure sowie Power BI Datenbereitstellung

• Kenntnisse in MySQL und grundlegender Data-Warehouse-Modellierung (z. B. Star Schema)

• Erfahrung mit Datenqualität, Anonymisierung und Datenschutzanforderungen (DSGVO)

• Verständnis für CI/CD-Prozesse, idealerweise mit GitLab CI

• Erfahrung mit Batch- und Streaming-Architekturen sowie Performance-Optimierung

• Fähigkeit zur belastbaren Fehlersuche sowie Monitoring von Datenpipelines
• Erfahrung mit AWS-Services wie S3, EMR oder Lambda wünschenswert

• Grundlagenkenntnisse in Infrastructure as Code (IaC)

• Erfahrung mit Migrationen Richtung Microsoft Fabric von Vorteil

Aufgrund von Kundenvorgaben wird eine projektbezogene Anstellung vorausgesetzt.

Haben Sie Zeit und Interesse an einem spannenden Projekt?

Dann freuen wir uns auf Ihre Kontaktaufnahme!