Projektbeschreibung
Databricks Data Engineer (m/w/d) (DE)
Constaff GmbH [15124]
Für unseren Kunden im Einzugsgebiet Köln suchen wir einen Databricks Data Engineer (m/w/d). Aufgaben: ·Migration eines bestehenden Oracle-/Informatica-DWH in eine moderne Azure-/Databricks-Lakehouse-Architektur ·Entwicklung und Optimierung skalierbarer Datenpipelines mit Databricks, Python, PySpark und SQL ·Überführung bestehender ETL-Prozesse in performante Databricks-Pipelines ·Sicherstellung von Datenqualität, Governance und Berechtigungsmanagement ·Umsetzung und Optimierung von Datenmodellen einschließlich Historisierung nach SCD2 ·Begleitung von Tests, Parallelbetrieb und Cutover im Rahmen der Migration ·Enge Zusammenarbeit mit Fachbereichen und Entwicklungsteams innerhalb eines agilen Scrum-Team Anforderungen: ·Fundierte Erfahrung mit Databricks und der Umsetzung von Lakehouse-Architekturen ·Tiefgreifende Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP und Data Governance ·Sehr gute Kenntnisse in Python, PySpark und SQL sowie in der Verarbeitung und Performanceoptimierung großer Datenmengen ·Erfahrung in der Datenmodellierung, im Data Warehousing und in der Historisierung nach SCD2 ·Kenntnisse in der Migration klassischer ETL-Prozesse nach Databricks von Vorteil ·Erfahrung in der agilen Softwareentwicklung nach Scrum ·Sicherer Umgang mit KI-gestützten Entwicklungstools zur Effizienzsteigerung ·Selbstständige, strukturierte Arbeitsweise sowie ausgezeichnete Deutschkenntnisse Haben Sie Zeit und Interesse an einem spannenden Projekt? Dann freuen wir uns auf Ihre Kontaktaufnahme!
- Migration eines bestehenden Oracle-/Informatica-DWH in eine moderne Azure-/Databricks-Lakehouse-Architektur
- Entwicklung und Optimierung skalierbarer Datenpipelines mit Databricks, Python, PySpark und SQL
- Überführung bestehender ETL-Prozesse in performante Databricks-Pipelines
- Sicherstellung von Datenqualität, Governance und Berechtigungsmanagement
- Umsetzung und Optimierung von Datenmodellen einschließlich Historisierung nach SCD2
- Begleitung von Tests, Parallelbetrieb und Cutover im Rahmen der Migration
- Enge Zusammenarbeit mit Fachbereichen und Entwicklungsteams innerhalb eines agilen Scrum-Team
- Fundierte Erfahrung mit Databricks und der Umsetzung von Lakehouse-Architekturen
- Tiefgreifende Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP und Data Governance
- Sehr gute Kenntnisse in Python, PySpark und SQL sowie in der Verarbeitung und Performanceoptimierung großer Datenmengen
- Erfahrung in der Datenmodellierung, im Data Warehousing und in der Historisierung nach SCD2
- Kenntnisse in der Migration klassischer ETL-Prozesse nach Databricks von Vorteil
- Erfahrung in der agilen Softwareentwicklung nach Scrum
- Sicherer Umgang mit KI-gestützten Entwicklungstools zur Effizienzsteigerung
- Selbstständige, strukturierte Arbeitsweise sowie ausgezeichnete Deutschkenntnisse
Julia Barth