Senior Data Engineer (Azure Databricks / Airflow)

................

Für unseren Kunden aus der Finanzbranche in Basel, suchen wir eine:n erfahrene:n, motivierte:n und aufgeschlossene:n Senior Data Engineer (Azure Databricks / Airflow).

In dieser Rolle entwickelst und betreibst du moderne Data Products und Data Pipelines und gestaltest gleichzeitig die Weiterentwicklung der Data Platform von der On-Premise-Umgebung hin zu Azure Databricks.

Deine Aufgaben:

• Entwicklung und Weiterentwicklung von Data Products – von der Datenaufnahme über Transformation und Aufbereitung bis zur Bereitstellung für Konsumenten
• Konzeption, Implementierung und Betrieb von Datenpipelines und Transformationen mit Python, SQL und Apache Airflow
• Sicherstellung von Datenqualität, Performance und zuverlässigem Betrieb der Data Pipelines
• Mitarbeit an der Weiterentwicklung der Data Platform und Data Architecture sowie an Architekturentscheidungen
• Aktive Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
• Unterstützung der Anwender bei datenbezogenen Fragestellungen, der Nutzung der Plattform und Python-Programmierung
• Monitoring und Troubleshooting von Datenpipelines, Datenqualität und Plattformkomponenten
• Mitarbeit bei der Migration und Transformation der bestehenden On-Premise-Data-Platform nach Azure Databricks
• Unterstützung bei operativen Aufgaben im Cloud- und Plattformumfeld

Dein Profil:

• Mehrjährige Erfahrung als Data Engineer mit fundierten Kenntnissen in Python und SQL
• Sehr gute praktische Erfahrung mit Apache Airflow, insbesondere bei der Erstellung und Verwaltung von DAGs
• Sehr gute SQL- und PostgreSQL-Kenntnisse
• Erfahrung mit Python Data-Engineering-Tools wie pandas, Polars und Poetry
• Erfahrung mit Docker, Kubernetes, OpenShift und S3-kompatiblem Storage (z. B. MinIO)
• Erfahrung mit Azure Databricks bzw. mit Data Engineering im Databricks-Umfeld
• Vertrautheit mit JupyterHub und explorativen Datenumgebungen
• Kenntnisse im Bereich Data Cataloging, idealerweise mit Acryl DataHub
• Gutes Verständnis von Data Mesh, insbesondere Data Contracts, sowie von Lakehouse-Architekturen
• Interesse an Cloud-Migrationen und der Weiterentwicklung moderner Data Platforms
• Ausgeprägte Kommunikations- und Teamfähigkeit sowie Freude daran, technische und nicht-technische Anwender zu unterstützen
• Selbstständige, proaktive Arbeitsweise und Ownership für die eigenen Deliverables
• Fliessende Deutsch und Englischkenntnisse in Wort und Schrift