Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

Angestellte/r

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

Entwicklung und Weiterentwicklung von Data Products
Aufbau und Pflege von Ingestion- und Transformationspipelines
Sicherstellung von Datenqualität und Performance
Entwicklung und Verwaltung von Apache-Airflow-DAGs
Mitarbeit bei Architekturentscheidungen rund um die Data Platform
Unterstützung der Migration in Richtung Azure Databricks
Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
Mehrjährige Erfahrung als Data Engineer
Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
Fundierte Erfahrung mit Apache Airflow
Sehr gute SQL- und PostgreSQL-Kenntnisse
Erfahrung mit Azure Databricks
Kenntnisse in Docker, Kubernetes oder OpenShift
Erfahrung mit Azure DevOps / CI/CD
Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit

Aktualisiert: vor 6 Stunden

Job ID 16608657

Problem melden

PROSTAFF Schweiz GmbH

11-50 Mitarbeitende

Technologie, Information und Internet

PROSTAFF vermittelt und besetzt Informatik- und Data Science-Projekte in der Schweiz mit Freiberuflern, Freelancern, Contractors und temporären Mitarbeitern.

Webseite