Senior Data Enginner

• Minimum 3 lata doświadczenia w obszarze Data Engineering.
• Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.
• Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.
• Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.
• Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.
• Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.
• Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.
• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.
• Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.
• Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

• Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).
• Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.
• Certyfikacje Databricks lub Data Engineering.

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju. ,[Projektowanie i rozwój Platformy Danych w architekturze Lakehouse., Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych., Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML., Tworzenie modeli danych i warstw analitycznych., Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności., Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk., Zapewnienie jakości, bezpieczeństwa i zgodności danych., Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań., Pełnienie roli technicznego lidera w inicjatywach Data Platform.] Requirements: Data engineering, Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles, Apache Spark, Databricks, Delta Lake, Microsoft Azure, Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub, Apache Airflow, CI/CD, Azure DevOps Repos and Pipelines, Lakehouse, Medallion Catalog, Code review, Testing, Automation, Databricks LakeFusion, Microsoft Fabric, Databricks DQX, Databricks certification, Data Engineering certificate