Senior Data Engineer IT Contracting

• Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.


• Bardzo dobra znajomość Azure Databricks.


• Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.


• Znajomość Delta Lake i architektury Lakehouse.


• Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.


• Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.


• Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.


• Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.


• Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).


• Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.


• Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.


• Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.


• Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.


• Bardzo dobra znajomość języka angielskiego.

Mile widziane:

• Doświadczenie z Databricks Workflows oraz Databricks Jobs.


• Znajomość Delta Live Tables lub Lakeflow.


• Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.


• Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.

Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.

Branża: Technology & Telecoms

Obszar: IT Data Analysis

Oferujemy

• Stawka do 34 EUR/h


• Praca w pełni zdalna


• Start projektu: 1 listopada


• Długoterminowy projekt do 31.10.2027


• Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych


• Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse


• Umowa B2B via Michael Page

,[Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks., Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake., Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych., Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold., Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych., Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania., Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości., Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych., Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych., Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych., Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów., Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań] Requirements: Azure Databricks, Python, PySpark, Spark SQL, API, Azure, ADLS, Data engineering, Databricks, Delta Live Table Additionally: Private healthcare.