Data Engineer Senior Data Engineer

• Minimum 3 lata doświadczenia na stanowisku Data Engineera w projektach produkcyjnych.
• Bardzo dobra znajomość Pythona, w tym PySpark, oraz SQL pozwalająca na sprawną pracę z dużymi zbiorami danych.
• Praktyczne doświadczenie z co najmniej jedną platformą chmurową do przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość warstwowej architektury danych, np. architektury medalionowej, oraz formatów Delta i Parquet.
• Doświadczenie w zespołowej pracy z wykorzystaniem Git.
• Umiejętność integrowania różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych.
• Gotowość do podpisania NDA oraz przejścia weryfikacji bezpieczeństwa.

Mile widziane

• Certyfikat DP-600 lub DP-700.
• Doświadczenie w sektorze ubezpieczeniowym, finansowym lub innym środowisku o wysokich wymaganiach audytowych.
• Znajomość języka R – model wykorzystuje Python i R.
• Praktyczne doświadczenie z CI/CD dla platform danych.
• Znajomość frameworków służących do kontroli jakości danych.
• Doświadczenie w pracy zgodnej z metodykami Agile i Scrum.

Dla jednej z największych instytucji finansowych w Polsce, działającej w branży ubezpieczeniowej, poszukujemy Data Engineera / Senior Data Engineera do pracy przy projektowaniu, rozwijaniu i optymalizacji procesów przetwarzania danych w środowisku Microsoft Fabric.

Oferujemy

• Długofalową współpracę na kontrakcie B2B
• Kartę Multisport oraz prywatny pakiet medyczny LuxMed
• Model hybrydowy: 1 dzień w tygodniu w biurze i 4 dni zdalnie.
• Elastyczne godziny pracy

• HR interview - 20 minut
• Rozmowa z Delivery Managerem - 60 minut

,[Projektowanie i implementowanie pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric., Podłączanie źródeł plikowych i bazodanowych, wraz z ich walidacją techniczną i standaryzacją formatów., Transformowanie danych oraz przygotowywanie danych wsadowych., Implementowanie reguł kontroli jakości danych i mechanizmów raportowania błędów., Wersjonowanie zestawów danych oraz zapisywanie metadanych przebiegu, takich jak parametry, źródła i wersje., Praca zgodnie ze standardami Git: przechowywanie kodu pipeline’ów w repozytorium, wdrożenia przez CI/CD oraz udział w code review., Współpraca z Zespołem Ryzyka przy definiowaniu reguł przekształcania danych., Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych., Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure., Optymalizowanie procesów pod kątem wydajności i kosztów.] Requirements: Python, SQL, Git, PySpark, Azure Synapse, Databricks, Microsoft Fabric, CI/CD, R Tools: Agile, Scrum. Additionally: Sport subscription, Private healthcare.