Data Engineer Microsoft Fabric

Kompetencje wymagane do realizacji usług:

• 
  minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych,
  


• 
  praktyczna znajomość Python (PySpark) oraz SQL w pracy z dużymi zbiorami danych,
  


• 
  doświadczenie z platformami chmurowymi do przetwarzania danych, takimi jak Microsoft Fabric, Azure Synapse lub Databricks,
  


• 
  znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta i Parquet,
  


• 
  doświadczenie w pracy z systemem kontroli wersji Git,
  


• 
  doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych,
  


• 
  gotowość do podpisania NDA oraz przejścia procesu weryfikacji bezpieczeństwa,
  


• 
  mile widziany certyfikat DP-600 lub DP-700,
  


• 
  mile widziane doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych,
  


• 
  mile widziana znajomość języka R,
  


• 
  mile widziane doświadczenie w budowie i utrzymaniu procesów CI/CD dla platform danych,
  


• 
  mile widziane doświadczenie z frameworkami Data Quality,
  


• 
  mile widziane doświadczenie w metodykach Agile i Scrum.
  

Cześć! Poznaj możliwości współpracy ze Scalo!

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.

Co oferujemy w ramach współpracy?

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services, 


• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie, 


• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

,[projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,, onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną oraz standaryzacją formatu danych,, realizację transformacji danych oraz przygotowanie danych wsadowych,, implementację reguł walidacji jakości danych oraz mechanizmów raportowania błędów,, wersjonowanie zestawów danych oraz zapis metadanych przebiegu, w tym parametrów, źródeł i wersji,, realizację usług w reżimie Git, obejmującym wersjonowanie kodu, code review oraz wdrożenia poprzez CI/CD,, współpracę z zespołem ryzyka przy definiowaniu reguł przekształceń danych,, zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych oraz integrację standardów bezpieczeństwa firmy ze środowiskiem Azure,, optymalizację procesów pod kątem wydajności i kosztów,, udział w projekcie realizowanym w branży ubezpieczeniowej,, model współpracy: hybrydowy (1x w tygodniu w Warszawie),, stawka do 150 PLN/h w oparciu o współpracę B2B.] Requirements: Python, PySpark, SQL, Azure Synapse, Databricks, Git, R, Excel Additionally: Sport subscription, Training budget, Private healthcare, International projects.