Data Engineer

DCG Remote 2026-09-22
  • Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
  • Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
  • Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
  • Dobra znajomość SQL
  • Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
  • Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
  • Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
  • Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
  • Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym

    • Mile widziane:

    • Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
    • Znajomość zasad przygotowania modeli danych pod Power BI
    • Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament
  • Prywatna opieka medyczna
  • Dofinansowanie karty sportowej
  • Stałe wsparcie konsultanta
  • Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
APLIKUJ

Podobne oferty