Data Engineer – Etl Python Airflow & Snowflake Banking
Wymagania
- Bardzo dobra, praktyczna znajomość Python.
- Solidne doświadczenie w pracy z Apache Airflow lub podobnymi narzędziami do orkiestracji.
- Bardzo dobra znajomość SQL.
- Doświadczenie w projektowaniu i implementacji procesów ETL / data pipelines.
- Praktyczna znajomość Git i standardowych procesów kontroli wersji.
- Znajomość Snowflake lub innego dużego, chmurowego hurtowni danych.
- Znajomość podstaw modelowania danych, w szczególności: modelowania wymiarowego, partycjonowania, strategii ładowania przyrostowego (incremental load).
- Umiejętność pracy w dużym, międzynarodowym środowisku, z wieloma zespołami, interesariuszami i zależnościami projektowymi.
- Język angielski – biegły.
Mile widziane
- Doświadczenie z dbt (Data Build Tool).
- Doświadczenie w sektorze bankowym / finansowym, szczególnie w obszarach: ryzyka kredytowego, danych regulacyjnych, raportowania finansowego.
- Doświadczenie w migracji ze starszych technologii ETL do nowoczesnego środowiska, np. DataStage / Informatica → Airflow / dbt.
- Znajomość Scala / Spark lub Snowpark.
- Doświadczenie z Kafka lub innymi technologiami streamingu i messagingu.
- Znajomość narzędzi CI/CD, np. Jenkins.
- Znajomość frameworków do testowania i kontroli jakości danych.
- Doświadczenie w wykorzystywaniu narzędzi AI wspierających programowanie, np. GitHub Copilot – w projekcie aktywnie promowane są praktyki AI-assisted engineering.
Nice-to-have:
dbt · Banking · Migration · Kubernetes · Spark · Scala · Snowpark · Kafka · Jenkins
Data Engineer – ETL, Python, Airflow & Snowflake (Banking)
Lokalizacja: Gdańsk
Tryb pracy: hybrydowy – 3 dni w tygodniu z biura
Projekt: długoterminowy program w sektorze bankowym
O projekcie
Poszukujemy doświadczonego Data Engineera, który dołączy do wieloletniego programu rozwoju platformy danych w jednym z dużych banków.
Platforma integruje, przetwarza i udostępnia duże wolumeny danych finansowych, w tym dane dotyczące ryzyka kredytowego, klientów oraz danych regulacyjnych. Dane te wspierają kluczowe procesy decyzyjne i raportowanie w organizacji.
Program obejmuje modernizację środowiska danych oraz stopniowe odchodzenie od starszych technologii ETL na rzecz nowoczesnego, chmurowego rozwiązania opartego na Apache Airflow i Snowflake.
Nie jest to krótkoterminowa migracja z jasno określonym końcem – jest to rozwijany program, w ramach którego zespół zarówno migruje istniejące rozwiązania, jak i buduje oraz utrzymuje nowoczesną platformę danych. Projekt daje również możliwość stopniowego przejmowania większej odpowiedzialności za rozwiązania i kierunek rozwoju platformy.
Zakres obowiązków
- Migracja istniejących procesów ETL – ponad 100 pipeline'ów z kilkudziesięciu systemów źródłowych – do nowoczesnej platformy orkiestracji opartej na Airflow i Kubernetes.
- Projektowanie, tworzenie i utrzymywanie nowych pipeline'ów do pozyskiwania danych.
- Zapewnienie niezawodności, obserwowalności i łatwości utrzymania procesów danych działających na dużą skalę.
- Współpraca z zespołami odpowiedzialnymi za systemy źródłowe oraz interesariuszami z różnych obszarów banku.
- Onboarding nowych źródeł danych finansowych oraz utrzymywanie istniejących integracji.
- Stopniowe zaangażowanie w rozwój warstwy transformacji danych w Snowflake, w tym migrację w kierunku dbt + Python.
- Udział w rozwoju procesów CI/CD, testowania oraz kontroli jakości danych.
- Współtworzenie kierunku technicznego rozwoju platformy i zespołu.
Technologie
Must-have:
Python · SQL · Apache Airflow · Snowflake · Git · ETL
Oferujemy
- Udział w długoterminowym, strategicznym programie transformacji danych w dużym banku.
- Pracę przy dużej, krytycznej biznesowo platformie danych.
- Możliwość pracy z nowoczesnym stackiem technologicznym: Python, Airflow, Kubernetes, Snowflake, dbt.
- Kontakt z dużymi wolumenami danych finansowych i złożonym środowiskiem enterprise.
- Możliwość stopniowego rozszerzania zakresu odpowiedzialności i wpływu na rozwój platformy.
- Pracę w środowisku międzynarodowym i współpracę z wieloma zespołami.
- Model hybrydowy – 3 dni pracy z biura w Gdańsku.