Data Engineer

• Doświadczenie w co najmniej kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
• Minimum 6-miesięczne praktyczne doświadczenie w pracy z technologiami GCP (Google Cloud Platform).
• Bardzo dobra znajomość kluczowych usług GCP Data & Analytics: BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) oraz Cloud Composer (Apache Airflow)
• Znajomość usług wspierających integrację i zarządzanie danymi: Datastream (CDC/replikacja), Dataplex (metadane, Data Quality, Data Lineage), Pub/Sub (streaming) oraz Dataform (transformacje SQL w BigQuery)
• Znajomość SQL (dialekt BigQuery) oraz Pythona (w tym Pandas) do transformacji i analizy danych
• Zrozumienie architektury medalionowej (Bronze/Silver/Gold), procesów ETL/ELT oraz zasad Data Governance, w tym deduplikacji i wersjonowania danych
• Znajomość Git oraz procesów CI/CD (np. Cloud Build), a także konfiguracji Cloud Monitoring/Logging
• Bardzo dobre umiejętności komunikacyjne, organizacyjne oraz znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym

Wymagane technologie

BigQuery, Cloud Storage, Cloud Dataflow (Apache Beam), Cloud Composer (Apache Airflow), Datastream, Dataplex, Pub/Sub, Dataform, Python, Pandas, SQL (BigQuery), MySQL, Git, CI/CD (Cloud Build), Cloud Monitoring, Cloud Logging

Dla naszego klienta z branży paliwowo-energetycznej poszukujemy Data Engineera, który/która dołączy do zespołu odpowiedzialnego za rozwój i utrzymanie platformy CDP opartej na architekturze Data Lakehouse w Google Cloud Platform.

Praca w większości w trybie zdalnym – 1-2 dni w miesiącu w biurze w Warszawie

Oferujemy:

• Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001) Niekorporacyjną atmosferę i płaską strukturę organizacyjną
• Możliwość ciągłego rozwoju poprzez:
• pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów
• współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
• dofinansowanie do szkoleń i certyfikatów
• Program Poleceń Pracowniczych
• Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacja im. Joanny Radziwiłł "Opiekuńcze Skrzydła" oraz udział w świątecznej akcji „Gwiazdorzymy”
• Różnorodne i inkluzywne środowisko pracy – w naszej firmie współpracują przedstawiciele czterech pokoleń
• Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety
• Opieka medyczna LUX-MED, dofinansowanie 50% do karty Multisport, dofinansowanie do nauki języków oraz dostęp do platformy wellbeingowej
• Kulturę organizacyjną opartą na wartościach:
• działamy z dobrą intencją
• dzielimy się wiedzą
• bierzemy odpowiedzialność
• stale się doskonalimy
• ludzie są dla nas najważniejsi
• działamy, znając cel i sens naszej pracy
• komunikujemy się szczerze i profesjonalnie

,[Wsparcie zespołu projektowego i utrzymaniowego w budowie oraz rozwoju platformy CDP w architekturze Data Lakehouse (GCP) , Projektowanie, implementacja i optymalizacja potoków ETL/ELT (batch i streaming) , Tworzenie i zarządzanie transformacjami danych w warstwach Bronze, Silver, Gold (architektura medalionowa) , Orkiestracja przepływów danych oraz monitorowanie zadań , Praca z mechanizmami CDC i replikacją danych ze źródeł transakcyjnych do BigQuery , Dbanie o jakość danych, katalogowanie metadanych oraz zgodność z zasadami Data Governance (w tym RODO) , Bliska współpraca z zespołami IT i Project Managerami technicznymi w środowisku międzynarodowym ] Requirements: GCP Data and Analytics, BigQuery, Cloud Storage, Cloud Dataflow, Apache Beam, Cloud Composer, Apache Airflow, Datastream, Dataplex, Pub/Sub, Dataform, Python, Pandas, SQL, MySQL, Git, CI/CD, Cloud Monitoring, Cloud Logging Additionally: Sport subscription, Training budget, Private healthcare, Integration events, English lessons.