Data Platform Engineer with Apache Druid.

• Praktyczne, zaawansowane doświadczenie w zakresie ingestii danych w Apache Druid oraz tworzenia rozszerzeń dla tej platformy.


• Doświadczenie w budowaniu i utrzymywaniu potoków danych opartych na Apache Kafka.


• Doświadczenie w pracy z Apache Flink lub podobnymi technologiami przetwarzania strumieniowego.


• Bardzo dobra znajomość optymalizacji zapytań MySQL oraz strojenia wydajności baz danych w środowiskach przetwarzających dane na dużą skalę.


• Doświadczenie we wdrażaniu mechanizmów wzbogacania metadanych w ramach platform danych.


• Doświadczenie w integracji i utrzymywaniu rozwiązań RBAC w wielu repozytoriach danych.


• Praktyczne doświadczenie w pracy z usługami AWS, w szczególności S3, Aurora i IAM.


• Umiejętność rozwiązywania złożonych problemów związanych z inżynierią i architekturą platform danych.


• Dobre umiejętności analityczne, rozwiązywania problemów i współpracy zespołowej.

Dodatkowe atuty:

• Doświadczenie w pracy z ClickHouse.


• Znajomość Apache Iceberg oraz architektury typu lakehouse.


• Doświadczenie z technologiami federacji zapytań, takimi jak Trino i Amazon Athena.


• Doświadczenie w pracy z dużymi platformami analitycznymi oraz integracjami w ramach nowoczesnego ekosystemu danych.

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty

Dla naszego Klienta, firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko: Data Platform Engineer with Apache Druid.

• B2B contract


• 100% zdalnie


• Stawka:  170-200 PLN netto+VAT/h

• Kontrakt B2B za pośrednictwem Devire


• Praca zdalna


• Elastyczne godziny pracy


• Możliwość skorzystania z dodatkowych benefitów – karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie.

,[Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup., Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink., Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania., Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych., Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych., Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy., Praca z usługami AWS, w tym S3, Aurora i IAM., Współpraca z zespołami realizującymi szersze inicjatywy związane z platformą danych i architekturą lakehouse.] Requirements: Apache, Druid, Apache Kafka, Apache Flink, MySQL, RBAC, AWS, AWS S3, Apache Aurora, IAM, Athena