Senior Data Platform Engineer Kafka
- minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych,
- minimum 5 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych,
- bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji,
- praktyczne doświadczenie z Kafka Streams oraz kSQL,
- doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów,
- bardzo dobra znajomość Java oraz Spring Boot,
- doświadczenie w projektowaniu i budowie mikroserwisów,
- znajomość schematów danych Avro, Protobuf oraz JSON Schema,
- doświadczenie w pracy z MongoDB,
- praktyczna znajomość Prometheus, Grafana oraz zagadnień związanych z observability,
- znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych,
- doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
Mile widziane
- doświadczenie z GraphQL,
- znajomość Apache Iceberg,
- znajomość OpenTelemetry,
- praktyczna znajomość Python,
- doświadczenie w środowiskach chmurowych,
- doświadczenie w automatyzacji procesów DevOps i CI/CD.
(1 dzień w miesiącu w biurze we Wrocławiu)
Poszukujemy doświadczonego Senior Data Platform Engineer (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.
Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych na Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.
Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.
,[projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka,, budowa i rozwój mikroserwisów w Java oraz Spring Boot,, implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL,, projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),, definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),, integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych,, implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów,, rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych,, automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych na Kafka Streams,, wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska,, diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych,, optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji,, współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi,, udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.] Requirements: Apache Kafka, Kafka, Java, Spring Boot, JSON, MongoDB, Prometheus, Grafana, TLS, ACL, GraphQL, Python, DevOps
Podobne oferty
Data Analyst – Marketing & Underwriting, WARSAW, Black Pen Recruitment
Senior Data Engineer Python/Azure, REMOTE WARSAW, Square One Resources
Senior Azure Data Engineer, KRAKÓW, Inuits
Data Analyst CRM, KATOWICE, OBI
Python Data Integration Engineer, REMOTE GDAŃSK, Xelerit
Junior Data Engineer Data & AI Factory Python Cloud, REMOTE KRAKÓW, 1dea
Data Analyst Digital Commerce, KATOWICE, OBI
Expert Data Engineer, GDAŃSK WARSZAWA, DCG
Remote Senior Data Engineer, REMOTE WROCŁAW GDAŃSK KRAKÓW POZNAŃ WARSZAWA, Varwise
Engineering Manager Database, ZIELONA GÓRA, Auctane Poland Sp. z o.o.