Data Platform Engineer Kafka/Streaming

• Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
• Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.
• Biegła znajomość Kafka Streams, kSQL.
• Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).
• Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).
• Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.
• Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.
• Podstawowa znajomość formatu tabel i zarządzania metadanymi.
• Znajomość Javy, Pythona
• Znajomość Prometheus, Grafana oraz OpenTelemetry.
• Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.
• Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.

Do projektu naszego klienta poszukujemy Data Platform Engineera, który dołączy do zespołu Data Platform - jego rolą będzie budowa nowoczesnych rozwiązań opartych o Apache Kafka ale takze bedzie odpowiedzialny za analizę wymagań biznesowych ,[Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych., Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól)., Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro)., Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg., Budowa mikroserwisów Spring Boot (producent/konsument, stream processing)., Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB., Konfiguracja i rozwój konektorów Kafka Connect., Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych., Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń., Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych., Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów., Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami., Dzielenie się wiedzą – warsztaty, dokumentacja, code review.] Requirements: Python, Kafka, Spring, GraphQL, Java Additionally: Private healthcare, Sport subscription.