Data Platform Developer

• Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych.
• Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji.
• Biegła znajomość Kafka Streams, kSQL.
• Znajomość Kafka Connect

Do projektu naszego klienta poszukujemy Data Platform Developera, który będzie odpowiedzialny za projektowanie, budowanie i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven. ,[Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL., Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania., Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing)., Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB., Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów., Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów., Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams., Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes., Automatyzacja procesów CI/CD., Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen., Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem., Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.)., Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.] Requirements: Kafka, Kafka Streams, kSQL, Kafka Connect Additionally: Private healthcare, Sport subscription.