Kafka Engineer

Upvanta Remote Wrocław 2026-10-08
Wymagania techniczne – must-have
Kafka i Confluent
  • Minimum 4 lata doświadczenia z Apache Kafka.
  • Biegła znajomość:
    • Confluent Platform (Enterprise),
    • Confluent Kafka,
    • Confluent Cloud.
  • Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.
  • Praktyczna znajomość:
    • MirrorMaker 2,
    • Cluster Linking,
    • Confluent Replicator.
AWS
Praktyczna znajomość usług:
  • VPC,
  • IAM,
  • EC2,
  • EKS,
  • MSK,
  • S3,
  • KMS,
  • AWS Secrets Manager.
Środowiska hybrydowe
  • Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.
Infrastructure-as-Code
  • Bardzo dobra znajomość Terraform, w tym:
    • tworzenie modułów,
    • zarządzanie stanem i wersjonowaniem,
    • testowanie infrastruktury,
    • Terratest,
    • tfsec.
  • Znajomość Ansible.
CI/CD
  • Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
  • Znajomość:
    • GitHub Actions,
    • GitLab CI,
    • Jenkins.
  • Doświadczenie w automatyzacji testów integracyjnych dla Kafki.
Programowanie i scripting
  • Znajomość:
    • Python,
    • Bash,
    • Ansible.
Monitoring i observability
  • Doświadczenie z:
    • Prometheus,
    • Grafana,
    • Confluent Control Center,
    • OpenTelemetry,
    • Elastic Stack.
Bezpieczeństwo
  • Znajomość:
    • TLS,
    • SASL,
    • ACL,
    • RBAC,
    • szyfrowania danych w spoczynku,
    • szyfrowania danych w tranzycie.
Metodyki pracy
  • Doświadczenie w pracy w Scrum i/lub Kanban.
  • Znajomość narzędzi:
    • Jira,
    • Confluence.

Tryb pracy: Zdalnie (okazjonalne wizyty w biurze Wrocław)
Stawka: 1000-1200 PLN/MD B2B
Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.
Projekt obejmuje:
  • budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS,
  • implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,
  • stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,
  • zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

,[Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS)., Dobór i konfiguracja komponentów Confluent Platform, m.in.:, Schema Registry, Flink, Control Center, Tableflow., Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność., Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud., Konfiguracja niezbędnych usług AWS, m.in.: VPC, IAM, EC2, EKS, S3, KMS,, Secrets Manager., Integracja komponentów Kafka z istniejącą infrastrukturą on-premise., Implementacja i konfiguracja: MirrorMaker 2, Cluster Linking, Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem: GitHub Actions, GitLab CI, Jenkins., Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich., Implementacja Infrastructure-as-Code w Terraform: tworzenie i utrzymywanie modułów, wersjonowanie infrastruktury, testowanie planów, automatyzacja procesu apply., Automatyzacja testów integracyjnych dla środowisk Kafka., Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń., Confluent Replicator., Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS., Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień., Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją., Implementacja i utrzymywanie monitoringu z wykorzystaniem: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack. Tworzenie i utrzymywanie: runbooków, alertów, SLA/SLO., Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy., Optymalizacja wydajności i tuning konfiguracji Kafka., Konfiguracja i utrzymanie mechanizmów bezpieczeństwa: TLS, SASL, ACL, RBAC., Implementacja szyfrowania danych w spoczynku oraz podczas transmisji., Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury., Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security., Mentoring mniej doświadczonych członków zespołu., Prowadzenie warsztatów i dzielenie się wiedzą techniczną] Requirements: Kafka, Apache Kafka, Cloud, AWS, VPC, IAM, AWS EC2, Amazon EKS, MSK, AWS S3, KMS, Terraform, Ansible, CI/CD, GitHub Actions, GitLab CI, Jenkins, Python, Bash, Prometheus, Grafana, Elastic Stack, TLS, ACL, RBAC, Scrum, Kanban, Jira, Confluence
APLIKUJ

Podobne oferty