Data Engineer Spark

• Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
• Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
• Bardzo dobra znajomość języka Python i SQL.
• Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
• Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
• Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
• Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

• Doświadczenie w pracy z Delta Lake lub Apache Hudi.
• Znajomość Kubernetes, Dockera i Spark Operator.
• Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
• Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
• Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.

,[Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych., Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów., Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych., Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg., Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych., Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution., Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana., Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes., Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu., Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile., Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.] Requirements: Big Data, PySpark, Spark SQL, MongoDB, Spark, Apache, Python, SQL, CI/CD, Jenkins, Prometheus, Grafana, Scrum, Kanban, Jira, Confluence, Kubernetes, Docker, Dynatrace, SLA