Spark Data Lakehouse Developer
Oczekiwania
- min. 4 lata doświadczenia z Apache Spark,
- bardzo dobra znajomość PySpark i Spark SQL,
- doświadczenie z MongoDB i MongoDB Spark Connector,
- praktyczna znajomość Apache Iceberg,
- doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold,
- znajomość CI/CD i Jenkins,
- znajomość Prometheus i Grafana,
- doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.
Wymagania
- umiejętność optymalizacji procesów Spark,
- doświadczenie w rekoncyliacji i kontroli jakości danych,
- znajomość partitioningu, caching, broadcast joins i AQE,
- doświadczenie w pracy z dużymi zbiorami danych,
- samodzielność i analityczne podejście do rozwiązywania problemów,
- umiejętność współpracy z zespołami Data, QA i DevOps.
Kogo szukamy?
Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.
Oferujemy
- pracę przy nowoczesnej platformie Data Lakehouse,
- udział w ciekawych projektach związanych z dużymi zbiorami danych,
- pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana,
- możliwość rozwoju i wpływu na rozwiązania technologiczne,
- współpracę z doświadczonym zespołem,
,[] Requirements: Apache Spark, PySpark, Spark SQL, MongoDB, Spark, Data Lake, Jenkins, Prometheus, Grafana, Kanban, Jira, QA, DevOps