Data engineer

WYMAGANIA
dobra znajomość Pythona i/lub Rusta,
doświadczenie w budowie pipeline’ów i usług przetwarzających dane,
praktyczna znajomość wektorowych baz danych, w szczególności Qdrant,
znajomość embeddingów, wyszukiwania semantycznego, filtrowania po metadanych i indeksowania,
doświadczenie z REST API, mile widziana znajomość FastAPI,
znajomość architektury sterowanej zdarzeniami, np. Kafka lub Pub/Sub,
dobra znajomość systemu Linux,
znajomość relacyjnych baz danych, np. PostgreSQL
Mile widziane:
doświadczenie z Kubernetes, Docker oraz CI/CD,
znajomość GCP, BigQuery, Dataflow, Dataproc lub Pub/Sub,
znajomość Apache Airflow, Spark lub Beam,
doświadczenie z OCR, transkrypcją audio oraz konwersją dokumentów,
znajomość baz grafowych, np. Neo4j,
doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG. Miejsce pracy: praca hybrydowa z biura w Warszawie (maks. 1 dzień w miesiącu)

Start: ASAP

Forma współpracy: B2B z ITFS

Stawka: 100-120 PLN/h + VAT

Proces rekrutacyjny: Krótka rozmowa telefoniczna z rekruterem ITFS -> Techniczna rozmowa z Klientem końcowym -> Decyzja ,[ZAKRES OBOWIĄZKÓW, Projektowanie, rozwój i utrzymanie pipeline’ów przetwarzających dane z wykorzystaniem Pythona lub Rusta., Implementacja i optymalizacja wyszukiwania semantycznego z wykorzystaniem bazy wektorowej Qdrant, embeddingów oraz filtrowania po metadanych.] Requirements: Python, REST API, FastAPI, Kafka, PUB, Linux, PostgreSQL, Kubernetes, Docker, CI/CD, GCP, BigQuery, Apache Airflow, Spark, Neo4j, RAG