Oferta wygasa za:85 dni
Tryb pracyZdalna
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
BranżaIT
O projekcie
Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe.
Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości.
Twój zakres obowiązków
- Projektowanie i implementacja procesów w Spark SQL / PySpark
- Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
- Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
- Integracja Apache Spark z MongoDB
- Budowa i rozwój warstw Data Lakehouse
- Optymalizacja wydajności procesów Spark
- Rozwój CI/CD dla aplikacji i procesów danych
- Monitoring procesów oraz diagnozowanie problemów produkcyjnych
- Tworzenie dokumentacji technicznej i udział w code review
Nasze wymagania
- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames
- Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge
- Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany
- Znajomość Python / PySpark
- Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
- Doświadczenie z Jenkins
- Znajomość Prometheus i Grafana
- Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna