Oferta wygasa za:42 dni
Tryb pracyHybrydowa
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat
Podsumowanie oferty pracy
O projekcie
rozwijającego nowoczesną platformę danych
Twój zakres obowiązków
- Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark
- Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych
- Integracja procesów Spark z MongoDB
- Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg
- Optymalizacja wydajności procesów i zapytań Spark
- Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń
- Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych
- Współpraca z zespołami technicznymi oraz udział w code review
Nasze wymagania
- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming
- Doświadczenie z MongoDB i MongoDB Spark Connector
- Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge
- Znajomość Python
- Doświadczenie z Jenkins
- Znajomość Prometheus i Grafana
- Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence
Benefity
Karta sportowa
Prywatna opieka medyczna
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna