Oferta wygasa za:86 dni
Tryb pracyHybrydowa
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat
O projekcie
Dołącz do zespołu realizującego strategiczne projekty danych dla lidera branży ubezpieczeniowej w Polsce. Poszukujemy Data Engineera / Senior Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów przetwarzania danych, integrację różnorodnych źródeł oraz budowę niezawodnych pipeline’ów w środowisku Microsoft Fabric / Azure. Rola łączy pracę z Pythonem (PySpark), SQL, Data Factory oraz architekturą danych z odpowiedzialnością za jakość, bezpieczeństwo, wydajność i odpowiednie wersjonowanie danych. Projekt realizowany jest w środowisku o wysokich wymaganiach dotyczących bezpieczeństwa i audytowalności. Praca w modelu hybrydowym w Warszawie – 1 dzień w tygodniu z biura.
Twój zakres obowiązków
- projektowanie i implementacja pipeline’ów danych w Data Factory,
- tworzenie i rozwój notebooków PySpark w Microsoft Fabric,
- integracja i onboarding różnorodnych źródeł danych – zarówno plikowych, jak i bazodanowych,
- przeprowadzanie technicznej walidacji danych i standaryzacja ich formatów,
- tworzenie transformacji oraz przygotowywanie danych wsadowych,
- implementacja reguł Data Quality oraz mechanizmów identyfikowania i raportowania błędów,
- wersjonowanie zbiorów danych oraz zapisywanie metadanych dotyczących przebiegu procesów, źródeł i parametrów,
- rozwój rozwiązań zgodnie z dobrymi praktykami Git, CI/CD oraz code review,
- współpraca z zespołami biznesowymi, w tym obszarem Ryzyka, przy definiowaniu reguł transformacji danych,
- dbanie o zgodność przetwarzania danych z wymaganiami dotyczącymi prywatności i bezpieczeństwa,
- integracja standardów bezpieczeństwa organizacji ze środowiskiem Azure,
- optymalizacja procesów danych pod kątem wydajności i kosztów.
Nasze wymagania
- minimum 3 lat komercyjnego doświadczenia jako Data Engineer przy rozwiązaniach produkcyjnych,
- bardzo dobrej znajomości Python/PySpark oraz SQL i doświadczenia w pracy z dużymi zbiorami danych,
- praktycznego doświadczenia z Microsoft Fabric, Azure Synapse lub Databricks,
- doświadczenia w projektowaniu i rozwijaniu pipeline’ów przetwarzania danych,
- znajomości architektury medalionowej (Medallion Architecture) lub podobnego podejścia do warstwowej organizacji danych,
- praktycznej znajomości formatów Delta / Parquet,
- doświadczenia w integracji danych pochodzących z różnych źródeł – w tym baz danych oraz plików,
- doświadczenia w przetwarzaniu plików Excel dostarczanych przez użytkowników biznesowych,
- praktycznej znajomości Git i pracy z repozytorium w zespole,
- znajomości dobrych praktyk związanych z jakością, bezpieczeństwem i przetwarzaniem danych,
- gotowości do pracy hybrydowej w Warszawie – minimum 1 dzień w tygodniu z biura.
- certyfikat Microsoft DP-600 lub DP-700,
- doświadczenie w sektorze finansowym, ubezpieczeniowym lub innym środowisku o wysokich wymaganiach audytowych,
- znajomość języka R,
- praktyczne doświadczenie z CI/CD dla platform danych,
- doświadczenie z frameworkami i rozwiązaniami Data Quality,
- doświadczenie w pracy w środowisku Agile / Scrum.
Benefity
Spotkania integracyjne
Kawa i herbata
Firmowa biblioteka
Parking dla pracowników
Możliwość pracy zdalnej
Elastyczny czas pracy
Karta sportowa
Strefa relaksu
Napoje
Prywatna opieka medyczna
Dofinansowanie nauki języków obcych
Brak dress code'u
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna