Oferta wygasa za:90 dni
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat
O projekcie
Projekt realizowany w sektorze bankowym obejmuje rozwój procesów zasilania hurtowni danych, środowiska Big Data oraz rozwiązań analitycznych.
Zespół projektuje i rozwija pipeline'y danych, integruje systemy lokalne i chmurowe, modeluje dane oraz tworzy datamarty.
Przetwarzane dane wykorzystywane są do analiz, raportowania, segmentacji klientów i przygotowywania spersonalizowanych ofert oraz kampanii.
Możliwość pracy z BigQuery, SQL, technologiami ETL/ELT oraz rozwiązaniami batch i streaming; wpływ na architekturę, wydajność i jakość procesów danych.
Twój zakres obowiązków
- Projektowanie, budowanie i rozwój pipeline'ów ETL/ELT w trybie batch i streaming
- Integracja danych z baz danych, plików, API, systemów lokalnych i chmurowych oraz systemów zdarzeniowych
- Projektowanie logicznych i fizycznych modeli danych oraz tworzenie datamartów
- Praca z BigQuery: projektowanie tabel, optymalizacja zapytań SQL, wydajności przetwarzania i kosztów
- Monitorowanie procesów, zapewnianie jakości i niezawodności danych
- Diagnozowanie błędów, obsługa incydentów produkcyjnych oraz wsparcie wdrożeń
- Tworzenie dokumentacji technicznej, testowanie rozwiązań i współpraca z zespołami DevSecOps
Nasze wymagania
- Minimum 5 lat doświadczenia w roli Data Engineer lub podobnej
- Praktyczne doświadczenie w projektowaniu, budowaniu i optymalizacji procesów ETL/ELT
- Bardzo dobra znajomość SQL, transformacji danych i modelowania danych
- Praktyczne doświadczenie z BigQuery, w tym projektowanie tabel oraz optymalizacja wydajności i kosztów zapytań
- Doświadczenie w programowaniu w Pythonie lub Ruście (wystarczy jeden z tych języków)
- Doświadczenie zarówno z przetwarzaniem batch, jak i streaming
- Znajomość Apache Kafka lub Google Pub/Sub
- Doświadczenie w pracy z Oracle lub PostgreSQL
- Znajomość systemu Linux, diagnozowania błędów i monitorowania procesów przetwarzania danych
- Doświadczenie z dodatkowymi usługami Google Cloud, np. Dataflow, Dataproc lub Cloud Storage
- Znajomość Apache Spark lub Apache Beam
- Doświadczenie w pracy z rozwiązaniami Data Lake
- Znajomość Kubernetes lub Docker
- Doświadczenie z Informatica PowerCenter
- Znajomość AutomateNOW
To oferujemy
- Współpraca na podstawie kontraktu B2B
- Praca hybrydowa z obecnością w biurze w Warszawie przez 4 dni w miesiącu
- Długoterminowy projekt, planowany na ponad 12 miesięcy
- Możliwość rozwoju rozwiązań Big Data i hurtowni danych w dużej organizacji z sektora finansowego
- Praca z BigQuery, ETL/ELT oraz technologiami batch i streaming
- Wsparcie formalne i dokumentacyjne podczas onboardingu
Benefity
Karta sportowa
Prywatna opieka medyczna
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna