Senior Data Engineer – Scala / Spark / Hadoop

Gdańsk
Oferta wygasa za:90 dni
Tryb pracyHybrydowa
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna

Twój zakres obowiązków

  • Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark.
  • Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych.
  • Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne.
  • Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych.
  • Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych.
  • Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow.
  • Rozwijanie rozwiązań opartych na języku Scala.
  • Praca z architekturą event-driven wykorzystującą Apache Kafka.
  • Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins.
  • Zapewnianie wsparcia L3 dla środowisk produkcyjnych.
  • Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów.
  • Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów.
  • Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.

Nasze wymagania

  • Bardzo dobra, praktyczna znajomość Scali.
  • Doświadczenie komercyjne z Apache Hadoop.
  • Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych.
  • Doświadczenie w tworzeniu pipeline’ów Data Engineering.
  • Znajomość Apache Kafka oraz architektury event-driven.
  • Praktyczne doświadczenie z CI/CD, w szczególności Jenkins.
  • Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów.
  • Umiejętność tworzenia i optymalizowania zapytań SQL.
  • Doświadczenie w pracy ze środowiskami produkcyjnymi.
  • Umiejętność samodzielnego analizowania złożonych problemów technicznych.
  • Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole.
  • Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku.
  • Możliwość wykonywania pracy z terytorium Polski.
  • Znajomość Kubernetes.
  • Doświadczenie z Apache Flink.
  • Znajomość Apache Airflow lub Apache Oozie.
  • Doświadczenie w projektach regulacyjnych lub systemach raportowych.
  • Doświadczenie zdobyte w sektorze finansowym.

To oferujemy

  • Udział w strategicznym projekcie regulacyjnym o realnym znaczeniu dla sektora finansowego.
  • Pracę w zaawansowanym środowisku Big Data.
  • Możliwość korzystania z technologii takich jak Scala, Hadoop, Spark, Kafka, Airflow i Jenkins.
  • Dużą samodzielność oraz wpływ na podejmowane decyzje techniczne.
  • Współpracę z doświadczonym, międzynarodowym zespołem.
  • Stabilny i długoterminowy projekt.
  • Środowisko pracy stawiające na jakość, bezpieczeństwo oraz rozwój kompetencji eksperckich.
  • Możliwość zdobycia doświadczenia w obszarze regulacji finansowych i raportowania.
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!

Tryb pracy:

  • hybrydowy – 2 dni w tygodniu z biura
Klauzula informacyjna

Oferty wybrane dla Ciebie

Oferty wybrane dla Ciebie