Big Data Engineer

Warszawa
Oferta wygasa za:26 dni
Tryb pracyZdalna
Rodzaj umowyUmowa o pracę, Kontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat

O projekcie

Dołącz do zespołu z branży bankowej, który rozwija nowoczesne rozwiązania w obszarze Big Data, analityki i AI. Pracujemy nad projektami biznesowymi oraz R&D, wykorzystując technologie przetwarzania danych w czasie rzeczywistym oraz wspierając wdrożenia rozwiązań Machine Learning.

Jako część zespołu będziesz mieć realny wpływ na rozwój platformy danych oraz optymalizację procesów przetwarzania i raportowania w organizacji.

Tryb pracy: hybrydowy – 2 spotkania w miesiącu w Warszawie

Twój zakres obowiązków

  • Projektowanie i rozwój rozwiązań w obszarze Big Data i przetwarzania danych (batch oraz streaming)
  • Implementacja pipeline’ów danych z wykorzystaniem technologii takich jak Spark, Hadoop czy Kafka
  • Integracja danych z wielu źródeł oraz ich przetwarzanie na potrzeby analityki i raportowania
  • Współpraca z zespołami Data Science przy wdrażaniu rozwiązań ML/AI
  • Wsparcie architektoniczne i wdrożeniowe dla innych zespołów projektowych
  • Dbanie o jakość kodu, standardy oraz optymalizację przetwarzania danych
  • Udział w pracach zespołu Agile (Scrum) – planowanie, review, retrospektywy

Nasze wymagania

  • Min. 2 lata doświadczenia w pracy z Apache Spark (Python lub Scala)
  • Znajomość koncepcji Big Data, Hurtowni Danych oraz Data Management
  • Doświadczenie z platformami Hadoop (Cloudera / Hortonworks)
  • Bardzo dobra znajomość SQL
  • Doświadczenie w pracy z różnymi formatami danych: JSON, Parquet, ORC, Avro
  • Znajomość systemów baz danych i ich zastosowań (np. Hive, Kudu, HBase, Iceberg)
  • Doświadczenie w integracji danych z różnych źródeł
  • Znajomość dobrych praktyk inżynieryjnych (testowanie, dokumentacja, modelowanie danych)
  • Znajomość narzędzi buildowych (np. Maven)
  • Doświadczenie w pracy w metodykach Agile (Scrum, Kanban) oraz narzędziach typu Jira, Confluence
  • Znajomość Kafka, Apache NiFi lub innych technologii streamingowych
  • Znajomość platformy Kubeflow
  • Doświadczenie w automatyzacji CI/CD
  • Doświadczenie w środowiskach chmurowych (GCP, Azure)

Benefity

Spotkania integracyjne
Kawa i herbata
Firmowa biblioteka
Parking dla pracowników
Możliwość pracy zdalnej
Elastyczny czas pracy
Karta sportowa
Strefa relaksu
Napoje
Prywatna opieka medyczna
Dofinansowanie nauki języków obcych
Brak dress code'u
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna

Oferty wybrane dla Ciebie

Oferty wybrane dla Ciebie