Data Platform Engineer (Kafka/Streaming)

Warszawa
Kontrakt B2B100-120 złnetto / godz.
Oferta wygasa za:88 dni
Tryb pracyZdalna
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat

Twój zakres obowiązków

  • Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
  • Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
  • Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
  • Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
  • Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
  • Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
  • Konfiguracja i rozwój konektorów Kafka Connect.
  • Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
  • Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
  • Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
  • Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
  • Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
  • Dzielenie się wiedzą – warsztaty, dokumentacja, code review.

Nasze wymagania

  • Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
  • Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.
  • Biegła znajomość Kafka Streams, kSQL.
  • Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).
  • Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).
  • Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.
  • Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.
  • Podstawowa znajomość formatu tabel i zarządzania metadanymi.
  • Znajomość Javy, Pythona
  • Znajomość Prometheus, Grafana oraz OpenTelemetry.
  • Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.
  • Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna
Kontrakt B2B100-120 złnetto / godz.

Oferty wybrane dla Ciebie

Oferty wybrane dla Ciebie