Oferta wygasa za:90 dni
Tryb pracyZdalna
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat
O projekcie
Dołączysz do 12-osobowego zespołu pracującego w metodyce Scrum, odpowiedzialnego za rozwój platform Big Data oraz rozwiązań do przetwarzania danych na dużą skalę. Zespół realizuje zarówno projekty biznesowe, jak i inicjatywy R&D, rozwijając rozwiązania z zakresu streamingu danych oraz wspierając wdrożenia Machine Learning i AI we współpracy z zespołami Data Science.
Na co dzień będziesz uczestniczyć w projektowaniu i budowie nowoczesnych rozwiązań opartych o technologie Big Data oraz wspierać rozwój architektury danych. Przed zespołem również kolejne wyzwania związane z migracją rozwiązań do środowisk chmurowych.
Praca odbywa się w modelu hybrydowym – Warszawa (2 dni w miesiącu w biurze).
Twój zakres obowiązków
- Projektowanie i rozwój rozwiązań Big Data z wykorzystaniem Apache Spark.
- Implementacja oraz rozwój procesów przetwarzania danych wsadowych i strumieniowych.
- Tworzenie oraz rozwój integracji pomiędzy wieloma źródłami danych.
- Współtworzenie architektury rozwiązań przetwarzania danych.
- Współpraca z zespołami Data Science oraz innymi zespołami projektowymi.
- Dbanie o jakość, wydajność i skalowalność przetwarzania danych.
- Udział w projektach związanych z rozwojem środowisk chmurowych.
Nasze wymagania
- Minimum 3 lata doświadczenia w programowaniu z wykorzystaniem Apache Spark (Python lub Scala).
- Praktyczna znajomość Python lub Scala.
- Doświadczenie w pracy z dużymi wolumenami danych.
- Bardzo dobra znajomość SQL.
- Znajomość platform Hadoop (Cloudera lub Hortonworks).
- Doświadczenie w integracji danych z wielu źródeł.
- Praktyczna znajomość formatów danych takich jak JSON, Parquet, ORC oraz AVRO.
- Znajomość technologii wykorzystywanych w środowiskach Big Data (Hive, Kudu, HBase, Iceberg lub podobnych).
- Znajomość dobrych praktyk projektowania, testowania oraz wdrażania rozwiązań Big Data.
- Doświadczenie z Maven lub innymi narzędziami do budowy aplikacji.
- Umiejętność pracy zespołowej oraz komunikacji w środowisku Agile.
- Praktyczne doświadczenie z Apache Kafka (tworzenie producentów i konsumentów, praca z dużymi wolumenami danych, znajomość zagadnień takich jak offset czy lag).
- Znajomość Apache NiFi.
- Doświadczenie z Kubeflow.
- Wiedza z zakresu CI/CD.
- Doświadczenie w projektowaniu architektury rozwiązań Big Data.
- Znajomość Jira oraz Confluence.
- Doświadczenie z platformami chmurowymi GCP lub Azure.
Benefity
Spotkania integracyjne
Kawa i herbata
Firmowa biblioteka
Parking dla pracowników
Możliwość pracy zdalnej
Elastyczny czas pracy
Karta sportowa
Strefa relaksu
Napoje
Prywatna opieka medyczna
Dofinansowanie nauki języków obcych
Brak dress code'u
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna