Dołącz do zespołu Knauf jako Data Engineer i twórz nowoczesne, skalowalne rozwiązania danych w chmurze. Będziesz projektować i rozwijać pipeline’y danych dla procesów batchowych i czasu rzeczywistego, pracując z technologiami takimi jak Azure, Databricks, Kafka, Python, SQL i Spark. W tej roli będziesz współpracować z zespołami Data, analityki i inżynierii, dbając o jakość, bezpieczeństwo i dostępność danych
Obowiązki
Projektowanie, budowanie i optymalizowanie skalowalnych pipeline’ów danych oraz infrastruktury cloud-native dla procesów batchowych i przetwarzania w czasie rzeczywistym, z wykorzystaniem Azure, Databricks i Kafka.
Rozwijanie i automatyzowanie procesów ETL/ELT związanych z pobieraniem, transformacją, przechowywaniem i orkiestracją danych przy użyciu m.in. Airflow, Azure Data Factory lub Prefect.
Projektowanie modeli danych oraz dbanie o jakość, spójność, niezawodność i governance danych w data lake’ach, hurtowniach danych i operacyjnych magazynach danych.
Wzmacnianie bezpieczeństwa i odporności rozwiązań poprzez stosowanie RBAC, ABAC, szyfrowania, wymagań GDPR, monitoringu, diagnostyki i procesów odtwarzania.
Współpraca z Data Scientists, analitykami i zespołami inżynieryjnymi przy dostarczaniu zaufanych danych, wdrażaniu nowych technologii i rozwoju standardów inżynieryjnych. Wsparcie i mentoring młodszych inżynierów.
Wymagania
Minimum 5 lat doświadczenia w obszarze data engineering, ETL lub technologii big data oraz praktyczna znajomość Databricks, Kafka i GitHub. Znajomość SAP Datasphere będzie dodatkowym atutem.
Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem Airflow, Azure Data Factory, Azure Synapse i Databricks.
Dobra znajomość modelowania danych, w tym Data Vault 2.0, schematów gwiazdy, Party Model oraz normalizacji.
Bardzo dobra znajomość SQL oraz Python, Scala lub Java, a także doświadczenie ze Spark, Hadoop, Kafka, Event Hubs, Infrastructure as Code, bezpieczeństwem, governance, lineage i zgodnością regulacyjną.
Doświadczenie w pracy w środowisku Agile i DevSecOps oraz znajomość narzędzi monitoringu i jakości danych, takich jak Monte Carlo, Datadog lub Great Expectations.
Umiejętność wpływania na decyzje architektoniczne, poprawiania wydajności i dostępności pipeline’ów oraz podnoszenia standardów inżynieryjnych.
Oferujemy
Umowę o pracę na czas nieokreślony w stabilnej i odnoszącej sukcesy firmie rodzinnej.
Elastyczne godziny pracy oraz możliwość pracy zdalnej w wybrane dni tygodnia.
Prywatną opiekę medyczną, działania wspierające zdrowie, zniżki na sport i rekreację oraz dbałość o bezpieczeństwo pracy.
Parking oraz dogodny dostęp do transportu publicznego, w tym pociągów i autobusów.
Wsparcie w realizacji studiów, szkoleń, kursów i dalszego rozwoju zawodowego.
Inspirujące środowisko pracy sprzyjające kreatywności, współpracy i efektywnemu rozwojowi.
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!