Oferta wygasa za:90 dni
Tryb pracyZdalna
Rodzaj umowyKontrakt B2B
Tryb rekrutacjiRekrutacja stacjonarna
Wymiar etatuPełny etat
O projekcie
Szukamy doświadczonego Data Engineera, który dołączy do zespołu odpowiedzialnego za projektowanie i rozwój nowoczesnej platformy danych w chmurze AWS z wykorzystaniem Databricks.
Kandydat będzie kluczową osobą przy budowie skalowalnych pipeline’ów danych, migracji baz danych oraz wdrażaniu najlepszych praktyk governance i bezpieczeństwa danych w środowisku enterprise.
Twój zakres obowiązków
- Projektowanie i rozwój pipeline’ów batch oraz near real-time w Databricks (Spark / PySpark)
- Praktyczna praca z Delta Lake: ACID, partitioning, Z-Ordering, optimize, vacuum
- Tworzenie i zarządzanie Databricks Workflows, Jobs i Unity Catalog
- Pisanie wydajnych transformacji i debugowanie problemów wydajnościowych
- Projektowanie architektury Data Lake w AWS: S3, IAM, KMS, VPC, PrivateLink, Secrets Manager
- Integracja z usługami AWS (Lambda, SNS/SQS, Glue)
- Projektowanie środowisk dev/test/prod oraz separacja kont/uprawnień
- Optymalizacja kosztów i wydajności w chmurze: tagging, monitoring, rekomendacje
- Migracje baz danych i konwersja logiki T-SQL/PL/pgSQL do Databricks
- Walidacja danych po migracji, reconciliation i raportowanie różnic
- Implementacja modeli uprawnień na poziomie katalogu, schematu, tabeli i kolumny
- Wdrażanie polityk governance, data lineage i audytu danych wrażliwych
- CI/CD dla pipeline’ów danych i infrastruktury
- Testy danych (unit, integration, data quality) oraz monitoring i alerting pipeline’ów
- Ścisła współpraca z zespołami aplikacyjnymi i architektami, komunikacja statusu i blockerów
Nasze wymagania
- Min. 4 lata doświadczenia w Data Engineering
- Min. 2 lata hands-on w Databricks
- Min. 2 lata hands-on w AWS
- Doświadczenie w co najmniej jednej dużej migracji danych lub platformy
- Bardzo dobra znajomość SQL (SQL Server i PostgreSQL mile widziane)
- Umiejętność debugowania wydajności transformacji i pipeline’ów
- Databricks Certified Data Engineer (Associate/Professional)
- AWS Certified Data Analytics lub Solutions Architect
- Doświadczenie z Unity Catalog i governance w środowisku enterprise
Zainteresowała Cię ta oferta?Aplikuj na to stanowisko!
Klauzula informacyjna