Data Engineer (Spark) @ Upvanta v Česko

Odpovědnosti

1. Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
2. Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
3. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
4. Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
5. Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
6. Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.

O pozici / o projektu

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Detail pracovní nabídky

• Ihned
• Práce plně na dálku