Popis nabídky
Data Engineer (Spark ) @ Upvanta v Česko
Upvanta
- Na dálkuPráce odkudkoli
Česko
Odpovědnosti
Původní popisek.- Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
- Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
- Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
- Generowanie raportów i alertów dotyczących niezgodności danych.
- Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
- Implementacja procesów odczytu i zapisu danych.
O pozici / o projektu
Původní popisek.Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera , który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).
Dołącz do projektu!
Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!
Detail pracovní nabídky
- Ihned
- Práce plně na dálku