Zpět na seznam

Popis nabídky

Data Engineer (Spark ) @ Upvanta v Česko

Upvanta

  • Na dálkuPráce odkudkoli

Česko

Odpovědnosti

Původní popisek. 
  1. Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
  2. Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
  3. Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
  4. Generowanie raportów i alertów dotyczących niezgodności danych.
  5. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  6. Implementacja procesów odczytu i zapisu danych.
Ukázat vše (22)

O pozici / o projektu

Původní popisek. 

Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera , który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).

Dołącz do projektu!

Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

Detail pracovní nabídky

  • Ihned
  • Práce plně na dálku
Načítání podobných nabídek…