Zpět na seznam

Popis nabídky

Data Engineer (Spark ) @ Upvanta v Česko

Upvanta

  • Na dálkuPráce odkudkoli

Česko

Odpovědnosti

Původní popisek. 
  1. Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
  2. Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
  3. Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
  4. Generowanie raportów i alertów dotyczących niezgodności danych.
  5. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
  6. Implementacja procesów odczytu i zapisu danych.
Ukázat vše (22)

O pozici / o projektu

Původní popisek. 

Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera , który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).

Dołącz do projektu!

Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

Detail pracovní nabídky

  • Ihned
  • Práce plně na dálku

Podobné nabídky

Další podobné pozice

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie i implementacja rozwiązań do przetwarzania dużych zbiorów danych - Tworzenie i rozwój pipeline’ów danych w oparciu o Spark - Analiza danych z wielu źródeł i tłumaczenie wymagań biznesowych na rozwiązania techniczne - Zapewnienie jakości, wydajności i niezawodności procesów danychIndustrializacja ...

Česko

  • Na dálku

21.000 - 25.000 PLN

... career aspirations. We are currently looking for a Big Data Engineer with expertise in Scala and Spark to join our team and contribute to innovative, large-scale data processing projects. About the Project The project focuses on building a high-performance data platform for the finance/stock exchange industry , processing massive ...

Česko

  • Na dálku
... rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB. - Synchronizacja danych z systemami źródłowymi. - Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi). - Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold). O pozici / o projektu ...

Česko

  • Na dálku
... procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution. Ukázat vše (12) O pozici / o projektu Původní popisek. Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych ...

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Administracja OneDrive for Business i SharePoint Online, w tym zarządzanie przestrzenią, udostępnianiem, retencją i odzyskiwaniem danych. - Konfiguracja i rozwiązywanie problemów związanych z synchronizacją OneDrive.

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Administracja i utrzymanie środowiska Jira Cloud (Jira Software oraz Jira Service Management). - Konfiguracja i rozwój workflowów, request types, custom fields, ekranów oraz formularzy. - Zarządzanie schematami uprawnień, rolami projektowymi i powiadomieniami.

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Manage, administer and continuously optimize the Microsoft SCCM / MECM environment. - Drive the evolution of the existing endpoint-management environment towards modern management solutions based on Microsoft Intune and Windows Autopilot.

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Manage global software packaging and distribution using Microsoft SCCM. - Create, maintain and optimize SCCM task sequences and software deployment processes. - Analyze, troubleshoot and resolve complex technical issues in SCCM environments.

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie i rozwój architektury systemów oraz roadmapy technologicznej. - Zapewnianie spójności architektury i standardów w wielu zespołach. - Wsparcie techniczne zespołów w zakresie implementacji, refaktoryzacji i modernizacji systemów.

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie i rozwój skalowalnych mikroserwisów w języku Go (Golang). - Tworzenie i optymalizacja usług backendowych pod kątem wydajności, niezawodności oraz skalowalności.

Česko