Zpět na seznam

Popis nabídky

Data Engineer (Spark) @ Upvanta v Česko

Upvanta

  • Na dálkuPráce odkudkoli

Česko

Odpovědnosti

Původní popisek. 
  1. Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
  2. Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
  3. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
  4. Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
  5. Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
  6. Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
Ukázat vše (12)

O pozici / o projektu

Původní popisek. 

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Detail pracovní nabídky

  • Ihned
  • Práce plně na dálku
Přihlásit se na nabídku

Podobné nabídky

Další podobné pozice

Addepto

Data Engineer (Spark) @ Addepto

  • Na dálku
  • Hybridní
  • Na místě

15.120 - 21.000 PLN

... high-performance data processing platform for automotive data, ensuring scalability and reliability. - Design and implement data pipelines that process large volumes of data in both streaming and batch modes. - Optimize data workflows to ensure efficient data ingestion, processing, and storage using technologies such as Spark, Cloudera, ...

Česko

GFT Poland

Senior Data Engineer (Hadoop, Spark) @ GFT Poland

  • Na dálku
  • Hybridní
  • Na místě

15.800 - 24.300 PLN

... implement requirements Ukázat vše (8) O pozici / o projektu Původní popisek. What will you do? You will work as a key member of a technical team alongside Engineers, Data Analysts and Business Analysts, contributing to a collaborative Agile development process while designing, developing and maintaining scalable data solutions ...

Česko

Upvanta

Senior QA Automation Engineer @ Upvanta

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie, rozwój i utrzymanie testów automatycznych dla aplikacji webowych oraz API. - Tworzenie skryptów testowych na podstawie dokumentacji projektowej i wymagań biznesowych. - Przygotowywanie danych testowych oraz scenariuszy testowych.

Česko

Upvanta

Senior Backend Engineer (Java, Kubernetes) @ Upvanta

  • Na dálku
  • Smlouva
  • Backend

1.100 - 1.400 PLN

... Długość współpracy: 12+ miesięcy Forma współpracy: B2B Stawka: 1100–1400 PLN netto + VAT / MD, zależnie od doświadczenia i kompetencji Poszukujemy Senior Backend Engineera , który posiada solidne doświadczenie w rozwoju aplikacji backendowych oraz pracy z platformami cloud-native. Szukamy osoby z praktyczną znajomością Javy, ...

Česko

Upvanta

MID Full-stack Engineer (Java/JavaScript) @ Upvanta

  • Na dálku
  • Smlouva
... Project Overview The project involves the development, enhancement, and maintenance of web applications for a large European public institution. The Full-stack Engineer will be responsible for delivering end-to-end software solutions across frontend interfaces, backend services, database systems, and cloud infrastructure, ensuring ...

Česko

Upvanta

SAP Developer @ Upvanta

  • Na dálku

13.000 - 18.000 PLN

Odpovědnosti Původní popisek.

Česko

Upvanta

Flutter Developer (Mid) @ Upvanta

  • Na dálku
  • Mobile

100 zł PLN / hour

Odpovědnosti Původní popisek. - Utrzymanie i stabilizacja istniejącej aplikacji mobilnej. - Analiza i naprawa błędów oraz refaktoryzacja kodu. - Dokańczanie rozpoczętych funkcjonalności i implementacja mniejszych zmian. - Praca z GraphQL oraz mechanizmami synchronizacji danych offline.

Česko

Data Engineer

140000 Kč

... data technologies. All solutions provided by us are used by several different business areas including Aftermarket and Product Development departments. As a Data engineer you will have an opportunity to work with innovative solutions for Volvo business area through Volvo vehicle logged data. You will also have the opportunity ...

Česko

keboola

Data Engineer

... context you contribute make the next project faster. Who thrives here Experience: 4+ years in data engineering, analytics engineering or a hands-on technical data role. Background: You've built data solutions at a consultancy or system integrator, on an in-house data team, or in a customer-facing role at a data vendor. ...

Praha, Česko

Data Engineer

75000 Kč

Popis pozice What You’ll Do: - Develop tools and applications in Python to perform data processing, data analysis, modelling, forecasting. Utilize statistical, mathematical, and algorithmic principles. - Prototype, test, and deploy end-to-end data operation pipelines. - Develop web-based applications using Streamlit for ...

Praha, Česko