Zpět na seznam

Popis nabídky

Data Engineer (Spark) @ Upvanta v Česko

Upvanta

  • Na dálkuPráce odkudkoli

Česko

Odpovědnosti

Původní popisek. 
  1. Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
  2. Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
  3. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
  4. Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
  5. Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
  6. Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
Ukázat vše (12)

O pozici / o projektu

Původní popisek. 

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Detail pracovní nabídky

  • Ihned
  • Práce plně na dálku

Podobné nabídky

Další podobné pozice

  • Na dálku
  • Hybridní
  • Na místě

15.120 - 21.000 PLN

... high-performance data processing platform for automotive data, ensuring scalability and reliability. - Design and implement data pipelines that process large volumes of data in both streaming and batch modes. - Optimize data workflows to ensure efficient data ingestion, processing, and storage using technologies such as Spark, Cloudera, ...

Česko

  • Na dálku
  • Hybridní
  • Na místě

15.800 - 24.300 PLN

... implement requirements Ukázat vše (8) O pozici / o projektu Původní popisek. What will you do? You will work as a key member of a technical team alongside Engineers, Data Analysts and Business Analysts, contributing to a collaborative Agile development process while designing, developing and maintaining scalable data solutions ...

Česko

  • Na dálku

135 zł PLN - 145 zł PLN / hour

... spotkania we Wrocławiu (średnio 1 raz w miesiącu) Stawka: 135 - 145 pln/h O projekcie Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Developera , który dołączy do zespołu rozwijającego nowoczesną platformę danych opartą na architekturze event-driven. Szukamy osoby z silnym doświadczeniem ...

Česko

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie, rozwój i utrzymanie testów automatycznych dla aplikacji webowych oraz API. - Tworzenie skryptów testowych na podstawie dokumentacji projektowej i wymagań biznesowych. - Przygotowywanie danych testowych oraz scenariuszy testowych.

Česko

  • Na dálku
... z wykorzystaniem chmury, CI/CD, Dockera i Kubernetes. Ukázat vše (10) O pozici / o projektu Původní popisek. O projekcie Poszukujemy Senior Full-Stack Java Engineera do pracy nad dużymi systemami korporacyjnymi w europejskim środowisku sektora publicznego. Projekt obejmuje rozwój i utrzymanie bezpiecznych, skalowalnych ...

Česko

  • Na dálku
  • Smlouva
  • Backend

1.100 - 1.400 PLN

... Długość współpracy: 12+ miesięcy Forma współpracy: B2B Stawka: 1100–1400 PLN netto + VAT / MD, zależnie od doświadczenia i kompetencji Poszukujemy Senior Backend Engineera , który posiada solidne doświadczenie w rozwoju aplikacji backendowych oraz pracy z platformami cloud-native. Szukamy osoby z praktyczną znajomością Javy, ...

Česko

  • Na dálku
  • Smlouva

195 zł PLN / hour

... (11) O pozici / o projektu Původní popisek. Forma współpracy: B2B Stawka: do 195 PLN/h netto + VAT Tryb pracy: zdalnie Szukamy doświadczonego Lead Full-stack Engineera , który dobrze czuje się zarówno w obszarze Java/Spring , jak i Angular . To rola dla osoby, która potrafi spojrzeć na aplikację end-to-end – od warstwy UI, ...

Česko

  • Na dálku
  • Smlouva
... dyskusjach technicznych oraz procesach projektowania rozwiązań. Ukázat vše (8) O pozici / o projektu Původní popisek. Poszukujemy dwóch doświadczonych Front-End Engineerów, którzy chcą rozwijać nowoczesne aplikacje webowe z wykorzystaniem React, TypeScript, Vite oraz AWS Cloudscape. Szukamy osób z silnymi kompetencjami front-endowymi, ...

Česko

  • Na dálku
... - Implement and maintain Infrastructure as Code (IaC) solutions using Terraform. Ukázat vše (8) O pozici / o projektu Původní popisek. Integration Support Engineer – Azure Integration Services We are looking for an experienced Integration Support Engineer with strong hands-on expertise in Azure Integration Services to ...

Česko

  • Na dálku
  • Smlouva
... Project Overview The project involves the development, enhancement, and maintenance of web applications for a large European public institution. The Full-stack Engineer will be responsible for delivering end-to-end software solutions across frontend interfaces, backend services, database systems, and cloud infrastructure, ensuring ...

Česko