Zpět na seznam

Popis nabídky

Data Engineer (Spark) @ Upvanta v Česko

Upvanta

  • Na dálkuPráce odkudkoli

Česko

Odpovědnosti

Původní popisek. 
  1. Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
  2. Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
  3. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
  4. Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
  5. Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
  6. Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
Ukázat vše (12)

O pozici / o projektu

Původní popisek. 

Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark) , który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.

Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Detail pracovní nabídky

  • Ihned
  • Práce plně na dálku
Přihlásit se na nabídku

Podobné nabídky

Další podobné pozice

Addepto

Data Engineer (Spark) @ Addepto

  • Na dálku
  • Hybridní
  • Na místě

15.120 - 21.000 PLN

... high-performance data processing platform for automotive data, ensuring scalability and reliability. - Design and implement data pipelines that process large volumes of data in both streaming and batch modes. - Optimize data workflows to ensure efficient data ingestion, processing, and storage using technologies such as Spark, Cloudera, ...

Česko

GFT Poland

Senior Data Engineer (Hadoop, Spark) @ GFT Poland

  • Na dálku
  • Hybridní
  • Na místě

15.800 - 24.300 PLN

... implement requirements Ukázat vše (8) O pozici / o projektu Původní popisek. What will you do? You will work as a key member of a technical team alongside Engineers, Data Analysts and Business Analysts, contributing to a collaborative Agile development process while designing, developing and maintaining scalable data solutions ...

Česko

Upvanta

Senior QA Automation Engineer @ Upvanta

  • Na dálku
Odpovědnosti Původní popisek. - Projektowanie, rozwój i utrzymanie testów automatycznych dla aplikacji webowych oraz API. - Tworzenie skryptów testowych na podstawie dokumentacji projektowej i wymagań biznesowych. - Przygotowywanie danych testowych oraz scenariuszy testowych.

Česko

Upvanta

Senior Backend Engineer (Java, Kubernetes) @ Upvanta

  • Na dálku
  • Smlouva
  • Backend

1.100 - 1.400 PLN

... Długość współpracy: 12+ miesięcy Forma współpracy: B2B Stawka: 1100–1400 PLN netto + VAT / MD, zależnie od doświadczenia i kompetencji Poszukujemy Senior Backend Engineera , który posiada solidne doświadczenie w rozwoju aplikacji backendowych oraz pracy z platformami cloud-native. Szukamy osoby z praktyczną znajomością Javy, ...

Česko

Upvanta

Front-End Engineer (React / TypeScript / AWS) @ Upvanta

  • Na dálku
  • Smlouva
... dyskusjach technicznych oraz procesach projektowania rozwiązań. Ukázat vše (8) O pozici / o projektu Původní popisek. Poszukujemy dwóch doświadczonych Front-End Engineerów, którzy chcą rozwijać nowoczesne aplikacje webowe z wykorzystaniem React, TypeScript, Vite oraz AWS Cloudscape. Szukamy osób z silnymi kompetencjami front-endowymi, ...

Česko

Upvanta

Integration Support Engineer - Azure Integration Services @ Upvanta

  • Na dálku
... - Implement and maintain Infrastructure as Code (IaC) solutions using Terraform. Ukázat vše (8) O pozici / o projektu Původní popisek. Integration Support Engineer – Azure Integration Services We are looking for an experienced Integration Support Engineer with strong hands-on expertise in Azure Integration Services to ...

Česko

Upvanta

MID Full-stack Engineer (Java/JavaScript) @ Upvanta

  • Na dálku
  • Smlouva
... Project Overview The project involves the development, enhancement, and maintenance of web applications for a large European public institution. The Full-stack Engineer will be responsible for delivering end-to-end software solutions across frontend interfaces, backend services, database systems, and cloud infrastructure, ensuring ...

Česko

Upvanta

SAP Developer @ Upvanta

  • Na dálku

13.000 - 18.000 PLN

Odpovědnosti Původní popisek.

Česko

Upvanta

Full Stack Engineer (Python, FastAPI, React & Azure) @ Upvanta

  • Na dálku
  • Fullstack
... optimize cloud-based applications on Microsoft Azure. - Ensure application performance, reliability, scalability, and security. - Collaborate with software engineers, architects, product owners, and other stakeholders. Ukázat vše (9) O pozici / o projektu Původní popisek. We are looking for a skilled and proactive Full ...

Česko

Upvanta

Flutter Developer (Mid) @ Upvanta

  • Na dálku
  • Mobile

100 zł PLN / hour

Odpovědnosti Původní popisek. - Utrzymanie i stabilizacja istniejącej aplikacji mobilnej. - Analiza i naprawa błędów oraz refaktoryzacja kodu. - Dokańczanie rozpoczętych funkcjonalności i implementacja mniejszych zmian. - Praca z GraphQL oraz mechanizmami synchronizacji danych offline.

Česko