rozwój oprogramowania do przetwarzania dużych wolumenów danych,
integrację i pobieranie danych z interfejsów API,
projektowanie oraz rozwój pipeline'ów danych w Databricks z wykorzystaniem PySpark i SQL,
tworzenie i utrzymywanie pipeline'ów opartych na Spark Structured Streaming,
projektowanie oraz zarządzanie obiektami w Unity Catalog zgodnie z założeniami Medallion Architecture.
O pozici / o projektu
Původní popisek.
[zdalnie] Senior Data Engineer
Rozwijamy nasz zespół AI Data Engineering w DS STREAM!
Poszukujemy Senior Data Engineera , który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.
Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).
O projekcie
Dołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks . Środowisko wykorzystuje m.in. Unity Catalog , Spark Structured Streaming oraz Asset Bundles , zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.
Architektura rozwiązania oparta jest na modelu Medallion Architecture , który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.
Oferujemy
pracę w 100% zdalną z możliwością korzystania z biura w Warszawie,
elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych,
dostęp do certyfikacji Azure,
możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów ,
współpracę z zespołem ponad 50 doświadczonych konsultantów Data , specjalizujących się w Data Warehouse i Big Data ,
Odpovědnosti Původní popisek. - In this role, you will contribute to the development and ongoing improvement of AI-powered tools and services. You will work with AI solutions operating in production environments, helping to maintain and optimize their quality, performance, security, and scalability.
Detail pracovní nabídky - Online nábor - Jazyk náboru: Polština - Ihned - Práce plně na dálku - Flexibilní pracovní doba Metodika práce - Agile management - Cloud infrastructure Výhody v kanceláři - Bezplatná káva - Bez požadavku na dress code - Atmosféra startupu Výhody - Sportovní balíček - Rozpočet na školení -
... and accurate effort estimation. What do we expect - Experience in building and productionizing big data architectures, pipelines and data sets. - Understanding data concepts and patterns of big data, data lake, lambda architecture, stream processing, DWH, and BI. - 3-7 years of experience in a Data Engineer role, who has ...
Merck seeks a Senior Scientific Data Engineer/Data Analyst to design and maintain data pipelines for experimental and biological research. The role bridges IT and laboratory operations, integrating scientific data into enterprise platforms to support medicine and vaccine development. Responsibilities - Design, build, and ...
... and services processing bid-stream data. - Contribute to technical decisions across performance-critical backend components. - Apply your domain knowledge to engineering challenges in programmatic advertising. O pozici / o projektu Původní popisek. About the Role We’re looking for a Senior Backend Engineer to develop a programmatic ...
Odpovědnosti Původní popisek. - Projektowanie, budowa i utrzymanie pipeline’ów end-to-end. - Tworzenie reużywalnych konektorów i komponentów dla danych strukturalnych i niestrukturalnych. - Rozwój modeli danych dla baz relacyjnych, grafowych i NoSQL.
Česko
Zobrazit nabídku
MANN+HUMMEL Service s.r.o. – Shared Service Centre
... 1,500+ brands from 12+ fulfillment centers, up to 100,000 orders a day in peak season. The platform is built in Prague. We are starting an AI domain inside our Data team, and we want an engineer who builds AI-first and knows that good AI needs good data. You will look across HR, Sales, Marketing and Operations for places ...
... delivery. This is a hands-on individual contributor role. You will work across varied revenue and intelligence initiatives, often in partnership with a Lead Data Scientist, application engineers, analysts, and business stakeholders. The right candidate can move quickly without sacrificing trustworthiness and knows how ...