rozwój oprogramowania do przetwarzania dużych wolumenów danych,
integrację i pobieranie danych z interfejsów API,
projektowanie oraz rozwój pipeline'ów danych w Databricks z wykorzystaniem PySpark i SQL,
tworzenie i utrzymywanie pipeline'ów opartych na Spark Structured Streaming,
projektowanie oraz zarządzanie obiektami w Unity Catalog zgodnie z założeniami Medallion Architecture.
O pozici / o projektu
Původní popisek.
[zdalnie] Senior Data Engineer
Rozwijamy nasz zespół AI Data Engineering w DS STREAM!
Poszukujemy Senior Data Engineera , który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.
Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).
O projekcie
Dołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks . Środowisko wykorzystuje m.in. Unity Catalog , Spark Structured Streaming oraz Asset Bundles , zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.
Architektura rozwiązania oparta jest na modelu Medallion Architecture , który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.
Oferujemy
pracę w 100% zdalną z możliwością korzystania z biura w Warszawie,
elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych,
dostęp do certyfikacji Azure,
możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów ,
współpracę z zespołem ponad 50 doświadczonych konsultantów Data , specjalizujących się w Data Warehouse i Big Data ,
Odpovědnosti Původní popisek. - In this role, you will contribute to the development and ongoing improvement of AI-powered tools and services. You will work with AI solutions operating in production environments, helping to maintain and optimize their quality, performance, security, and scalability.
Detail pracovní nabídky - Online nábor - Jazyk náboru: Polština - Ihned - Práce plně na dálku - Flexibilní pracovní doba Metodika práce - Agile management - Cloud infrastructure Výhody v kanceláři - Bezplatná káva - Bez požadavku na dress code - Atmosféra startupu Výhody - Sportovní balíček - Rozpočet na školení -
... and accurate effort estimation. What do we expect - Experience in building and productionizing big data architectures, pipelines and data sets. - Understanding data concepts and patterns of big data, data lake, lambda architecture, stream processing, DWH, and BI. - 3-7 years of experience in a Data Engineer role, who has ...
Merck seeks a Senior Scientific Data Engineer/Data Analyst to design and maintain data pipelines for experimental and biological research. The role bridges IT and laboratory operations, integrating scientific data into enterprise platforms to support medicine and vaccine development. Responsibilities - Design, build, and ...
... Role We are looking for a Senior Data Integration Engineer to support a complex data migration initiative involving enterprise HR platforms. The role combines hands-on data engineering, system integration and technical coordination to ensure data is transferred accurately, consistently and reliably between systems. You will ...
... business requirements. - Understand clients' needs and translate business problems into data science problems. - Architect and oversee the implementation of data pipelines and workflows, setting standards for data quality and security. - Coordinate with Data Engineering and Software Engineering teams to strategize and ...
... and services processing bid-stream data. - Contribute to technical decisions across performance-critical backend components. - Apply your domain knowledge to engineering challenges in programmatic advertising. O pozici / o projektu Původní popisek. About the Role We’re looking for a Senior Backend Engineer to develop a programmatic ...
... products. You will own how the client acquires speech data for training its models. You will manage vendors and recording campaigns end to end, and make sure every dataset arrives on time, on budget, at the agreed quality and with proper legal grounds. IN SHORT: - 100% remote or from the office (Wrocław, Bielsko-Biała) - You ...
Odpovědnosti Původní popisek. - Projektowanie, budowa i utrzymanie pipeline’ów end-to-end. - Tworzenie reużywalnych konektorów i komponentów dla danych strukturalnych i niestrukturalnych. - Rozwój modeli danych dla baz relacyjnych, grafowych i NoSQL.
Česko
Zobrazit nabídku
MANN+HUMMEL Service s.r.o. – Shared Service Centre