Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup.
Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink.
Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania.
Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych.
Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych.
Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy.
Ukázat vše (8)
O pozici / o projektu
Původní popisek.
Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty
Dla naszego Klienta , firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko: Data Platform Engineer with Apache Druid.
B2B contract
100% zdalnie
Stawka: 170-200 PLN netto+VAT/h
Kontrakt B2B za pośrednictwem Devire
Praca zdalna
Elastyczne godziny pracy
Możliwość skorzystania z dodatkowych benefitów – karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie.
... współdzielonych usług i komponentów platformowych wspierających zespoły produktowe w budowie rozwiązań opartych o sztuczną inteligencję. Projekt obejmuje zarówno aspekty platform engineering, jak i praktyczne wykorzystanie nowoczesnych technologii AI. Platforma będzie dostarczać m.in. AI Gateway, integracje z modelami i systemami firmowymi, ...
Job offer The Data Engineer designs, operates and continuously improves the data platforms and processing workflows that support the management, preservation, discovery and use of scientific data at ELI Beamlines. The role combines hands-on administration of databases, storage systems with the development of reliable data ...
... career aspirations. We are currently looking for a Big Data Engineer with expertise in Scala and Spark to join our team and contribute to innovative, large-scale data processing projects. About the Project The project focuses on building a high-performance data platform for the finance/stock exchange industry , processing massive ...
... and lifecycle management - Develop integrations with external sources, handling pagination, rate limits, errors and content changes - Design and evolve the metadata model (identifiers, versioning, content hashes, ownership, relationships) - Create reliable data contracts and persistence layers with idempotent, safe reprocessing ...
... follows a hybrid working model, with three days per week based in the office (Tuesday, Wednesday, Thursday). Engineer, configure, maintain, and monitor the SIEM platform, collectors, connectors, and supporting infrastructure Onboard security-relevant logs from identity, endpoint, network, cloud, business applications, databases, ...
... orchestrating cloud infrastructure on AWS using Terraform . - Exposure to modern analytical data formats and pipelines (e.g., Apache Iceberg , Parquet, or large-scale data lakes) is a strong plus. - Empathy and communication skills to partner with internal engineering stakeholders, balance operational rigor with developer velocity, ...
... Automate system management with Ansible and Puppet; - Implement monitoring with Grafana and Prometheus; - Upgrade servers from CentOS to Rocky Linux; - Configure Apache Spark and Solr clusters; - Deploy RKE2 Kubernetes clusters and Helm charts; - Mentored junior engineers and promoted DevOps/Platform Engineering best practices; ...
... ingestion activities, including source-to-target mappings and integration of new data sources - Participate in architecture discussions and contribute to scaling the data platform and maintaining data models - Work with orchestration tools such as Databricks Workflows, Apache Airflow, or MWAA to manage workflows Ukázat vše (11) ...
... projekcie Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Developera , który dołączy do zespołu rozwijającego nowoczesną platformę danych opartą na architekturze event-driven. Szukamy osoby z silnym doświadczeniem backendowym i praktyczną znajomością Apache Kafka, która brała udział w ...
... high ownership, initiative, and product mindset. - English – Intermediate or higher. - Ukrainian – Advanced. Will be a plus - Experience building developer platforms, internal tooling, API Gateways, or SDKs. - Hands-on experience with MCP (Model Context Protocol), RAG pipelines, or vector databases. - Experience with LLM ...