Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup.
Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink.
Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania.
Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych.
Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych.
Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy.
Ukázat vše (8)
O pozici / o projektu
Původní popisek.
Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty
Dla naszego Klienta , firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko: Data Platform Engineer with Apache Druid.
B2B contract
100% zdalnie
Stawka: 170-200 PLN netto+VAT/h
Kontrakt B2B za pośrednictwem Devire
Praca zdalna
Elastyczne godziny pracy
Możliwość skorzystania z dodatkowych benefitów – karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie.
Job offer The Data Engineer designs, operates and continuously improves the data platforms and processing workflows that support the management, preservation, discovery and use of scientific data at ELI Beamlines. The role combines hands-on administration of databases, storage systems with the development of reliable data ...
... career aspirations. We are currently looking for a Big Data Engineer with expertise in Scala and Spark to join our team and contribute to innovative, large-scale data processing projects. About the Project The project focuses on building a high-performance data platform for the finance/stock exchange industry , processing massive ...
... and lifecycle management - Develop integrations with external sources, handling pagination, rate limits, errors and content changes - Design and evolve the metadata model (identifiers, versioning, content hashes, ownership, relationships) - Create reliable data contracts and persistence layers with idempotent, safe reprocessing ...
... orchestrating cloud infrastructure on AWS using Terraform . - Exposure to modern analytical data formats and pipelines (e.g., Apache Iceberg , Parquet, or large-scale data lakes) is a strong plus. - Empathy and communication skills to partner with internal engineering stakeholders, balance operational rigor with developer velocity, ...
... Build and maintain ETL pipelines, data integrations, and reconciliation processes. - Implement backend services and business logic using Python and SQL. - Work with data platforms such as Snowflake and Databricks, and orchestrate workflows using Apache Airflow. - Develop interactive reporting interfaces and visualizations ...
... Automate system management with Ansible and Puppet; - Implement monitoring with Grafana and Prometheus; - Upgrade servers from CentOS to Rocky Linux; - Configure Apache Spark and Solr clusters; - Deploy RKE2 Kubernetes clusters and Helm charts; - Mentored junior engineers and promoted DevOps/Platform Engineering best practices; ...
... ingestion activities, including source-to-target mappings and integration of new data sources - Participate in architecture discussions and contribute to scaling the data platform and maintaining data models - Work with orchestration tools such as Databricks Workflows, Apache Airflow, or MWAA to manage workflows Ukázat vše (11) ...
... projekcie Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Developera , który dołączy do zespołu rozwijającego nowoczesną platformę danych opartą na architekturze event-driven. Szukamy osoby z silnym doświadczeniem backendowym i praktyczną znajomością Apache Kafka, która brała udział w ...
... APIs and integrating with third-party services. - Solid understanding of infrastructure technologies and platforms (e.g., VMware, OpenStack ). - Proficiency in database management with PostgreSQL or MSSQL . - Hands-on experience with Docker for containerization. - Familiarity with task automation tools like Celery and RabbitMQ ...
... (Streaming Data) - Databases & Graph Technologies: GraphDB, Neo4j, GraphQL - Containerization & Orchestration: Kubernetes Project Delivery Model Services are provided within a modern Data Platform Engineering domain. Consultants deliver specialized expertise through structured alignment with key project areas, maintaining high technical ...