Data Engineer( ЧК BI Group Ltd. )

25 Июля

Партнерские Вакансии

Компания "ЧК BI Group Ltd."

Обязанности:

• Проектировать и поддерживать пайплайны загрузки данных (CDC)
  из PostgreSQL / MySQL / MongoDB через Debezium + Kafka;
• Развивать хранилище данных на ClickHouse: проектировать таблицы и схемы; выбирать движки (MergeTree и др.); настраивать шардирование и репликацию; создавать материализованные представления;
• Оркестрировать пайплайны в Apache Airflow: писать DAG’и; создавать кастомные операторы; настраивать мониторинг и алерты;
• Строить слой трансформаций в dbt: модели данных; тесты и документация; инкрементальные загрузки;
• Оптимизировать: скорость выполнения запросов; затраты на хранение данных;
• Обеспечивать качество данных: тесты; data‑контракты; контроль и observability;
• Проводить code review;
• Менторить junior‑инженеров и развивать инженерные практики в команде;

Требования:

• Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
• ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
• Опыт настройки шардирования и репликации;
• Навыки оптимизации тяжёлых запросов;
• Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
• Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
• DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
• Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
• Python на уровне продакшн-кода;
• Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.

Условия:

• Официальное трудоустройство по ТК РК;

• График работы: 5/2;

• Работа в офисе (БЦ Agar, Астана) — комфортное рабочее место;

• Социальный пакет: оплачиваемый отпуск, больничные, ДМС после испытательного срока;

• Работа в команде IT-поддержки;

• Обучение за счёт компании: курсы, конференции, профильная литература;

• Работа с разными системами и бизнес-процессами;

• Доступ к базе знаний и внутреннему обучению.