Data Engineer, Отдел сопровождения проектов ИИ

Компания "QazCloud"

Обязанности:

• Проектирование, разработка и сопровождение надежных ETL/ELT пайплайнов

• Интеграция данных из различных источников: API, базы данных, файловые системы, стриминг-сервисы

• Разработка и поддержка витрин данных для аналитики и Data Science

• Оптимизация производительности хранилищ и процессов обработки данных • Обеспечение качества, консистентности и доступности данных

• Участие в проектировании архитектуры хранилищ (DWH, Data Lake)

• Настройка мониторинга, алертов и логирования для процессов загрузки данных

• Работа с разработчиками, аналитиками, ML-инженерами и заказчиками данных

• Поддержка CI/CD пайплайнов для компонентов data-инфраструктуры

Требования:

• Уверенное знание Python и инструментов работы с данными: pandas, SQLAlchemy, requests и др.

• Глубокие знания SQL, опыт работы с реляционными и колонковыми БД (PostgreSQL, ClickHouse, Snowflake и др.).

• Опыт работы с API (REST/GraphQL), файловыми источниками (CSV, XLSX, JSON, XML)

• Опыт работы с системами оркестрации данных: Apache Airflow, Prefect или аналогами

• Навыки построения архитектуры потоков данных, обработки больших объемов

• Опыт работы с Docker, Git, CI/CD (GitLab CI, Jenkins и др.)

• Понимание принципов построения DWH и Data Lake, знание подходов к моделированию данных (star/snowflake)

• Опыт настройки мониторинга процессов (Prometheus, Grafana, логирование) • Понимание основ безопасности данных, управление доступом

• Английский — на уровне чтения и написания технической документации

• Python: pandas, requests, SQLAlchemy, PySpark (желательно)

• СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (по проекту)

• Оркестрация: Apache Airflow, Prefect, Luigi

• Интеграция: REST API, FTP/SFTP, очереди (Kafka, RabbitMQ — желательно)

• Контейнеризация и автоматизация: Docker, Git, GitLab CI, Jenkins

• Мониторинг: Prometheus, Grafana, ELK/EFK стек

• Linux/Unix, bash, crontab

• BI и аналитика: понимание требований к структуре витрин данных (в связке с Power BI, Tableau, Qlik и др.)

Опыт работы не менее 2-х лет.

Условия:

- рабочий график c 09:00 до 18:30

- медицинская страховка

- развозка