Data Engineer( Bright Technologies )

Bright Technologies

Город:

Астана

Занятость:

Полная занятость

Компания "Bright Technologies"

Обязанности:

Разрабатывать и поддерживать процессы загрузки и обработки данных (ETL/ELT)
Интегрировать данные из различных источников (БД, API, файловые хранилища, стриминговые системы)
Проектировать и оптимизировать хранилища данных (Data Warehouse, Data Lake)
Настраивать потоковую и пакетную обработку данных (Kafka, Spark и др.)
Следить за качеством, надёжностью и доступностью данных
Работать совместно с аналитиками и Data Scientists, обеспечивая их необходимыми данными
Документировать процессы и поддерживать существующую инфраструктуру данных

Требования:

Опыт работы Data Engineer от 2 лет
Отличные знания SQL и опыт оптимизации запросов
Практический опыт работы с реляционными СУБД (PostgreSQL, MS SQL, MySQL и др.)
Опыт работы с системами потоковой обработки данных (Kafka, Spark Streaming, Flink и др.)
Опыт работы с Python (pandas, PySpark, Airflow и др.)
Понимание принципов построения DWH и Data Lake
Опыт работы с системами контроля версий (Git)
Навыки работы в Docker / CI/CD среде