Data Engineer( Bright Technologies )

27 Сентября

Партнерские Вакансии

Компания "Bright Technologies"

Обязанности:

• Разрабатывать и поддерживать процессы загрузки и обработки данных (ETL/ELT)
• Интегрировать данные из различных источников (БД, API, файловые хранилища, стриминговые системы)
• Проектировать и оптимизировать хранилища данных (Data Warehouse, Data Lake)
• Настраивать потоковую и пакетную обработку данных (Kafka, Spark и др.)
• Следить за качеством, надёжностью и доступностью данных
• Работать совместно с аналитиками и Data Scientists, обеспечивая их необходимыми данными
• Документировать процессы и поддерживать существующую инфраструктуру данных

Требования:

• Опыт работы Data Engineer от 2 лет
• Отличные знания SQL и опыт оптимизации запросов
• Практический опыт работы с реляционными СУБД (PostgreSQL, MS SQL, MySQL и др.)
• Опыт работы с системами потоковой обработки данных (Kafka, Spark Streaming, Flink и др.)
• Опыт работы с Python (pandas, PySpark, Airflow и др.)
• Понимание принципов построения DWH и Data Lake
• Опыт работы с системами контроля версий (Git)
• Навыки работы в Docker / CI/CD среде