Data Engineer

Компания "Группа компаний Аллюр"

Обязанности:

• Разработка сервисов интеграции и управления ETL-процессами;
• Разработка и мониторинг работоспособности процессов по загрузке данных из систем-источников в слои хранилища с использованием SQL и специализированных средств разработки (разработка DAG-ов, разработка ETL-процессов);
• Разработка и поддержка инфраструктуры для обработки данных;
• Оптимизация информационных панелей (SQL-запросы);
• Разработка объектов (таблиц, процедур, функций, OLAP-кубов) баз данных для целей хранения данных, их обработки (разработка загрузчиков, витрин, механизмов обновления и агрегации данных);
• Парсинг сайтов и извлечение данных из них для последующей обработки и интеграции в хранилище данных.

Требования:

• Технические навыки: Глубокие знания языков программирования, таких как Python, Scala или Java, и опыт работы с SQL и NoSQL базами данных (например, MongoDB, Cassandra).
• Знание облачных платформ, таких как AWS, Azure или Google Cloud, является большим преимуществом. Опыт парсинга веб-сайтов и извлечения данных из различных веб-источников для дальнейшей обработки и интеграции также необходим.
• Аналитическое мышление: Способность к анализу сложных задач и разработке эффективных решений для обработки и анализа данных. Важно умение мыслить критически и применять логический подход к решению проблем.
• Разработка и управление данными: Опыт работы от 3 до 5 лет в области инженерии данных, включая проектирование, построение, аналитическую обработку и хранение данных. Это включает опыт создания надежных, масштабируемых и эффективных систем обработки данных.
• ETL и интеграция данных: Значительный опыт в разработке ETL-процессов (Extract, Transform, Load) и интеграции данных из разнообразных источников в единую систему для поддержки аналитических и операционных потребностей.
• Работа с большими данными: Практический опыт работы с технологиями больших данных, такими как Hadoop, Spark, Kafka и другими, для обработки и анализа больших объемов данных в реальном времени и в пакетном режиме.
• Парсинг сайтов: Навыки парсинга веб-сайтов и извлечения данных из различных веб-источников для дальнейшей обработки и интеграции в системы хранения данных и аналитики.

Условия:

• График 5/2 с 09:00 до 18:00, обеденный перерыв с 13:00 до 14:00
• Отпуск 24 календарных дня
• Работа в компании крупнейшего автопроизводителя страны, официального дистрибьютора и дилера брендов Kia, Chevrolet, JAC, JETOUR, Hongqi и Škoda. Вы станете частью команды, насчитывающей более 5000 профессионалов, которые вместе создают будущее автомобильного рынка
• Карта лояльности со скидками в лучших медицинских учреждениях, фитнес-центрах, стоматологиях и других местах для заботы о здоровье
• Материальная помощь по памятным событиям
• Доступ к корпоративной библиотеке и обучению
• Активная и насыщенная корпоративная жизнь.