Data Engineer (удаленно)
В архиве с 28 ноября 2023
Требуемый опыт работы: 1–3 года
Полная занятость, удаленная работа
Казань
Вакансия в архиве
Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию
Казань
Мы создаем атмосферу, в которой хочется развиваться
Рунити — российский бренд, который объединил группу компаний RU-CENTER, REG.RU, SpaceWeb и стал одним из лидеров интернета в стране. Мы предоставляем удобные инструменты для успешного ведения бизнеса в онлайне.
Сейчас мы в поисках человека, с навыками в Data Engineering, готового участвовать в подготовке данных для внутренних пользователей. Среди задач, которые мы решаем:
Сбор статистических данных из внутренних и внешних источников в наш data-lake на базе Hadoop (по заказу внутренних заказчиков и для реализации собственных идей)
Создание подготовленных витрин данных для отделов бизнес/ финансовой аналитики и маркетинга
Создание витрин данных со статистикой внутренних операционных показателей (в т.ч. хостинга)
Создание удобных инструментов для пользователей для работы с нашими решениями и статистикой
Сбор и подготовка данных из открытых источников
Переход от пакетного к потоковому сбору и обработке данных
Что будет входить в обязанности:
Разработка и поддержка автоматизированных ETL/ELT процессов на Spark/Hadoop (интеграция источников данных в Data Lake, создание витрин данных под потребности пользователей и сервисов)
Сбор, обработка и парсинг "сырых" данных
Написание сервисов для работы с внешними источниками/потребителями данных
Поддержка и развитие хранилища данных
Что мы ожидаем от кандидата:
Опыт промышленной разработки на Python
Уверенные знания SQL/оконные функции/CTE
Опыт работы с инструментами экосистемы Hadoop: Hive, Impala
Наличие опыта разработки на Python / разработки на pySpark
Опыт работы с Superset/Tableau
Опыт написания DAG в Airflow/Luigi/Preset
Знание основных понятий и концепций из области Data Warehousing
Опыт разработки витрин данных
Несомненными плюсами будут:
Опыт работы с docker, k8s, kafka
Опыт работы с нереляционными БД
Наличие профессионального интереса к развития архитектуры данных: хранение, транспортировка, обработка, применение, обеспечение AI/ML и DataOps;
ДМС после испытательного срока с телемедициной и льготной стоматологией
Предоставление доступа к сервису скидок и привилегий, включая спорт и изучение английского языка
Льготы IT-компаний
Мы поддерживаем друг друга
и для нас важно, чтобы каждый сотрудник мог и хотел делиться своими идеями с командой.
Мы разрабатываем сервисы на Python, Go, PHP, React и Vue. Также используем K&S, Docker, Prometheus, MySQL, PostgreSQL.
От офиса и оборудования до стиля общения. Мы работаем удаленно,
а еще у нас есть коворкинги в Москве, Санкт-Петербурге и Самаре.
Ты сможешь пройти обучение в Корпоративном университете,
пройти внешнее обучение
или принять участие в конференции.
У нас не каждый сам за себя, а мы делаем проекты вместе. У нас принято делиться своей экспертизой и открыто обсуждать рабочие задачи. Мы фокусируемся на практической отдаче, все быстро и четко, обсудили — сделали.
Каждый сотрудник получает ДМС после испытательного срока. Полис включает психологическую и экстренную медицинскую помощь, телемедицину и страховку в путешествиях за рубежом.