Ведущий Data Engineer
Компания «Северсталь-инфоком» — это центр информационных и коммуникационных технологий крупнейшего горнодобывающего и сталелитейного холдинга «Северсталь». Кроме того, мы являемся аккредитованной Минцифры IT-компанией, что позволяет нашим сотрудникам пользоваться дополнительными льготами.
«Северсталь-инфоком» сегодня это:
- 33 года опыта IT экспертизы;
- 20 городов присутствия по России;
- более 2200 сотрудников;
- более 200 предоставляемых сервисов.
Мы ищем кандидатов, которые получают удовольствие от эффективной командной работы, которые не боятся новых технологий и готовы делиться своими идеями и навыками. Нам нравится, что использование наших решений не только эффективно, но и доставляет удовольствие пользователям. Мы не боимся амбициозных целей и верим, что каждое наше действие должно приносить результат.
Чем Вы будете заниматься:
- разрабатывать архитектуру взаимодействия систем в платформе (экосистеме) обработки данных;
- проектировать распределённые потоки данных в экосистеме Kafka (топики, партиции);
- анализировать требования (взаимодействовать с архитекторами направлений, владельцами продуктов, функциональными командами смежных интегрируемых систем);
- проектировать, разрабатывать и поддерживать ETL-процессы (Apache NiFi, Apache Airflow, Потоковые данные);
- реализовывать алгоритмы преобразования данных;
- интегрировать данные между внешними системами;
- формировать и обрабатывать большие наборы данных, streaming данных (потоковых);
- загружать данные из различных источников и организовывать хранение данных в Apache Kafka (потоковая и пакетная);
- сопровождать системы ETL-окружения.
Мы ожидаем, что Вы:
- имеете опыт от 3 лет проектного опыта в области инженерии данных;
- имеете опыт разработки на Python или Scala, или Java;
- знаете архитектуру данных, особенности и проблемы реализации различных алгоритмов обработки данных;
- имеете опыт работы от 2 лет с Apache Spark, Apache Flink, Apache Airflow, Kafka Streaming, Java, Groovy;
- имеете опыт работы с распределёнными БД PostgreSQL, Oracle;
- понимаете архитектуру стека Apache Spark, Apache Flink, Apache Nifi, Apache Airflow, Apache Kafka.
Мы предлагаем:
- трудоустройство в аккредитованной IT-компании и возможность пользоваться соответствующими льготами:
1. льготная ипотека;
2. отсрочка от призыва на военную службу для военнообязанных. - медицинскую помощь сотрудников: ДМС (включая стоматологию), доплату по больничному листу (с 1 по 10 день – 100% до оклада, с 11 по 20 день – 50%);
- опции для родителей: материальную помощь за рождение ребёнка, доплату до 100% за отпуск по беременности и родам;
- корпоративную мобильную связь и скидки от наших партнёров.