Ведущий Data Engineer

Москва
Полный день
АО «Северсталь-инфоком»

Компания «Северсталь-инфоком» — это центр информационных и коммуникационных технологий крупнейшего горнодобывающего и сталелитейного холдинга «Северсталь». Кроме того, мы являемся аккредитованной Минцифры IT-компанией, что позволяет нашим сотрудникам пользоваться дополнительными льготами.

«Северсталь-инфоком» сегодня это:

  • 33 года опыта IT экспертизы;
  • 20 городов присутствия по России;
  • более 2200 сотрудников;
  • более 200 предоставляемых сервисов.

Мы ищем кандидатов, которые получают удовольствие от эффективной командной работы, которые не боятся новых технологий и готовы делиться своими идеями и навыками. Нам нравится, что использование наших решений не только эффективно, но и доставляет удовольствие пользователям. Мы не боимся амбициозных целей и верим, что каждое наше действие должно приносить результат.


Чем Вы будете заниматься:

  • разрабатывать архитектуру взаимодействия систем в платформе (экосистеме) обработки данных;
  • проектировать распределённые потоки данных в экосистеме Kafka (топики, партиции);
  • анализировать требования (взаимодействовать с архитекторами направлений, владельцами продуктов, функциональными командами смежных интегрируемых систем);
  • проектировать, разрабатывать и поддерживать ETL-процессы (Apache NiFi, Apache Airflow, Потоковые данные);
  • реализовывать алгоритмы преобразования данных;
  • интегрировать данные между внешними системами;
  • формировать и обрабатывать большие наборы данных, streaming данных (потоковых);
  • загружать данные из различных источников и организовывать хранение данных в Apache Kafka (потоковая и пакетная);
  • сопровождать системы ETL-окружения.

Мы ожидаем, что Вы:

  • имеете опыт от 3 лет проектного опыта в области инженерии данных;
  • имеете опыт разработки на Python или Scala, или Java;
  • знаете архитектуру данных, особенности и проблемы реализации различных алгоритмов обработки данных;
  • имеете опыт работы от 2 лет с Apache Spark, Apache Flink, Apache Airflow, Kafka Streaming, Java, Groovy;
  • имеете опыт работы с распределёнными БД PostgreSQL, Oracle;
  • понимаете архитектуру стека Apache Spark, Apache Flink, Apache Nifi, Apache Airflow, Apache Kafka.

Мы предлагаем:

  • трудоустройство в аккредитованной IT-компании и возможность пользоваться соответствующими льготами:

    1. льготная ипотека;

    2. отсрочка от призыва на военную службу для военнообязанных.
  • медицинскую помощь сотрудников: ДМС (включая стоматологию), доплату по больничному листу (с 1 по 10 день – 100% до оклада, с 11 по 20 день – 50%);
  • опции для родителей: материальную помощь за рождение ребёнка, доплату до 100% за отпуск по беременности и родам;
  • корпоративную мобильную связь и скидки от наших партнёров.