Big Data Engineer

Чем предстоит заниматься:

• Участие в проектировании процессов хранения и процессинга данных (80% данных - логи, batch, stream), в проектировании архитектуры и сайзинга кластера (ожидаемый прирост сырых не сжатых данных около 1PB/год);
• Развертывание кластера (ключевые компоненты: HDFS, Impala, SPARK, Kafka, AirFlow, NiFi, ClickHouse);
• Настройка системы безопасности (Kerberos, LDAP, Apache Ranger);
• Настройка мониторинга и мониторинг работы кластера с точки зрения отказоустойчивости и производительности;
• Техническая поддержка работоспособности кластера (обновление, масштабирование, поддержание работоспособности).

Что ожидаем:

• Опыт работы от 3-х лет в области построения платформ больших данных;
• Релевантный опыт развертывания и поддержки кластера на базе vanilla Hadoop Stack (HDFS, YARN, ZooKeeper и т.д.) размером от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
• Практический опыт и умение развертывания и поддержки кластеров Kafka, AirFlow, HDFS, SPARK, Impala;
• Обязателен опыт керберизации кластера и интеграции с доменом AD (LDAP), настройки Apache Ranger;
• Понимание назначения и различий форматов хранения данных в HDFS (Parquet, Avro, ORC).

Будет значимым плюсом

• Опыт развертывания и поддержки PostgreSQL, GreenPlum;
• Опыт развертывания и поддержки Apache Superset;
• Ansible.

Будет весомым дополнением, но не обязателен

• Опыт развертывания и сопровождения NiFi, ClickHouse, ELK, Debezium;
• Опыт развертывания и сопровождения OpenMetadata или Apache Atlas;
• Опыт работы с любой enterprise-платформой для big data (Cloudera Data Platform, HPE Ezmeral Data Fabric, Splunk).

Что предлагаем:

• Наличие большого количества задач, которые дают возможность материального и профессионального роста; 
• Поездки на ИТ-конференции, митапы, учебные курсы за счет компании; 
• Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, увлеченные своим делом на 100%, к которым всегда можно обратиться;
• Международная компания с русскоговорящим составом; 
• Понятная система онбординга и задач на испытательный срок;
• Команду сотрудников-экспертов, баланс неформального и делового общения внутри;
• Культура открытости, честности и поддержки;
• Оплачиваемый лист нетрудоспособности (больничный лист) и отпускные; 
• Помощь в релокации (виза, перелет и жилье на первое время); 
• Частичная компенсация английского языка;
• Компенсация спортзала; 
• Оплачиваемый отпуск и больничный; 
• Корпоративные завтраки и обеды.