Big Data Engineer
22 сентября 2023Чем предстоит заниматься:
- Участие в проектировании процессов хранения и процессинга данных (80% данных - логи, batch, stream), в проектировании архитектуры и сайзинга кластера (ожидаемый прирост сырых не сжатых данных около 1PB/год);
- Развертывание кластера (ключевые компоненты: HDFS, Impala, SPARK, Kafka, AirFlow, NiFi, ClickHouse);
- Настройка системы безопасности (Kerberos, LDAP, Apache Ranger);
- Настройка мониторинга и мониторинг работы кластера с точки зрения отказоустойчивости и производительности;
- Техническая поддержка работоспособности кластера (обновление, масштабирование, поддержание работоспособности).
Что ожидаем:
- Опыт работы от 3-х лет в области построения платформ больших данных;
- Релевантный опыт развертывания и поддержки кластера на базе vanilla Hadoop Stack (HDFS, YARN, ZooKeeper и т.д.) размером от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
- Практический опыт и умение развертывания и поддержки кластеров Kafka, AirFlow, HDFS, SPARK, Impala;
- Обязателен опыт керберизации кластера и интеграции с доменом AD (LDAP), настройки Apache Ranger;
- Понимание назначения и различий форматов хранения данных в HDFS (Parquet, Avro, ORC);
- Будет значимым плюсом;
- Опыт развертывания и поддержки PostgreSQL, GreenPlum;
- Опыт развертывания и поддержки Apache Superset o Ansible;
- Будет весомым дополнением, но не обязателен;
- Опыт развертывания и сопровождения NiFi, ClickHouse, ELK, Debezium;
- Опыт развертывания и сопровождения OpenMetadata или Apache Atlas;
- Опыт работы с любой enterprise-платформой для big data (Cloudera Data Platform, HPE Ezmeral Data Fabric, Splunk).
Что предлагаем:
- Белая заработная плата, которая зависит от пожеланий, скиллов и опыта;
- Возможность релокации на Кипр. Помощь с релокацией, оформление рабочей визы, поиск и компенсация жилья в пределах оговоренной суммы, а также помощь в оформлении документов для членов семьи. Оплачиваемый отпуск 28 календарных дней;
- Гибкое начало рабочего дня;
- Русскоязычная команда;
- Отсутствие бюрократии, вопросы решаются оперативно, без многочисленных согласований:
- Корпоративные завтраки и обеды;
- Предоставление техники;
- Частичная компенсация английского языка.
- Наличие большого количества задач, которые дают возможность материального и профессионального роста;
- Поездки на ИТ-конференции, митапы, учебные курсы за счет компании.
- Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, увлеченные своим делом на 100%, к которым всегда можно обратиться.
Заинтересовала вакансия? Оставьте свой отклик