Big Data Engineer
22 сентября 2023
Большие данные никогда не станут еще больше без крутого Big Data Engineer. Не настаиваем, но если ты ими займешься, одна компания на рынке станет намного успешнее.
Чем предстоит заниматься:
- Участие в проектировании процессов хранения и процессинга данных (80% данных - логи, batch, stream), в проектировании архитектуры и сайзинга кластера (ожидаемый прирост сырых не сжатых данных около 1PB/год);
- Развертывание кластера (ключевые компоненты: HDFS, Impala, SPARK, Kafka, AirFlow, NiFi, ClickHouse);
- Настройка системы безопасности (Kerberos, LDAP, Apache Ranger);
- Настройка мониторинга и мониторинг работы кластера с точки зрения отказоустойчивости и производительности;
- Техническая поддержка работоспособности кластера (обновление, масштабирование, поддержание работоспособности).
Что ожидаем:
- Опыт работы от 3-х лет в области построения платформ больших данных;
- Релевантный опыт развертывания и поддержки кластера на базе vanilla Hadoop Stack (HDFS, YARN, ZooKeeper и т.д.) размером от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
- Практический опыт и умение развертывания и поддержки кластеров Kafka, AirFlow, HDFS, SPARK, Impala;
- Обязателен опыт керберизации кластера и интеграции с доменом AD (LDAP), настройки Apache Ranger;
- Понимание назначения и различий форматов хранения данных в HDFS (Parquet, Avro, ORC);
- Будет значимым плюсом;
- Опыт развертывания и поддержки PostgreSQL, GreenPlum;
- Опыт развертывания и поддержки Apache Superset o Ansible;
- Будет весомым дополнением, но не обязателен;
- Опыт развертывания и сопровождения NiFi, ClickHouse, ELK, Debezium;
- Опыт развертывания и сопровождения OpenMetadata или Apache Atlas;
- Опыт работы с любой enterprise-платформой для big data (Cloudera Data Platform, HPE Ezmeral Data Fabric, Splunk).
Что предлагаем:
- Белая заработная плата, которая зависит от пожеланий, скиллов и опыта;
- Возможность релокации на Кипр. Помощь с релокацией, оформление рабочей визы, поиск и компенсация жилья в пределах оговоренной суммы, а также помощь в оформлении документов для членов семьи. Оплачиваемый отпуск 28 календарных дней;
- Гибкое начало рабочего дня;
- Русскоязычная команда;
- Отсутствие бюрократии, вопросы решаются оперативно, без многочисленных согласований:
- Корпоративные завтраки и обеды;
- Предоставление техники;
- Частичная компенсация английского языка.
- Наличие большого количества задач, которые дают возможность материального и профессионального роста;
- Поездки на ИТ-конференции, митапы, учебные курсы за счет компании.
- Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, увлеченные своим делом на 100%, к которым всегда можно обратиться.
Заинтересовала вакансия? Оставьте свой отклик