Как стать автором
Обновить
106.11
X5 Tech
Всё о технологиях в ритейле

Собеседование на позицию Data Engineer в Х5: чего ждать и как лучше подготовиться

Время на прочтение 4 мин
Количество просмотров 14K

О направлении Data Engineering в X5

В X5 Group активно развивают цифровые продукты, построенные на основе  больших данных, использующие сложную аналитику и машинное обучение, такие как прогнозирование спроса, управление ассортиментной матрицей магазинов, предсказание отсутствия товаров на полках, динамическое ценообразования и т.п. 

Для разработки продуктов формируются автономные, кросс-функциональные команды, которые имеют минимум внешних зависимостей и могут двигаться вперед с максимальной скоростью. Одной из ключевых ролей в таких командах является роль Data Engineer, который помогает решать следующие задачи:

  • Разрабатывать быстрые и отказоустойчивые пайплайны обработки данных, выдерживающие жесткий SLA

  • Определять оптимальный способ хранения и обновления данных для конкретной задачи, начиная с выбора СУБД и заканчивая разработкой схемы данных, удовлетворяющей модели запросов конкретного приложения.

  • Разрабатывать интеграции с различными приложениями и сервисами через очереди сообщений и API

  • Подготавливать и развертывать необходимую инфраструктуру, системы мониторинга и логирования для задач по обработке данных

Используем мы следующий технологический стек:

  • DataLake на основе кластера Hadoop с 300+ нодами и 9Pb данных

  • EDW на GreenPlum с 20+ нодами и 180Tb данных

  • Кластер K8S для деплоя приложений и сервисов

  • Apache Spark для большинства расчетов и Apache Airflow для запуска пайплайнов по расписанию

  • PostgreSQL для типовых задач, Clickhouse - когда нужна аналитика на кончиках пальцев и Hive для различных ad-hoc запросов

  • Python, как основной рабочий язык программирования

Структура собеседования

Обычно собеседование состоит из двух этапов. На первом этапе оценивается технический уровень кандидата, обсуждаются его пожелания и устремления в части проектов, задач и т.п. По результатам первой встречи для кандидата определяется один или несколько проектов, которые лучше всего подходят к его техническому уровню и пожеланиям. После чего организуются встречи уже непосредственно с командами соответствующих проектов. Если на первом этапе основной акцент делается на техническое интервью, то на втором этапе чаще смотрим на софт-скилы и совместимость конкретной команды и кандидата, подробно обсуждаем задачи и планы конкретного проекта. В некоторых случаях на втором этапе также обсуждаются технические вопросы, если у проекта есть важная специфика или если результаты первого этапа были не очень убедительны. 

Наиболее интересно и легко собеседования проходят тогда, когда удается построить разговор опираясь на конкретные кейсы из опыта кандидата. Обычно просим рассказать про наиболее сложные задачи и проекты, про ситуации, когда возникали проблемы и то, как эти проблемы решались. Часто, углубляясь в детали таких кейсов удается избежать точечных вопросов на знание тех  или иных нюансов и при этом получить достаточно достоверную оценку уровня кандидата

Совет: заранее подготовьте для обсуждения пару-тройку кейсов из вашего опыта, которые наиболее релевантны вакансии и которые вы считаете наиболее сложными и интересными. Не стесняйтесь рассказывать про ваши фейлы и те уроки, которые из них извлекли - это очень ценный опыт.

В ходе интервью мы стараемся оценить кандидата по следующим направлениям:

  • Программирование на Python.

  • Распределенные системы и вычисления на Hadoop / Spark.

  • SQL и реляционные базы данных.

  • Прочее интересное: Docker, K8S, Airflow, NoSQL, Kafka,  e.t.c.

Далее подробно остановимся на первом пункте этого списка, и поговорим про программирование на Python, а остальные пункты будут раскрыты в последующих статьях.

Программирование на Python

Совет: если у вас есть код, который можно показать, обязательно залейте его на github и дайте ссылку в резюме.

Когда мы говорим про программирование на Python, то начинаем с того, что хотим понять насколько свободно вы владеете базовыми возможностями языка. Все более сложные темы стоит затрагивать только если кандидат в состоянии написать несколько строк кода и знаком с парой основных структур данных.

Для проверки этого навыка мы обычно просим кандидата решить простую, на наш взгляд задачу, где требуется написания лишь нескольких строк код. В качестве примера можно привести задачу реализации класса для эффективного вычисления скалярного произведения разреженных векторов.


class SparseVector:
    def __init__(self, nums: List[int]):
        pass

    def dotProduct(self, vec: 'SparseVector') -> int:
        pass

# nums1 = [1, 2, 0, 4]
# nums2 = [8, 0, 3, 5]
# v1 = SparseVector(nums1)
# v2 = SparseVector(nums2)
# ans = v1.dotProduct(v2)    # 1 * 8 + 2 * 0 + 0 * 3 + 4 * 5 = 28

 Дополнительно уточняем, что:

  • вектора имеют одинаковую длину;

  • вектора могут иметь очень большой размер, скажем миллион элементов, лишь ничтожная часть из которых отлична от нуля (разреженные вектора);

  • объясняем, что скалярное произведение - это сумма попарных произведений соответствующих элементов векторов и приводим примеры.

Мы ожидаем, что решение этой задачи в лоб не должно вызывать никаких проблем у кандидатов, которые свободно владеют базовыми возможностями Python

class SparseVector:
    def __init__(self, nums: List[int]):
        self.nums = nums

    def dotProduct(self, vec: 'SparseVector') -> int:
        return sum([x*y for x, y in zip(self.nums, vec.nums)])

 

При этом кандидат также способен предложить и реализовать более эффективное решение, учитывающее особенности обращения с разреженными векторами, например, с использованием словаря для хранения ненулевых элементов и их индексов

class SparseVector:
    def __init__(self, nums: List[int]):
        self.nums = {i: n for i, n in enumerate(nums) if n != 0}

    def dotProduct(self, vec: 'SparseVector') -> int:
        result = 0
        for i, n in self.nums.items():
            result += n * vec.nums.get(i, 0)
        return result

Совет: если вы продолжительное время не программировали на Python и данная задача вызывает у вас небольшой ступор, то определенно стоит потратить время, размять руки и освежить ваши навыки написания кода на Python. 

Если решение данной задачи не вызывает у кандидата особых проблем, то далее мы можем предложить:

  • поговорить про стандартные типы данных в Python и как они реализованы;

  • обсудить ваш опыт асинхронного программирования и провести ревью небольшого фрагмента кода;

  • решить чуть более сложную задачу, например сделать собственную реализацию функции zip;

  • и т.п.

Здесь уже речь идет не о том, что необходимо глубоко разбираться во всех этих темах, а о том, чтобы заработать дополнительные очки в ходе интервью, если ваш опыт программирования на Python распространяется дальше владения базовыми возможностями языка. 

Совет: если у вас есть опыт backend-разработки на Python (асинхронное программирование, микросервисы, работа с высоконагруженными приложениями и т.п.) то обязательно расскажите про это.  Мы считаем подобный опыт весьма ценным.

Продолжение следует. 

Теги:
Хабы:
+2
Комментарии 1
Комментарии Комментарии 1

Публикации

Информация

Сайт
www.x5.ru
Дата регистрации
Дата основания
2006
Численность
свыше 10 000 человек
Местоположение
Россия