Обновить
16K+
4,72
Оценка работодателя
133,89
Рейтинг
200 346
Подписчики

Как стать инженером данных?

Порой учишь‑учишь что‑то, а прогресса все равно нет: без системного подхода и четкого учебного трека часто хватаешься за все подряд и в итоге не понимаешь, куда двигаться дальше.

Мы обо всем позаботились и собрали на Хабр Карьере курсы по ключевым инструментам, которые нужны, чтобы стать крутым специалистом.

Вот, например, минимальный набор инженера данных:

  • Metabase. Инструмент для визуализации данных и построения дашбордов.

  • Airflow. Платформа для автоматизации и оркестрации процессов.

  • Redis. Быстрое кэш‑хранилище.

  • Kafka. Система потоковой передачи данных.

  • Hadoop. Фреймворк для распределённого хранения и обработки больших данных.

  • Apache Spark. Инструмент для быстрой обработки больших объёмов данных.

Сменить профессию или вырасти на текущей должности

Теги:
Всего голосов 4: ↑4 и ↓0+6
Комментарии0

Я перестал пользоваться самыми умными ИИ‑моделями. Программировать стало быстрее и дешевле

В отпуске есть время подумать и исследовать. Я натолкнулся на несколько вещей и открытий для себя. Оказалось, что мне как программисту перестали быть нужны самые умные и дорогие ИИ‑модели. Оказывается, есть такой параметр «Cost per Task», и по этому параметру на первое место вырвалась модель GPT-5.6 Luna (max).

При этом, если вы пользуетесь Codex, она самая тупая в списке моделей. Artificial Analysis Intelligence Index у нее всего 38. Для сравнения, у самой умной GPT-6 Astra (max) этот индекс равен 53. В итоге цена выполненной Luna задачи составляет $0.18 против $3.26 у Astra. Разница почти в 20 раз.

Как я понимаю, бенчмарк «Cost per Task» высчитывается так: когда ставится нормальная, грамотно описанная задача, замеряется, сколько токенов было потрачено на ее выполнение. То есть не в формате «из ХЗ сделаю ТЗ», а в формате, когда в хорошо заданном вопросе уже содержится половина ответа.

Я сначала не поверил, что так и есть, и стал работать, используя самую тупую модель Luna в линейке. И знаете, какие меня ожидали результаты?

Я перестал пользоваться самыми умными ИИ‑моделями. Программировать стало быстрее и дешевле

Публикации

Информация

Сайт
habr.com
Дата регистрации
Дата основания
Численность
51–100 человек
Местоположение
Россия
Представитель
Алексей