Если вы до сих пор считаете, что positional encoding в трансформерах — это знаменитые sin/cos из статьи 2017 года, то боюсь, что собеседование для вас закончится автоматическим реджектом.

Позиционное кодирование заметно эволюционировало с момента появления оригинальной статьи о трансформерах. В современных LLM и моделях компьютерного зрения, таких как FLUX, уже давно не используется классическое sin/cos-кодирование.

Machine Learning и Data Science — это одни из самых популярных и востребованных направлений в IT. Но вместе с этим — они и одни из самых сложных для входа. Здесь огромное количество тем, инструментов, библиотек, подходов и постоянно появляющихся технологий.

Из-за этого многие новички начинают обучение с энтузиазмом, но через пару месяцев теряют интерес. Причины могут быть разные: слишком много теории, мало практики, нет чёткого плана или понимания, зачем вообще всё это нужно.

Эта статья — не очередной «гайд по ML для новичков». Это мой личный взгляд на то, как бы я подошёл к обучению, если бы начинал с нуля уже сегодня, учитывая свой опыт работы в крупных компаниях, проваленные проекты, ошибки и победы.

Провел небольшой ресерч как быстро хакнуть детекторы плагиата / детекторы текста написанного ChatGPT/LLM. Если вкратце, то 100% рабочего варианта нет, существует масса различных сервисов, которые под собой использую нейросетки обученные классифицировать текст на степень его "человечности"

Освечу базовые концепты из области генерации видео, в этой части разберем уже более современные модели 2025 года, и парочку моделей, с которых все начиналось. Все кратко и четко, только самое основное.

Посмотрим на устройство современных топовых SOTA моделей для генерации видео: Wan2.1, Hunyuan video, недавно вышедший подход к облегчению вычислетильных требования FramePack.

Прохождение собеседований всё больше напоминает «Голодные игры». Не буду тут подробно затрагивать тему накрутки опыта и обхода HR-фильтров — на рынке де-факто сложилась ситуация, при которой массовая накрутка опыта стала нормой. Это вынуждает всех делать то же самое, иначе ваше резюме с нулём лет стажа просто не пройдёт отбор: его не увидят из-за фильтров и конкуренции с сотнями таких же анкет.

Разберу кратко основные подходы к генерации видео и историю их развития. Начнём с AnimateDiff — подхода, который позволяет превратить любой генератор изображений на основе Stable Diffusion в генератор видео. Будет интересно специалистам в ML и Computer Vision, а также всем, кто интересуется нейросетями и искусственным интеллектом.

Вопросы о CLIP-моделях встречаются почти на каждом техническом собеседовании.
Неважно, занимаетесь ли вы видеоаналитикой, создаёте генеративные модели или работаете над поиском по изображениям — CLIP и его потомки (BLIP , SigLIP ) стали стандартом де-факто в задачах связи визуальных и текстовых данных. Почему? Потому что они позволяют решать задачи, которые ранее требовали значительных усилий

К сожалению или счастью, был я и там, и там:‑) Поэтому ловите внутрянку, как на самом деле выглядит работа линейного ML‑щика/Дата саентиста. Стоит ли оно того, что происходит внутри и почему я все‑таки ушел из обеих компаний. (кормили прост невкусно)

Еще студентом я стремился в бигтех: именно там самые сильные специалисты, лучшие условия труда и перспективы. Ну, по большей части так и было — ничего не умеющего доходягу там редко встретишь (хотя в одной из двух этих компаний раз на раз проскакивает — не будем показывать пальцем🤫).