Локальные модели без магии: лекция Саши Андреева, пт 6.11

С декабря ChatGPT начнёт есть токены из той же подписки, что и Codex, а RTX 3090 за полтора года подорожала вдвое. Все яйца в одной корзине, и корзина начинает диктовать условия.

Поэтому в пятницу Саша Андреев, технический директор на аутсорсе, расскажет про локальные модели. Он сам гоняет их на 3090. Объяснять будет так, чтобы понял даже я.

Что разберём:

  • когда локальная модель реально нужна, а когда проще купить подписку;

  • железо: Mac Studio против сборки из видеокарт;

  • параметры, кванты и почему бенчмарк не заменит ваши задачи;

  • контекст и обвязку: сколько съедает агент и что влезает в 12 ГБ;

  • связку Codex + локалка, которая пишет код всю ночь.

Только инференс, без обучения.

Пятница, 6 ноября, 16:00 МСК (18:00 Екб). Zoom, без регистрации: https://us06web.zoom.us/j/89359124198?pwd=VIbz3cFFSdo0xnPGPrZmZVoIcXLeyn.1

Больше про AI-агентов и разработку — в моём телеграм-канале