Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML.

Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть.

При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант.

Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно?

Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.

Все началось с того, что управляющая компания в нашем поселке обанкротилась. Работать она перестала, и инфраструктура постепенно начала приходить в запустение — въездную группу вместе со шлагбаумами продали на торгах, мусор перестали вывозить, фонари постепенно начали выходить из строя и по ночам улицы погружались в темноту. Соседи собрались, провели общее собрание и основали ТСН — товарищество собственников недвижимости. С этого момента мы оказались в ситуации, когда управлять поселком нужно самостоятельно, а многие вещи приходится осваивать с нуля.

Зимой клубника в Великобритании долгое время была почти экзотикой. Полки супермаркетов заполнялись импортом из Северной Африки и Ближнего Востока по заоблачным ценам. Для большинства руководителей это просто рыночный факт. Для Джеймса Дайсона — задача, которую можно решить инженерно. Рассказываем, как у производителя пылесосов появился один из самых необычных агропроектов в Европе: ферма, где клубнику выращивают в подвесных конструкциях, собирают с применением роботов и сохраняют в идеальных условиях с помощью собственной энергетики.

Предисловие

Уточнение