Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

[rsashka]

Человеческая: если вы вылезали из такой же ловушки — расскажите, что сработало.

Делать не то, что хочется или лучше всего получатся, а то, что реально нужно :-)

[sguliaev]

Дело за малым — понять, что именно нужно людям, а не что мне интересно построить)) А вам что помогло это выяснить на практике?

[rsashka]

У меня примерно такая же лабуда (24VRAM, 2x32 Core CPU, 256RAM и 1TB RAID0 на 4 ssd). Собрал пару-тройку лет назад, но так и продолжаю пользоваться провайдерами, т.к. работает быстрее, по суммарным затратам выходит дешевле (ненужно тратить время на поддержку хозяйства, его оптимизацию и ремонт) и постоянно ловить проблемы из-за нехватки размера контекста и долгого ожидания ответов при неспешной генерации на локальных моделях.

Тогда как основная проблема при работе с LLM, это не генерация и даже не оркестрация парка агентов, а контроль качества выдаваемого ими результата. Для обычного вайбкодинга пойдет любое решение, а вот для реальной работы нужно смотреть итоговый код.

[Yatta]

Если клиентов нет, то стоило ли оно всё?

У меня дома игровой пк, и на нём же гоняю модели для себя. Если надо где-то "с улицы загуглить" то использую обычные бесплатные коммерческие. Из всех настроек только LMstudio + opencode. Хватает вполне с головой, все мои задачи закрывает (я не профи прогер, просто хоби). Вот зачем бы мне городить такое - даже не придумаю, лучше там вечно пилить умный дом например, от которого польза сразу видна будет.

[sguliaev]

Последние полтора года довольно часто задавал себе этот вопрос. Первые полгода его вообще не было: дети пользовались, им помогало — и этого было достаточно для счастья)

Но чем больше я вкладывался в проект — и творчески, и технически, — тем больше хотелось внимания к нему. При этом всегда что-то останавливало от того, чтобы взять и рассказать: «Ещё вот это доделаю», «Ой, а вот это нужно переделать». Так и затянул с выходом к людям — собственно, об этой ловушке и написал.

Если оглянуться назад — для меня определённо стоило. Получится ли из этого бизнес, ещё предстоит проверить. Но даже если платформа не взлетит, накопленный опыт останется со мной и уже помогает в основной работе. А детям удобно пользоваться уже сейчас — та самая первоначальная польза никуда не делась))

[klerik]

Просто огонь!

[showmelove]

Стив Джобс и Стив Возняк, один делал, другой продавал, найдите себе того кто будет продавать. К сожалению, что-то сделать это всегда пол беды, а парой бывает даже самая "легкая" часть проблемы любого бизнеса. Я тоже с этим столкнулся, на своем SaaS по автоматизации маркетинга в соц. сетях. Без отдельных продавьцов у меня ничего не продавалось. Но, мой проект правда погубило не это, а то что поддерживать тот объем людей при котором это все бы окупалось - стало не реальным. По этому следующая стадия "ада" после продаж, это - масштабирование ...

[sguliaev]

Спасибо, что поделились своим опытом! Про масштабирование тоже думаю, хотя пока доказано только то, что система выдерживает троих)))

Часть тяжёлых вычислений у внешних провайдеров, часть — локально. Но насколько вся конструкция выдержит рост и во что обойдётся обслуживание пользователей, ещё предстоит проверить.

А у вас что оказалось главным ограничением — техническая нагрузка или поддержка клиентов, внедрения и доработки? Правильно понимаю, что для окупаемости требовалось столько клиентов, сколько уже не получалось обслуживать имеющимися силами?