Как я поднял сервис через LLM, ничего не настраивая, и стал не архитектором сетей, а параноиком

[SlavikF]

Так что сказать то хотели?

[Spyman]

«Не знаю языка, не написал ни строчки кода, я архитектор» — всё чаще попадаются такие статьи. Даже на Хабре в комментариях встречаются люди, которые недоумевают, за что такие статьи огребают минусы. Хочу рассказать на примере своего опыта, в чем неправ вайбкодер, делающий такие выводы.

Специально для вас написал первый параграф) и вот этот

Я решительно не понимаю, как люди, которые пишут статьи о том, что они сделали продукт на 20 тысяч строк Python‑кода, не зная Python, дорабатывают этот продукт, и их при этом не трясёт от ужаса. Как можно брать деньги или, что ещё хуже, призывать брать деньги за что‑то, что может взорваться из‑за того, что голубь рядом чихнул неправильно?

[K0Jlya9]

Это звучит как яхз что было, яхз что стало, нахера я это написал.

[Spyman]

Я написал это чтобы показать какой на самом деле будет результат при полном написании чего-либо через llm без знаний в области.

Будет продукт зомби, который визуально есть, но на деле сломан массой изощрённых способов и имеет надёжность карточного домика, но написавший не имеет возможности об этом даже узнать.

В противовес восторженным но ошибочным статьям людей, которые пишут что ничего не знают про язык, но теперь они архитекторы и llm мастера, и им ничего другого знать не надо.

[K0Jlya9]

Но ты не написал реальную задачу которую можно посидеть и порешать, мы ничего не видим кроме пустых слов ниочем. Это раздражает даже больше чем нейробред.

[Spyman]

Меня больше раздражают комментаторы, которые не умеют читать.

Нужно сделать машину, которая подключается к трем vpn сетям на разных технологиям (wg, vless, openvpn) и представляет единую точку входа с доступом в любую из сетей (как gateway), а так-же веб сервер с дашбордом, который через каждую проверяет доступность определённых серверов.

Тоже самое в статье уже написано только другими словами.

Из дополнительных требований про которые в статье я не писал потому что это вообще не важно - две сети должны друг друга видеть, третья должна быть тупиковой, в двух сетях которые должны друг друга видеть изначально разные подсети так что адресация без конфликтов, есть несуществующая доменная зона .spx, нужно чтобы на машине которая подключена ко всем сетям стоял dns сервер, который запрашивает через один из тунелей резолв для этой зоны, но для других отдавал данных с обычного днс оператора. Есть ещё набор правил статической адресации. Трафик не относящийся ни к одной из сетей должен идти напрямую в wan. И ещё наверняка я что-то забыл описать.

Что - как-то изменилось от этого суть статьи или выводы или что? Или вы думали тут hello world, вы сейчас его навайбкодите у себя, придёте и скажете что одним промптом все решили? - ну так тут реальный уникальный пользовательский сценарий, для него тестовое окружение только поднимать задолбаешься.

[1VK]

не обращайте внимания на этого комментатора. Все Вы правильно пишите, и выводы делаете верные. Если без опыта работы дать задание AI написать приложение с нуля, то получится зомби проект. Но AI используется для других случаев: 1) человек с опытом раздает задачи агентам и просто проверяет результаты их работы; 2) новичок пытается разобраться в чем-то и LLM выступает в роли всезнающего наставника

[K0Jlya9]

Какая задача была? Как решилась?

[Spyman]

О решаемой задаче: исторически сложилось, что у меня есть три разные VPN‑сети, все внутри страны, на разных технологиях, для подключения к разным локациям и собственным сервисам. Мне хотелось как‑нибудь получить единую точку отказа/взлома входа с висящим на ней демоном мониторинга, который будет стучаться в разные сети и собирать информацию о работе сервисов.

К чему в итоге всё пришло. С одной стороны, у меня сейчас как будто есть работающий сервис, решающий поставленную задачу, сделанный непрофильным специалистом в слепую, без «единого ручного вызова скрипта» (это не совсем правда: настройки, которые отвечают за доступность локальной сети, я всё же всегда внимательно проверял, сверяясь с документацией, потому что настраивать headless‑сервер, таща к нему монитор, не весело).

С другой стороны, это сервис‑зомби. Я не знаю, как он работает. Никто другой тоже не знает, как он работает. И, что ещё страшнее, я даже не знаю, работает ли он на самом деле. Есть панель мониторинга, написанная по приколу, и она периодически показывает, что какой‑то из ресурсов недоступен. Но я не знаю, правда ли он недоступен, или это конкретно на этой машине сломался доступ, или сейчас происходит скрытый reapply правил, из‑за чего он недоступен.

[Cib0rg]

Вайб-читатели отметились.

В целом полностью разделяю подход, сейчас ваяю себе приложение, и из таких же параноидальных соображений выбрал знакомый стек. Пока даже пришлось пару раз лезть в код. Чувства полёта и лёгкости вкупе с "не так чихнуло" подтверждаю)

[Ilyuha888]

Ощущение, что другие комментаторы - боты, которые не читали материал...

А материал кайфовый и очень передаёт ощущение, которое и я иногда испытывают в работе (особенно, когда доходит до деплоя даже какого-то MVP)

Я реально не понимаю, как фулл-вайбкодер может спокойно спать, не понимая как работает то, за что он должен нести ответственность...

[Antra]

Спасибо за статью! Все так :)

Да, надо понимать. Cплошь и рядом "да, я сделал workaround, сейчас починю нормально, как вы просите". Глаз да глаз нужен. Но при этом все равно намного быстрее, чем руками.

Единственное - если выкинуть "LLM" и заменить на обычного сисадмина, не сильно много чего изменится.

Умер блок питания, перенос на другую машину с другими интерфейсами. Думаете, если бы человек изначально настраивал, все без проблем перенеслось бы на новую машину с другим интерфейсами? Даже если в энтерпрайзе этот же самый человек делал бы "нормально", потому что потом проверки и т.п., сомневаюсь, что при развертывании "для себя" он бы заморачивался с вариабельными именами интерфейсов для развертывания на совсем разных машинах.

Электричество пропало, потом не поднялось - да сплошь и рядом, если такие сценарии явно не тестировались. Даже в энтерпрайзе :(

Тут скорее если человек более-менее знает, как это настраивать, набил шишек, он сразу в промпте пропишет что предусмотреть, и результат получит близкий к собственноручному. Хороший промпт - хороший результат.

Если представляет, но шишек не набил - в промте добавит "предусмотри какие проблемы могут возникуть" (но если бы сам делал, так же вляпался бы).

Ну а если "совсем не в теме" - да, результат будет посредственный. Но всяко лучше, чем если бы тупо вбивал команды надерганные из непойми откуда.

[Spyman]

Я уверен, что с нормальным сисадмином минимум в половину меньше проблем было бы. В какой то момент становится заметно, что llm лютейше начинает костылить (reapply настроек скриптом раз в минуту, прописывание конкретных маршрутов вручную вместо широкого правила), и вот куча проблем из-за этого, сисадмин сразу поймет что это не то исправление, которое решит проблему.

Тут как бы классика работы с нейронками - я не зная специфику - могу задать только задачу вида "вот это не работает", а нейронка не будучи осознанной - узко решить только эту проблему, хотя на деле это симптом.

Но основное все-же то, что сисадмин в случае проблемы с куда более высокой долей с вероятности решит её не приведя к деградации системы.

[Antra]

Я имел в виду, что нейронка просто помогает, дает буст к имеющимся скиллам.

Хорший сисадмин с ней получает резульаты "отличного" (но не лучшего в мире). Слабый сисадмин получит результаты "хорошего". Вообще не сисадмин получит результаты "начинающего сисадмина". Намного лучше, чем "сам", но никак не супер-гуру.

Тут как бы классика работы с нейронками - я не зная специфику - могу задать только задачу вида "вот это не работает", а нейронка не будучи осознанной - узко решить только эту проблему, хотя на деле это симптом.

"классика" - да. "работы с нейронками" - нет :)

Приходишь к врачу - в подавляющем большинство случаев смотрят/лечат симпмтом. "Докторов Хаусов" на всех не напасешься. Даже по ДМС надо очень внято и настойчиво объяснять, какие стандартные варианты уже испробованы и отсеяны.

А взять строительство какое-нибудь... IMHO в любой области если хоть немного разбираешься, результаты будут лучше. Если хорошо разбираешься - еще лучше.

[Spyman]

Вам не повезло натыкаться на плохих специалистов коих реально немало(

Но в противовес пример из жизни - пол года назад заказывал шкаф у хороших мебельщиков, дал сгенерированный картинки нейронкой и словами описал чегт хочу - и мне вполне себе нарисовали и сделали не то, что я описал, а именно то, что было нужно) заменив штанги для вещей на крючки там, где ширины будет мало, нужную фурнитуру там где выбранная не пойдет, материалы (на более дешёвые кстати) и прочие мелочи)

И за всю жизнь были ещё примеры работы с профессионалами, с которыми тоже было именно так.

Так что тут да - если работаешь с плохими специалистами, нужно разбираться в теме самому, а вот если хорошими, то вовсе не обязательно. Нейросеть тут скорее на уровне плохого спеца (но все равно не совсем, как-то специфично)