Comments 20
Эта фирма никогда не будет топить за локальный ИИ, они же продают доступ к нелокальным. С другой стороны, за 250 млн можно такой локальный ИИ поднять, что и облачный за пояс заткнет.
Можно поподробнее? К примеру, есть у меня 250 лямов баксов. И мне не нужно обрабатывать миллиарды запросов пользователей в секунду, нет. Я просто хочу запустить "адвоката" локально. Ну купил я два вагона оборудования, подключил, поставил Ubuntu, самые последние драйверы NVIDIA и прочие CUDA Toolkit с vLLM.
Где модель-то взять, чтоб на всем этом оборудовании запустить? Я, чай, не Apple, мне Google свою Gemini не даст, чтоб я вместо Siri на своем оборудовании мог запустить. А MiniMax, Qwen, GLM и прочие Kimi K2.6, какими бы большими они ни были (полтора терабайта BF16-весов аж) до всех этих Опусов, Gemini и ChatGPT не дотягивают.
Да, недотягивают 10-15%. Лечится более точными промптами.
И вот на такое допиливание уходит довольно много времени. Вот пример из жизни, прямо сейчас этим занимаюсь:
- Есть папка с исходниками.
- Есть файл с описанием coding standards, типа "названия переменных должны быть с маленькой буквы", "все параметры функций должны быть const / final" и т.п.
Хочется дать нейронке этот файл, натравить ее на папку и уйти спать, а проснувшись увидеть, что все исправлено. Уже второй день бьюсь с Qwen 3.5, Qwen 3.6, MiniMax 2.7, GLM 5.1, Kimi K 2.6 и прочими NVIDIA Nemotron 3 Super, пытаясь:
заставить обрабатывать каждый файл по отдельности (она все норовит "ой, файлов очень много, запущу-ка я grep, чтоб отфиьтровал ненужное", после чего пишет grep с неправильной регуляркой, он ничего не находит, и нейронка радостно рапортует "все сделано").
не уходить в сторону, пытаясь поправить то, что ее не просили ("ой, а у вас
ус отклеилсяопечатка в комментарии, вот, я его поправила, правда пока правила, забыла, что надо названия переменных проверять").не врать прям так нагло "в объявлении функции doSomething(String url) у всех трех аргументов есть модификатор final".
не останавливаться на полпути ни с того ни с сего, заканчивая обработку с сообщениями вида "Perfect! I processed all 3 files out 47, task complete!".
не выдавать пустые ответы, из-за чего та штуковина, которой запускаю нейронку, падает с ошибками вроде "ACP server returned invalid response".
не действовать как портной в том анекдоте: "— Вы зачем мне третий рукав-то пришили?! Я ж вас дырку в подкладке просил зашить! — Ой, а что ж вы сразу-то не сказали?"
В результате приходится сочинять (с помощью той же самой нейронки) вместо "вот файл с правилами, вот папка с исходниками, проверь и исправь где надо" подробнейший prompt, фактически программируя в Markdown, как когда-то в школе на первых уроках информатики составляли словесное описание алгоритма "как на лифте спуститься с 8 этажа шестнадцатиэтажки и выйти на улицу". И перебирать ворох всяких xxx-code-yyy-программ и расширений к Visual Studio Code (половина которых написана маководами и не работают на Windows, спотыкаясь в слешах в пути).
В статье не сказано почему вдруг решили, что надо искать логи ChatGPT.
Пообщался с дипсиком на эту тему и он утверждает, что в статье ложь и OpenAI не передавал логов, а в суде была запрошена переписка и цитаты гопоты были именно в переписке и именно из цитат из имейлов был сделан вывод о плане. Но это тоже ответ ИИ конечно:
"Если логи удалены, откуда в решении суда появились фразы вроде “теперь ChatGPT начинает отвечать, что отменить earn-out будет сложно”?
Их предоставила сама Krafton в ходе того же самого процесса discovery. Дело в том, что Ким пересылал эти ответы ChatGPT коллегам по электронной почте и в Slack, обсуждая их с руководителем корпоративного развития Марией Пак . Эти письма и сообщения никто не удалял. Они хранились на корпоративных серверах и были переданы суду как часть других документов ."
все слышали про LLM-психоз... Но это уже что-то совсем другого уровня... Даже не знаю, какой диагноз тут лучше подобрать... LLM-идиотизм?
Это просто идиотизм. И вишенкой на торте является тут то, что "сильные мира сего" (богатые могут себя ими считать) обожают лесть, и было это во все времена существования человечества. Чат бот тоже обучен соглашаться и хвалить пользователя, вот и встретились два дурака, результат немного предсказуем. И то ИИ пытался отговорить кожаного...
это тот случай, когда человек ввел ЛЛМ в состояние психоза...
Шершавые Кабаны продолжают своё победное шествие по некокрепшим умам.
да, морали нигде уже нет, это вы точно подметили
если есть вайб-кодеры, почему бы не быть вайб-юристам?
Очень интересная статья, на знал что такие там творятся грязные делишки в кулуарах, хоть и очень жду вторую subnautica как и breathedge 2. Только вот "Стохастический попугай", а не "статистический попугай"
Как слить 250 миллионов долларов с помощью ChatGPT: мастер-класс от главы Krafton