Это точно проблема моделей. Разные ломаются по разному, но если вы хотите "кошкожену" с постоянной памятью - не получится. (я тут шучу, но там у них дефолтный персонаж пользователя - "Romanian catgirl")
В "агентах" что я пытался построить сам - крыша у AI едет так же быстро, если не быстрее.
У них инсталлер есть, по крайней мере для самого SillyTavern. Но не ожидайте многого, персонаж действует реалистично пока внезапно AI на ровном месте не ломается и не начинает пороть чушь или просто повторять по кругу уже сказанное. Обычно на 10-11 реплике в чате.
Ок, а как должен тогда выглядить пайплайн по вашему мнению?
В моих тестах AI не смог даже нормально DTO на основе примера json'а составить, следуя указанному стилю. То, что он писал не распарсило бы json-пример, а в ответ на указание ошибки он меня уверял, что всё в порядке и должно работать. Конкретно он автоматом snake_сase в camelCase конвертил. Чтобы это работало нужно было либо прописать имена полей вручную, либо передать параметр в парсер. О втором варианте я на тот момент не знал, AI мне о нём не рассказал, и более того, в коде-примере использования не передавал его сам.
И того, на DTO с AI убито 30 минут времени, вручную писать - 5-10.
Вот да, такой же опыт. Мы либо не те языки используем, либо стандарт качества у "вайбкодеров" слишком низкий. Во всех экспериментах быстрее было бы сделать самому.
Но да, вау-эффект рабочая программа написанная с первого раза вызывает (подумаешь, она трижды на одно и тоже событие одним и тем же методом подписалась...)
ИИ текст попадает в этакий uncanny valley для, но для текста. Он слишком... сложный и правильный при минимальной концентрации смысла, что ли? Из разряда "если в предложении могут присутствовать все части речи - я включу их все!". Ии не написал бы "предположу" или "Чутьё!" например. Он бы написал "Я могу предположить," и "Вот это чутьё!".
Впрочем понятия не имею как их можно купить, ссылка для примера. Linus Tech Tips ревьюили её, говорят, что они им за 4000$ досталась https://www.youtube.com/watch?v=HZgQp-WDebU
Учитывая, насколько скатился поиск Гугла - ни разу не удивлён. Давно перешёл на duckduckgo как основной поиск (bing тоже неплох для запросов связанных с программированием)
Проблема в ИИ состоит в том, что он крайне неточен. Он не понимает что важно, а что нет. И он врёт не заикаясь. В моих экспериментах (разных, от программирования до графомании) точность выполнения задач в среднем процентов 60. Причём результат варьируется от идеального до полного бреда замаскированного под хорошо написанным текстом (худший исход, имхо).
Могу предположить, что все эти сообщения были написаны от вашего имени? Если да, возможно люди просто стеснялись послать вас нафиг до того, как вы рассказали об ИИ, за то, что вы генерировали бессмысленную рабочую нагрузку.
Ещё люди ленивы, мы не начинаем давать tl;dr задачи если только не считаем что либо собеседник не прочитал задачу, либо считаем, что он её не понял. Собеседник может пойти и прочитать её сам, без испорченного телефона, в конце концов. И в результате пересказ тоже может быть принят как оскорбление, что автор думает что получатель сообщения - дурак.
В общем моё личное мнение, что автоматизированные системы должны быть отделены от личного общения. Выкиньте tl;dr перенесите на специальный аккаунт, ограничьте количество сообщений, сократите длину текста и сделайте его менее "человечным" (лучше даже совсем без ИИ) - и это всё может быть даже заработает. (впрочем вы пишете, что именно это вы и сделали в конце)
Я сделал примитивный скрипт на Python, который использует возможности DeepSeek, притворяется современным менеджером и «толкает» зависшие задачи в Jira
Я придерживаюсь того мнения, что использовать AI просто для генерации ответа на вопрос, когда ответ известен без ИИ - это неуважение к людям. ИИ нужен там, где что-то нужно "понять". В приведённом же примере достаточно было бы робота, который бы написал "критическая задача не закрыта в течении X дней, требуется обновление"
ИИ "отравляет" общение: вместо того, чтобы понять что это автоматизированное сообщение и проблема с высокой долей вероятности чисто техническая или уже обсуждённая - нужно вчитываться и тратить время и усилия на осознание написанного (а ИИ отличаются высоким количеством "воды" в тексте). В результате когда разработчику напишет настоящий человек с настоящей проблемой - разработчик проигнорирует его как шум.
А проверка родительского процесса хоть как-нибудь поможет? - ваше приложение всё равно запустится перед тем как закрыться при сканировании, попав в список вызовов - exec("start ./app.exe")
Оно вполне себе... ползало на Tesla P40 + RTX 4060Ti (пока с P40 проблемы не начались) llama 3 70b врёт не заикаясь, и с хотя с причинно-следственными связами у неё лучше, чем у llama 2, её ничего нельзя доверить. Даже "поменяй пожалуйста формат этих данных"
Насколько я помню, в Wayland не было какой-то фичи нужной драйверу nvidia для работы с переменной частотой обновления. В результате оно работало на Xorg, но не работало на Wayland.
Он в перманентном development hell. Там приложение не может свой значёк окна поменять или расставить свои окна как оно считает нужным. И они только полгода назад vsync на картах nvidia исправили.
Я тут должен добавить что Bryan Lunduke не разу ни является нейтральной стороной и у него есть свои при претензии к Red Hat. С другой стороны, он был единственным технологическим ютубером из тех что появляются у меня в рекомендациях, который рассказал о бане Российских мэйнтейнеров ядра Linux.
Это точно проблема моделей. Разные ломаются по разному, но если вы хотите "кошкожену" с постоянной памятью - не получится. (я тут шучу, но там у них дефолтный персонаж пользователя - "Romanian catgirl")
В "агентах" что я пытался построить сам - крыша у AI едет так же быстро, если не быстрее.
У них инсталлер есть, по крайней мере для самого SillyTavern. Но не ожидайте многого, персонаж действует реалистично пока внезапно AI на ровном месте не ломается и не начинает пороть чушь или просто повторять по кругу уже сказанное. Обычно на 10-11 реплике в чате.
Ок, а как должен тогда выглядить пайплайн по вашему мнению?
В моих тестах AI не смог даже нормально DTO на основе примера json'а составить, следуя указанному стилю. То, что он писал не распарсило бы json-пример, а в ответ на указание ошибки он меня уверял, что всё в порядке и должно работать. Конкретно он автоматом snake_сase в camelCase конвертил. Чтобы это работало нужно было либо прописать имена полей вручную, либо передать параметр в парсер. О втором варианте я на тот момент не знал, AI мне о нём не рассказал, и более того, в коде-примере использования не передавал его сам.
И того, на DTO с AI убито 30 минут времени, вручную писать - 5-10.
Простите, а что не так? Это нормальный подход к программированию.
Ну да, можно AI попросить описать архитектуру. Но результат это не изменит.
Вот да, такой же опыт. Мы либо не те языки используем, либо стандарт качества у "вайбкодеров" слишком низкий. Во всех экспериментах быстрее было бы сделать самому.
Но да, вау-эффект рабочая программа написанная с первого раза вызывает (подумаешь, она трижды на одно и тоже событие одним и тем же методом подписалась...)
ИИ текст попадает в этакий uncanny valley для, но для текста. Он слишком... сложный и правильный при минимальной концентрации смысла, что ли? Из разряда "если в предложении могут присутствовать все части речи - я включу их все!".
Ии не написал бы "предположу" или "Чутьё!" например. Он бы написал "Я могу предположить," и "Вот это чутьё!".
Я лишь скажу, что от вашего коммента тоже несёт ИИ, кроме самого последнего предложения.
Есть ещё вот это чудо китайской инжинерии:
Модифицированная RTX 4090 с 48GB памяти
https://aliexpress.ru/item/1005009316503411.html
Впрочем понятия не имею как их можно купить, ссылка для примера. Linus Tech Tips ревьюили её, говорят, что они им за 4000$ досталась
https://www.youtube.com/watch?v=HZgQp-WDebU
Учитывая, насколько скатился поиск Гугла - ни разу не удивлён. Давно перешёл на duckduckgo как основной поиск (bing тоже неплох для запросов связанных с программированием)
Pascal это ещё Tesla P40, которая когда-то была бюджетным решением для локального ИИ
Проблема в ИИ состоит в том, что он крайне неточен. Он не понимает что важно, а что нет. И он врёт не заикаясь. В моих экспериментах (разных, от программирования до графомании) точность выполнения задач в среднем процентов 60. Причём результат варьируется от идеального до полного бреда замаскированного под хорошо написанным текстом (худший исход, имхо).
Могу предположить, что все эти сообщения были написаны от вашего имени?
Если да, возможно люди просто стеснялись послать вас нафиг до того, как вы рассказали об ИИ, за то, что вы генерировали бессмысленную рабочую нагрузку.
Ещё люди ленивы, мы не начинаем давать tl;dr задачи если только не считаем что либо собеседник не прочитал задачу, либо считаем, что он её не понял. Собеседник может пойти и прочитать её сам, без испорченного телефона, в конце концов. И в результате пересказ тоже может быть принят как оскорбление, что автор думает что получатель сообщения - дурак.
В общем моё личное мнение, что автоматизированные системы должны быть отделены от личного общения. Выкиньте tl;dr перенесите на специальный аккаунт, ограничьте количество сообщений, сократите длину текста и сделайте его менее "человечным" (лучше даже совсем без ИИ) - и это всё может быть даже заработает. (впрочем вы пишете, что именно это вы и сделали в конце)
Я придерживаюсь того мнения, что использовать AI просто для генерации ответа на вопрос, когда ответ известен без ИИ - это неуважение к людям. ИИ нужен там, где что-то нужно "понять". В приведённом же примере достаточно было бы робота, который бы написал "критическая задача не закрыта в течении X дней, требуется обновление"
ИИ "отравляет" общение: вместо того, чтобы понять что это автоматизированное сообщение и проблема с высокой долей вероятности чисто техническая или уже обсуждённая - нужно вчитываться и тратить время и усилия на осознание написанного (а ИИ отличаются высоким количеством "воды" в тексте). В результате когда разработчику напишет настоящий человек с настоящей проблемой - разработчик проигнорирует его как шум.
(не та кнопка ответить)
Эффект как на картинке до ката я получил на локальной модели когда GGUF-файл был повреждён при скачивании
А проверка родительского процесса хоть как-нибудь поможет?
- ваше приложение всё равно запустится перед тем как закрыться при сканировании, попав в список вызовов
- exec("start ./app.exe")
Оно вполне себе... ползало на Tesla P40 + RTX 4060Ti (пока с P40 проблемы не начались)
llama 3 70b врёт не заикаясь, и с хотя с причинно-следственными связами у неё лучше, чем у llama 2, её ничего нельзя доверить. Даже "поменяй пожалуйста формат этих данных"
Ок, АИ таки хайп и пузырь который лопнет, Llama 3 70B совершенно непригодна ни для чего серьёзного, я её тут на локальном компе пинаю...
Насколько я помню, в Wayland не было какой-то фичи нужной драйверу nvidia для работы с переменной частотой обновления. В результате оно работало на Xorg, но не работало на Wayland.
Он в перманентном development hell. Там приложение не может свой значёк окна поменять или расставить свои окна как оно считает нужным. И они только полгода назад vsync на картах nvidia исправили.
https://www.youtube.com/watch?v=iwaaSatk0pIВот видео о релизе, которое вероятно в том числе стало причиной его блокировки
Я тут должен добавить что Bryan Lunduke не разу ни является нейтральной стороной и у него есть свои при претензии к Red Hat. С другой стороны, он был единственным технологическим ютубером из тех что появляются у меня в рекомендациях, который рассказал о бане Российских мэйнтейнеров ядра Linux.