Здравствуйте! А какую модель использовали? Система работает как вопрос-ответ-обнуление или память в рамках диалога есть? Сколько в среднем занимает контекст при одном вопросе-ответе?
Пару недель собрал ПК с 5070 Ti, 7700, 64DDR5. Вообщем жаба душит что переплатил по сравнению с летними ценниками. Но теперь уже отпустило, на фоне все новых и новых новостей. Кто собрал ПК - берегите его, оберегайте, сдувайте пылинки. То ли еще будет
3b, 3-7t/s... А зачем? Эмбеддеры нормальные больше параметров имеют, а тут языковая на 3, которая даже json просто оформить не может. Ну запустить можно, а какой смысл ? Какую задачу она решит? Баги править? В обратную сторону разве что...
Что там еще "полезного" могут предложить... Ну будут через ИИ искать решения, через Perpexlity, в крайнем случае Алиса или локальные модели, хотя последние два варианта будут давать ответы сомнительного качества. Хотя если всех этих "предлогаторов" в правительстве заменить самыми дубовыми ЛЛМ 2022 года, с тремя параметрами(не миллиардов) качество работы "предлогаторов" не пострадает, а экономия явно станет заметно выше.
Только вчера собрал на авито корзину комплектующих для ПК, перешел в к оплате и блокировка... Заказывал не первый раз, довольно популярные магазины с тысячей отзывов 5*. Отличные алгоритмы, спасибо Сбербанк 🤝 главное чтобы потом красиво отчитались о 10 миллионах предотвращения мошенничества.
На самом деле в таких статьях часто можно найти действительно полезный опыт. Не все умеют вручную писать RAG пайплайны и часто это делается полностью вайбкодингом через крупные модели, которые на вопрос "какой эмбеддер посоветуешь для русского языка, из самых крупных и продвинутых", советует bge-m3 или multilingual-v... и ты с чистой душой его вставляешь в RAG. Потом удивляешь плохим результатам и пытаешься понять в чем проблема. На своем опыте убедился что бенчмарки и тем-более советы ИИ совсем не последняя инстанция. Спасибо, Дмитрий! Я вот тоже уже не первый месяц прохожу этот путь и пытаюсь настроить пайплайн для техпода, не имея опыта в этом 😁 начиналось с простого, - запихнуть все в контекстное окно и ждать ответа, потом уровень выше - встроенные RAG инструменты в UI обёртки для LLM, потом следующий уровень, - собрать все документы разных форматов в одну кучу, начанковать 1000/200 и по лексике топ=10 пихать в ИИ. Получилось прям ужасно... Месяцы этого занятия, чтения хабра и таких статей и уже docking+чанкование через ИИ+гибридный поиск с метаданными и уже приносит пользу. Так что пишите, это важно, для новеньких и особенно для не профильных ИИ-шников.
Здравствуйте! А какую модель использовали? Система работает как вопрос-ответ-обнуление или память в рамках диалога есть? Сколько в среднем занимает контекст при одном вопросе-ответе?
Пару недель собрал ПК с 5070 Ti, 7700, 64DDR5. Вообщем жаба душит что переплатил по сравнению с летними ценниками. Но теперь уже отпустило, на фоне все новых и новых новостей. Кто собрал ПК - берегите его, оберегайте, сдувайте пылинки. То ли еще будет
3b, 3-7t/s... А зачем? Эмбеддеры нормальные больше параметров имеют, а тут языковая на 3, которая даже json просто оформить не может. Ну запустить можно, а какой смысл ? Какую задачу она решит? Баги править? В обратную сторону разве что...
GigaChat 2 Max = 650р 1млн токенов
DeepSeek-V3.2 = 28-42р за 1млн токенов вход/выход. + У дипсика есть кеширование, цена еще смешнее получается.
Какие причины переплачивать за гигачад, если не брать требование гос. сектора?
Что там еще "полезного" могут предложить... Ну будут через ИИ искать решения, через Perpexlity, в крайнем случае Алиса или локальные модели, хотя последние два варианта будут давать ответы сомнительного качества. Хотя если всех этих "предлогаторов" в правительстве заменить самыми дубовыми ЛЛМ 2022 года, с тремя параметрами(не миллиардов) качество работы "предлогаторов" не пострадает, а экономия явно станет заметно выше.
Только вчера собрал на авито корзину комплектующих для ПК, перешел в к оплате и блокировка... Заказывал не первый раз, довольно популярные магазины с тысячей отзывов 5*. Отличные алгоритмы, спасибо Сбербанк 🤝 главное чтобы потом красиво отчитались о 10 миллионах предотвращения мошенничества.
На самом деле в таких статьях часто можно найти действительно полезный опыт. Не все умеют вручную писать RAG пайплайны и часто это делается полностью вайбкодингом через крупные модели, которые на вопрос "какой эмбеддер посоветуешь для русского языка, из самых крупных и продвинутых", советует bge-m3 или multilingual-v... и ты с чистой душой его вставляешь в RAG. Потом удивляешь плохим результатам и пытаешься понять в чем проблема. На своем опыте убедился что бенчмарки и тем-более советы ИИ совсем не последняя инстанция. Спасибо, Дмитрий! Я вот тоже уже не первый месяц прохожу этот путь и пытаюсь настроить пайплайн для техпода, не имея опыта в этом 😁 начиналось с простого, - запихнуть все в контекстное окно и ждать ответа, потом уровень выше - встроенные RAG инструменты в UI обёртки для LLM, потом следующий уровень, - собрать все документы разных форматов в одну кучу, начанковать 1000/200 и по лексике топ=10 пихать в ИИ. Получилось прям ужасно... Месяцы этого занятия, чтения хабра и таких статей и уже docking+чанкование через ИИ+гибридный поиск с метаданными и уже приносит пользу. Так что пишите, это важно, для новеньких и особенно для не профильных ИИ-шников.