ИБ, Информационная безопасность <> Чужое API (DeepSeek).
А так вопросики,
Все таки без понимания дипсиком доменной области компании и всего документа, какое качество ответов? Например юзер задал вопрос, - как провести возврат товара, не уточнив возврат от физ/юр лица, наличными, безналичными или на расчётный счет и т.д с кучей нюансов в реальных условиях. ИИ найдет например топ 10 чанков с возвратами и ответит, но где гарантия что пользователь имел ввиду это? Как вы это решаете?
А если например это документация по многоэтапному процессу, пример:
Инструкция по созданию интеграции, где в исходнике написано по разделам:
Создание аккаунта
Создание ключа
Создание интеграции
Проверка интеграции
Подразумевая что интеграцию нельзя создать, не создав аккаунт, но фактически чанки 1,2 не имеют веса и попадут только 3,4. Человек который не знает как ее создать, запутается и такой ответ больше навредит чем даст пользы. А дипсик не знает ничего о том что там еще нужны какие то операции. Были такие случаи? Как боролись.
Правда интересно. Сам строю RAG и есть идеи:
Создавать документацию самодостаточную и полную.
Искать чанки, но подавать цельный документ. Да, заранее подумав что если документ огромный, то все таки разбить его на законченные инструкции.
Уже думаю обучить локальный эмбеддер на константах компании, чтобы понимал что без чего нельзя подавать в генератор.
DeepSeek'у уже недостаточно будет хайпануть как в прошлый раз. Крутыми бенчмарками и контекстом 1м тоже не удивить(только если он не будет ничего из него терять). Есть клауд с его сильным кодингом, есть универсальный гугл с сильнейшей экосистемой(колаба, банана, notebook llm, ai studio, drive, file search, antigravity и т.д) помимо самой модели, есть чатгпт, квен, глм, кими и т.д
Дипсику с его самой скудной экосистемой, точнее с его отсутствием, придется постараться. Я был бы очень рад(мечты) , увидеть DeepCode CLI или форк vscode/расширение, с невероятными лимитами или их отсутствием.
Хотя если цены на токены оставят такие же, бубнеть не буду.
Разрешено ознакамливаться с запретами. Разрешено спрашивать, - "В последнее время что нибудь разрешали?". Разрешено что нибудь еще. Вообщем что-то разрешено 🗿
Здравствуйте! А какую модель использовали? Система работает как вопрос-ответ-обнуление или память в рамках диалога есть? Сколько в среднем занимает контекст при одном вопросе-ответе?
Пару недель собрал ПК с 5070 Ti, 7700, 64DDR5. Вообщем жаба душит что переплатил по сравнению с летними ценниками. Но теперь уже отпустило, на фоне все новых и новых новостей. Кто собрал ПК - берегите его, оберегайте, сдувайте пылинки. То ли еще будет
3b, 3-7t/s... А зачем? Эмбеддеры нормальные больше параметров имеют, а тут языковая на 3, которая даже json просто оформить не может. Ну запустить можно, а какой смысл ? Какую задачу она решит? Баги править? В обратную сторону разве что...
Что там еще "полезного" могут предложить... Ну будут через ИИ искать решения, через Perpexlity, в крайнем случае Алиса или локальные модели, хотя последние два варианта будут давать ответы сомнительного качества. Хотя если всех этих "предлогаторов" в правительстве заменить самыми дубовыми ЛЛМ 2022 года, с тремя параметрами(не миллиардов) качество работы "предлогаторов" не пострадает, а экономия явно станет заметно выше.
Только вчера собрал на авито корзину комплектующих для ПК, перешел в к оплате и блокировка... Заказывал не первый раз, довольно популярные магазины с тысячей отзывов 5*. Отличные алгоритмы, спасибо Сбербанк 🤝 главное чтобы потом красиво отчитались о 10 миллионах предотвращения мошенничества.
На самом деле в таких статьях часто можно найти действительно полезный опыт. Не все умеют вручную писать RAG пайплайны и часто это делается полностью вайбкодингом через крупные модели, которые на вопрос "какой эмбеддер посоветуешь для русского языка, из самых крупных и продвинутых", советует bge-m3 или multilingual-v... и ты с чистой душой его вставляешь в RAG. Потом удивляешь плохим результатам и пытаешься понять в чем проблема. На своем опыте убедился что бенчмарки и тем-более советы ИИ совсем не последняя инстанция. Спасибо, Дмитрий! Я вот тоже уже не первый месяц прохожу этот путь и пытаюсь настроить пайплайн для техпода, не имея опыта в этом 😁 начиналось с простого, - запихнуть все в контекстное окно и ждать ответа, потом уровень выше - встроенные RAG инструменты в UI обёртки для LLM, потом следующий уровень, - собрать все документы разных форматов в одну кучу, начанковать 1000/200 и по лексике топ=10 пихать в ИИ. Получилось прям ужасно... Месяцы этого занятия, чтения хабра и таких статей и уже docking+чанкование через ИИ+гибридный поиск с метаданными и уже приносит пользу. Так что пишите, это важно, для новеньких и особенно для не профильных ИИ-шников.
Спасибо за кейс! Очень полезно.
Единственное что диссонанс от:
ИБ, Информационная безопасность <> Чужое API (DeepSeek).
А так вопросики,
Все таки без понимания дипсиком доменной области компании и всего документа, какое качество ответов? Например юзер задал вопрос, - как провести возврат товара, не уточнив возврат от физ/юр лица, наличными, безналичными или на расчётный счет и т.д с кучей нюансов в реальных условиях. ИИ найдет например топ 10 чанков с возвратами и ответит, но где гарантия что пользователь имел ввиду это? Как вы это решаете?
А если например это документация по многоэтапному процессу, пример:
Инструкция по созданию интеграции, где в исходнике написано по разделам:
Создание аккаунта
Создание ключа
Создание интеграции
Проверка интеграции
Подразумевая что интеграцию нельзя создать, не создав аккаунт, но фактически чанки 1,2 не имеют веса и попадут только 3,4. Человек который не знает как ее создать, запутается и такой ответ больше навредит чем даст пользы. А дипсик не знает ничего о том что там еще нужны какие то операции. Были такие случаи? Как боролись.
Правда интересно. Сам строю RAG и есть идеи:
Создавать документацию самодостаточную и полную.
Искать чанки, но подавать цельный документ. Да, заранее подумав что если документ огромный, то все таки разбить его на законченные инструкции.
Уже думаю обучить локальный эмбеддер на константах компании, чтобы понимал что без чего нельзя подавать в генератор.
Разве OpenAI продаст менеджеру нейронку, если скажет что для построения корпоративного чат-бота, нужно:
Подготовить датасеты
Настроить метрики
Провести тесты и настроить парсеры, эмбеддеры, реранкеры
Изучить RAG подходы под твою доменную область
Решить проблемы с безопасностью и доступом
Тестировать на разных векторных, графовых БД
И т.д
Нет конечно! А если сказать что наша ИИ самая ИИстая , то легко. А все проблемы выше будет решать уже инженер)
Жаль они от клиновидных ушли, как м1 эир и странно что при таком весе аккум 36втч, хотя м серия по весу вроде такая же, а аккум х1.5
Хотя это наверное продолжение MacBook 12, вписывается
ТСПУ - устройство предназначенное для защиты от DDoS атак YouTube и Telegram от граждан РФ
"Не было такого, мы сами писали обучающие тексты".
Всерьёз не воспринимайте🤭
DeepSeek'у уже недостаточно будет хайпануть как в прошлый раз. Крутыми бенчмарками и контекстом 1м тоже не удивить(только если он не будет ничего из него терять). Есть клауд с его сильным кодингом, есть универсальный гугл с сильнейшей экосистемой(колаба, банана, notebook llm, ai studio, drive, file search, antigravity и т.д) помимо самой модели, есть чатгпт, квен, глм, кими и т.д
Дипсику с его самой скудной экосистемой, точнее с его отсутствием, придется постараться. Я был бы очень рад(мечты) , увидеть DeepCode CLI или форк vscode/расширение, с невероятными лимитами или их отсутствием.
Хотя если цены на токены оставят такие же, бубнеть не буду.
Разрешено ознакамливаться с запретами. Разрешено спрашивать, - "В последнее время что нибудь разрешали?". Разрешено что нибудь еще. Вообщем что-то разрешено 🗿
Здравствуйте! А какую модель использовали? Система работает как вопрос-ответ-обнуление или память в рамках диалога есть? Сколько в среднем занимает контекст при одном вопросе-ответе?
Пару недель собрал ПК с 5070 Ti, 7700, 64DDR5. Вообщем жаба душит что переплатил по сравнению с летними ценниками. Но теперь уже отпустило, на фоне все новых и новых новостей. Кто собрал ПК - берегите его, оберегайте, сдувайте пылинки. То ли еще будет
3b, 3-7t/s... А зачем? Эмбеддеры нормальные больше параметров имеют, а тут языковая на 3, которая даже json просто оформить не может. Ну запустить можно, а какой смысл ? Какую задачу она решит? Баги править? В обратную сторону разве что...
GigaChat 2 Max = 650р 1млн токенов
DeepSeek-V3.2 = 28-42р за 1млн токенов вход/выход. + У дипсика есть кеширование, цена еще смешнее получается.
Какие причины переплачивать за гигачад, если не брать требование гос. сектора?
Что там еще "полезного" могут предложить... Ну будут через ИИ искать решения, через Perpexlity, в крайнем случае Алиса или локальные модели, хотя последние два варианта будут давать ответы сомнительного качества. Хотя если всех этих "предлогаторов" в правительстве заменить самыми дубовыми ЛЛМ 2022 года, с тремя параметрами(не миллиардов) качество работы "предлогаторов" не пострадает, а экономия явно станет заметно выше.
Только вчера собрал на авито корзину комплектующих для ПК, перешел в к оплате и блокировка... Заказывал не первый раз, довольно популярные магазины с тысячей отзывов 5*. Отличные алгоритмы, спасибо Сбербанк 🤝 главное чтобы потом красиво отчитались о 10 миллионах предотвращения мошенничества.
На самом деле в таких статьях часто можно найти действительно полезный опыт. Не все умеют вручную писать RAG пайплайны и часто это делается полностью вайбкодингом через крупные модели, которые на вопрос "какой эмбеддер посоветуешь для русского языка, из самых крупных и продвинутых", советует bge-m3 или multilingual-v... и ты с чистой душой его вставляешь в RAG. Потом удивляешь плохим результатам и пытаешься понять в чем проблема. На своем опыте убедился что бенчмарки и тем-более советы ИИ совсем не последняя инстанция. Спасибо, Дмитрий! Я вот тоже уже не первый месяц прохожу этот путь и пытаюсь настроить пайплайн для техпода, не имея опыта в этом 😁 начиналось с простого, - запихнуть все в контекстное окно и ждать ответа, потом уровень выше - встроенные RAG инструменты в UI обёртки для LLM, потом следующий уровень, - собрать все документы разных форматов в одну кучу, начанковать 1000/200 и по лексике топ=10 пихать в ИИ. Получилось прям ужасно... Месяцы этого занятия, чтения хабра и таких статей и уже docking+чанкование через ИИ+гибридный поиск с метаданными и уже приносит пользу. Так что пишите, это важно, для новеньких и особенно для не профильных ИИ-шников.