С книгами у них всегда проблемы были. Кто герои книги 3 мушкетера - атос, портос и королева нигерии Ж)
Но если их научить гуглить то становится лучше. Гуглить умеет чатгпт от микрософта - бинг, ну и гугол со своми джемини вроде тоже научился. Самому сделать тоже несложно.
Внезапно - Mixtral-8x7b-32768 вполне себе прилично справляется с пересказом текста, и ответом по нагугленным текстам. Помогает когда джемини фейлится из за цензуры.
7b это же значит всего 7млрд параметров, а русский язык понимает и пишет нормально.
У Гугла в бесплатной версии gemini размер окна 1млн токенов и лимит 1млн в минуту. Может отвечать на вопросы по текстам практически любого размера без танцев с бубном.
Нейросеть обучается на всех доступных текстах. Можно сказать что она прекрасно знакома с "другой точкой зрения" но что бы она её выдала надо давать более конкретный запрос, типа напиши чушь и ахинею в стиле генералисимуса конашенокова и поехавшего деда. Если не уточнять то выдаст нормальный текст, без боевых комаров и денацификации, такой какой написало бы русскоязычное большинство.
Кстати о гпт ботах в телеге. Как то давно пробовал найти такого которого разработчики хотя бы просто допилили до юзабельного в телеграмме состояния, проверял могут ли они адекватно разрезать сообщение которые больше 4к символов, телеграм такие сообщения режет на части.
Запрос типа напиши программу которая делает что то с подробными комментариями, ответ
Какой то текст
открывающий тег для кода <code>
очень длинный код
закрывающий тег для кода</code>
Какой то текст
И когда разрез попадает внутрь кода то маркдаун форматирование ломается, в первом сообщении остается открывающий тег а во втором закрывающий.
Не нашел ни одного бота кто бы с этим адекватно справлялся, нашел только тех кто принципиально больше 4к символов не отвечает.
Так же не нашел ни одного бота который мог бы принять запрос длинной больше 4к символов, телеграм такие запросы режет на части а недоделанные боты отвечают на эти части по отдельности.
Это кейс когда юзер кидает в бота текст размером 12000 символов с инструкцией типа сократи до 500 слов. В бота прилетает 3 части по 4к символов, в первой части написано сократи текст и начало текста, во второй и третей части просто куски неровно порезанного текста. И бот первую часть сокращает а 2 и 3 отвечает а что это вы мне прислали и зачем.
Какая-нибудь польза от 7b моделек есть, как их используют? Потыкал на опенроутере бесплатные модели, мистраль гемма опенчат, работают но очень плохо, даже близко не похожи на древнюю gpt3.5turbo 4к.
гпт4-турбо ответил Этот вопрос может звучать как загадка. Один из вариантов ответа на загадку: у коровы спереди — рога (если это не порода коров безрогая), а у быка сзади — хвост. Эти части тела есть у обоих животных, но располагаются в указанных местах.
гемини1.5 - У коровы спереди вымя, а у быка сзади - тоже вымя. ?
У опенаи инструкт версия обучена "выполнять инструкции", одиночные запросы, и у нее нет или почти нет цензуры. Обычный чатгпт принимает в запросе список предыдущих вопросов и ответов, целый диалог а не одиночный запрос.
Если ты скажешь Упал отжался то обычный чатгпт может уточнить или отказаться или отшутится, а инструкт упадет и отожмется.
Эти штуки просто добавляют гугол в запросы к гпт. Гуглят твой запрос, и потом добавляют фрагменты текста из найденного в память бота, как будто вы только что обсуждали их с ботом. Это уменьшает количество галлюцинаций.
Обычный чат гпт на вопрос о котором он мало знает может сильно нафантазировать, спросишь его например какого цвета была подкладка плаща у прокуратора в книге мастер и маргарита и он ответит что такая же как у всех римских плащей(белая?), а в книге прямо написано что красная и что то там символизирует. Гпт+гугл(то есть бинг) ответит правильно, а яндекс с нейро не только правильно но и быстро Ж).
Ну и разумеется это работает неидеально, гпт даже с гуглом может сказать что у лошади 8 ног. Хотя обычно так не лажает даже без гугла.
У всех этих стартапов есть одна большая проблема - цены на api запредельные. С такими ценами невозможно сделать нормального бота.
С книгами у них всегда проблемы были. Кто герои книги 3 мушкетера - атос, портос и королева нигерии Ж)
Но если их научить гуглить то становится лучше. Гуглить умеет чатгпт от микрософта - бинг, ну и гугол со своми джемини вроде тоже научился. Самому сделать тоже несложно.
openrouter.ai
даже без логина работает
ну разумеется только чатик, без звука видео и картинок
Внезапно - Mixtral-8x7b-32768 вполне себе прилично справляется с пересказом текста, и ответом по нагугленным текстам. Помогает когда джемини фейлится из за цензуры.
7b это же значит всего 7млрд параметров, а русский язык понимает и пишет нормально.
Groq дает ее нахаляву.
на офсайте https://chat.openai.com/
если не доступно надо попробовать создать новый аккаунт
зы гпт-4о примерно то же самое что гпт4-турбо. работает заметно быстрее, во всем остальном разница не видна
есть еще на опенроутере, https://openrouter.ai/playground вроде даже без регистрации работает
Виспер не лучше.
У Гугла в бесплатной версии gemini размер окна 1млн токенов и лимит 1млн в минуту. Может отвечать на вопросы по текстам практически любого размера без танцев с бубном.
Кто нибудь может объяснить для чего нужны, как реально используются, маленькие модели, например лама 8б.
Нейросеть обучается на всех доступных текстах. Можно сказать что она прекрасно знакома с "другой точкой зрения" но что бы она её выдала надо давать более конкретный запрос, типа напиши чушь и ахинею в стиле генералисимуса конашенокова и поехавшего деда. Если не уточнять то выдаст нормальный текст, без боевых комаров и денацификации, такой какой написало бы русскоязычное большинство.
Прикольный. О нем что-нибудь известно, как из чего сделан?
Иногда кажется что эти роботы по настоящему думают.
Кстати о гпт ботах в телеге. Как то давно пробовал найти такого которого разработчики хотя бы просто допилили до юзабельного в телеграмме состояния, проверял могут ли они адекватно разрезать сообщение которые больше 4к символов, телеграм такие сообщения режет на части.
Запрос типа напиши программу которая делает что то с подробными комментариями, ответ
Какой то текстоткрывающий тег для кода <code>очень длинный кодзакрывающий тег для кода</code>Какой то текстИ когда разрез попадает внутрь кода то маркдаун форматирование ломается, в первом сообщении остается открывающий тег а во втором закрывающий.
Не нашел ни одного бота кто бы с этим адекватно справлялся, нашел только тех кто принципиально больше 4к символов не отвечает.
Так же не нашел ни одного бота который мог бы принять запрос длинной больше 4к символов, телеграм такие запросы режет на части а недоделанные боты отвечают на эти части по отдельности.
Это кейс когда юзер кидает в бота текст размером 12000 символов с инструкцией типа сократи до 500 слов. В бота прилетает 3 части по 4к символов, в первой части написано сократи текст и начало текста, во второй и третей части просто куски неровно порезанного текста. И бот первую часть сокращает а 2 и 3 отвечает а что это вы мне прислали и зачем.
У меня дежавю. Гпт уже собирал тут кому то комп год назад?
Какая-нибудь польза от 7b моделек есть, как их используют? Потыкал на опенроутере бесплатные модели, мистраль гемма опенчат, работают но очень плохо, даже близко не похожи на древнюю gpt3.5turbo 4к.
Они по разному отвечают.
гпт4-турбо ответил Этот вопрос может звучать как загадка. Один из вариантов ответа на загадку: у коровы спереди — рога (если это не порода коров безрогая), а у быка сзади — хвост. Эти части тела есть у обоих животных, но располагаются в указанных местах.
гемини1.5 - У коровы спереди вымя, а у быка сзади - тоже вымя. ?
гемини+гугл - буква К
7ка не поддерживается уже 4 года но до сих пор работает лучше любого десктопного линукса, а 10ку еще даже не дропнули
Американское и европейское ещё лесом отправь.
Это же гпт, он сам по себе понимает что информация на википедии точнее чем на яплакал.
У опенаи инструкт версия обучена "выполнять инструкции", одиночные запросы, и у нее нет или почти нет цензуры. Обычный чатгпт принимает в запросе список предыдущих вопросов и ответов, целый диалог а не одиночный запрос.
Если ты скажешь Упал отжался то обычный чатгпт может уточнить или отказаться или отшутится, а инструкт упадет и отожмется.
На английском за токены дешевле чем за символы. На русском почти без разницы. Зачем платить за то что на каждом углу бесплатно раздают?
Эти штуки просто добавляют гугол в запросы к гпт. Гуглят твой запрос, и потом добавляют фрагменты текста из найденного в память бота, как будто вы только что обсуждали их с ботом. Это уменьшает количество галлюцинаций.
Обычный чат гпт на вопрос о котором он мало знает может сильно нафантазировать, спросишь его например какого цвета была подкладка плаща у прокуратора в книге мастер и маргарита и он ответит что такая же как у всех римских плащей(белая?), а в книге прямо написано что красная и что то там символизирует. Гпт+гугл(то есть бинг) ответит правильно, а яндекс с нейро не только правильно но и быстро Ж).
Ну и разумеется это работает неидеально, гпт даже с гуглом может сказать что у лошади 8 ног. Хотя обычно так не лажает даже без гугла.