Pull to refresh
-20
0.2
Алексей Смирнов@pol_pot

User

Send message

Не парочка а несколько десятков.

Дела разные бывают. Допустим ты репортер. Ты возвращаешься с места событий с материалами на руках, у тебя есть аудиозаписи - интервью, фотографии документов итп. Твоё дело - написать репортаж.

Для этого тебе надо загрузить в чатгпт собранные аудиозаписи, фотографии, документы, обсудить. Пока пишешь репортаж у тебя возникают вопросы, а что тот чувак сказал по поводу качество бетона в интервью, а как его звали кстати, и ты это спрашиваешь у чатагпт, он уже прослушал все записи, прочитал все документы и может тебе быстро ответить. На самом деле он и написать за тебя может а тебе останется только сказать ему где что переделать.

Для выполнения задания тебе потребуется сделать, скажем, 20 запросов. Бесплатная версия остановится на 10ом и потребует заплатить. Ограничения могут быть не на количество запросов а на глубину памяти, в ограниченный контекст могут не поместится все материалы, модель может отказаться обрабатывать пачки фоток больше чем по 3шт итд итп.

Всмысле не помнят? Если "память" подключена то нормально всё работает.

Вот здесь на втором запросе в модель передали 2 запроса а не один, поэтому она отвечает адекватно.

Ей показали всю историю переписки из 2 запросов что бы она не потеряла нить разговора.

Модель можно представить себе как черный ящик у которого есть приемник данных и выход для результатов. Ты кладешь свои данные, то есть текст запроса в приемник, нажимаешь педальку и он начинает их все разом обрабатывать, и в конце выплевывает результат. Никакой памяти у него нет, её надо эмулировать каждый раз вручную обновляя историю переписки и добавляя в данные которые подаются в приемник.

Технически, под капотом, это выглядит так, при каждом новом запросе модели передается вся предыдущая переписка, и предлагается ответить на последний запрос, с учётом предыдущих. Чем дольше идет разговор тем больше становится переписка, а у модели есть техническое ограничение на размер входящих данных. В нее нельзя засунуть больше чем ХХХ слов, из за этого переписку приходится автоматически подрезать - отбрасывать самые старые записи, или сжимать - заменять длинный хвост на короткий пересказ того о чем говорили или еще какие то аналогичные трюки делать.

Часть входящих данных может быть дополнена временными данными, например человек спросил что то чего модель не знает и она решила сделать запрос в гугол или в свою базу и получила оттуда ответ, этот ответ временно или постоянно добавляется в историю переписки, ты этого не видишь но размер входящих данных сильно вырос.

Чем больше данных на входе (и выходе) у модели тем дольше всё это работает и больше жрёт денег. Дополнительные запросы которые делаются в процессе тоже жрут время и деньги, гугол бесплатно ищет только у себя на сайте а если хочешь засунуть его в своё приложение - придется платить. Даже калькулятор для роботов, если он ИИшный, стоит денег, его обычно делают через виртуальные машины а это дорого и сложно.

В бесплатных версиях обычно сильно обрезают переписку, например убирают то что было больше 10 запросов назад, отключают дополнительные инструменты типа гугла и калькулятора итд.

У всех по разному.

У chatgpt тебе не дают бесплатно некоторые модели вообще. Те что дают ограничены таким образом что бы с одной стороны показать тебе как можно больше возможностей а с другой не дать тебе закончить свои дела до конца.

Примерно такая же история у всех остальных за редким исключением, причина банальная - это всё стоит немалых денег и бесплатно даётся из расчёта что ты попробуешь и захочешь купить.

Токены это сложно, на них обычно смотрят как на размер памяти модели(сколько текста можно подать на вход и получить в ответ) или на цену запросов, чем больше токенов тем дольше работает арендованный суперкомпьютер, и тем больше денег тратит.

Память модели это тоже сложно, у нее на самом деле нет памяти а эффект достигается с помощью трюка - при каждом новом запросе незаметно для человека добавляется история переписки и поэтому кажется что модель помнит о чем говорили недавно.

Это вызывает проблемы с расходами, ты спрашиваешь сколько будет 2+2, получаешь ответ 4 и думаешь что с тебя спишут ~10 токенов, но на самом деле спишут несколько тысяч потому что вы недавно говорили о чем то и это всё ещё висит в памяти у модели и повторно прокручивается каждый раз при следующих запросах.

Лучше там где тебе удобнее.

Если не выбирать то отвечать будет первый в списке.

gemini 2.5 pro доступен через того тг бота, он там только по размеру памяти ограничен, не дает весь миллион токенов

Это машинально происходит, когда 20ый раз за день видишь надпись покупайте наших ботхабов рука сама тянется к нагану.

Просто посмотри новостную ленту, 6 из 10 последних записей - спам от ботхаба.

Самый лучший из доступных бесплатно - gemini pro на сайте https://aistudio.google.com/app/prompts/new_chat

По количеству халявы ничего подобного ни у кого больше нет, по качеству его недавно подвинули на 2ое место но это условности, он всё равно один из лучших.

Гугл джемини в режиме глубокого поиска составляет план поисков, то есть делает разные запросы, читает и отбрасывает кучу веб страниц, и в итоге выдает почти то же самое что и обычный гугол по более менее точному запросу. Например спросите кому принадлежит пивоваренный завод балтика и узнаете - первой попавшейся фирме прокладке. То что это подстава для него не очевидно.

У языковых моделей нет рук и глаз, умение читать ссылки им пришивают сбоку как умеют. подавляющее большинство тг ботов не умеют, те что умеют могут затупить

Я думал мы говорим о поддержка базовых фич и тебе нужны еще примеры. Но ты уже переключился в режим дайте мне самое лучшее и бесплатно.

В вотсапе обитает примерно 100млн россиян. Надо быть очень альтернативно одаренной крупной компанией что бы нос воротить от этого мессенджера.

Этот нормальный, там в настройках есть современные размышляющие модели, они должны решать математику на 100% если их специально не запутывать.

Ну да. У при этом у них лучше реализована работа с тг маркдауном чем у великого сбера. Ж(

Их миллионы, ты гуглить не умеешь? Вот тебе свежая "статья" на хабре https://habr.com/ru/articles/936542

Отправь кого не жалко на разведку.

То чувство когда не знаешь куда применить новейшую 24б модельку от мистраля или 32б от квина из-за того что они откровенно туповаты и даже языком владеют не вполне а тут люди пишут тексты и программы модельками размером 4-7б и вроде даже довольны результатом.

Information

Rating
2,467-th
Registered
Activity

Specialization

Менеджер технической поддержки
Старший
Git
SQL
Linux
MySQL
PHP
PostgreSQL
Docker