Про гпт-4о я согласен.Он намного дешевле и быстрее. С ним каждый запрос в чатик будет стоить около 10 центов (если в памяти торчит ~20т символов). По мне так это тоже очень много.
У гугл джемини в бесплатных апи ключах сейчас лимит 1млн токенов в... минуту. И 1500 запросов в сутки на один ключ.
Gpt4-32k стоит 60 долларов за миллион токенов. Это 1.92$ за 32к токенов запрос, не учитывая исходящие а они стоят в 2 раза дороже, но их мало обычно.
В чате такие цифры достигаются легко, кидаешь в чат код размером 10к символов и просишь исправить, получаешь в ответ что то, потом кидаешь обратно лог с ошибкой на 10т символов, получаешь в ответ что то и вот ты сделал всего 2 запроса а в памяти уже торчит почти 32т символов. Это еще не 32т токенов но близко.
Gpt-4о дешевле но это опасная дешевизна, там окно намного больше и отвечает(жрет токены) он намного быстрее.
Если 4ка это гпт4 то для чата через апи это вообще не вариант, слишком дорого получается, что то типа 50 центов за каждый запрос, даже за простое привет-пока, а если в нее большие куски текста кидать(код например) то за 1 запрос может и 2 бакса получится.
Если покупать и активно юзать то более менее терпимые только самые дешевые модели, хайку и джемени флеш.
При этом все эти боты так или иначе доступны абсолютно бесплатно на своих сайтах или поблизости. ГПТ4 турбо например дают на сайте coze.com
Да. Но он там не очень съедобный. Модели гпт3.5 и клод-хайку, принимают до 4к символов, отдают до 2500 и лимит непонятные, и вообще кривой. Но зато работает из рф, без регистрации и смс.
Сначала скачиваются несколько документов из выдачи гугла или дакдакго, скачиваются одновременно все, затем делается запрос по ним к джемини или ламе.
Вариант с джемини и большим окном выдает результат который выглядит очень хорошо. С лламой надо что то делать, промпт дотачивать, она при таком варианте отвечает по-английски.
Как работает поиск, все ли найденные ссылки читаются или только те которым силениум не нужен, без джава скрипта, простыми реквестами? И как достается текст со страницы, то есть отчищается от посторонних вещей, шапки сайта, менюшек итп.
У меня в боте читаются первые 10 сайтов из выдачи, только простыми реквестами, селениум для хостинга тяжеловат. Дальше текст извлекается модулем trafilatura, в большинстве случаев получается почти идеально чистый текст но иногда путает блоки, иногда кодировка не та.
И дальше текст сохраняется в память чтоб по нему можно было вопросы задавать. С этим новым флешем от гугла вполне реально работать с памятью в сотни тысяч символов.
Если строго формально то всё равно да. У формы есть определенные признаки, вот эти вот узоры они не рандомные, их разрабатывали в научном институте мин обороны а у модели насмотренность очень большая, она их может различать. Зы и конкретно этого солдата я сто раз уже видел на других картинках.
Даже если вырезать его из фона, убрать газету, высоковольтные провода и шапку ушанку результат не меняется.
Модерация, определение сценария(не хотел ли юзер этими словами вызвать генератор изображений например), определение тональности итп, со всем этим плохо справляются даже самые большие модели, частые ложные и ошибочные срабатывания у них.
Вот например у меня есть функция сделанная на большой модели, она делает репромпт для рисования, юзер пишет нарисуй карты деньги 2 ствола а она должна переписать на английском и если запрос короткий и неподробный насытить его подробностями. Я пробовал заменить самую большую модель на поменьше и у более мелкой модели явные проблемы появляются, например она начинает путать стволы и бочонки, они по английски одинаково пишутся, не знает многих редких слов и персоналий. А она как бы не совсем маленькая - лама3-70.
Так что вопрос остается открытым, в каких реальных проектах и как реально используются мелкие модельки.
Штирлиц сидел на линии высоковольтных передач и делал вид, что читает газету. Ни шапка-ушанка, ни свисающие стропы парашюта, ни ППШ за спиной — ничто не выдавало в нём советского разведчика.
Солдат очевидно русский (типичный ихтамнет) а значит и форма русская, это даже американскому боту понятно.
Гугл выкатил новую турбо модельку, в бесплатной версии лимиты такие что лламу можно временно закапывать. Окно - 1млн токенов, вывод 8к, качество явно лучше чем у лламы3-70, скорость меньше но оно того стоит.
И без рекламы есть, почему нет. Себестомость владения примерно равна нулю. Бесплатных бекендов столько что приходится выбирать, хостить можно хоть под кроватью. У меня бот без рекламы уже давно работает, начинал еще когда был только чатгпт, потом появились бинги клоды итп через неофициальные апи, сейчас есть 3 сорта джемини и ллама, и еще куча заметно менее вкусных вариантов. В день больше 200 юзеров, нагрузка на хостинг околонулевая, сидит совместно с другими проектами и есть не просит.
Бинг в Скайпе чуть ли не с самого появления Бинг чата был. Он там даже из РФ работает, с впном, не требует номер подтверждать.
Про гпт-4о я согласен.Он намного дешевле и быстрее. С ним каждый запрос в чатик будет стоить около 10 центов (если в памяти торчит ~20т символов). По мне так это тоже очень много.
У гугл джемини в бесплатных апи ключах сейчас лимит 1млн токенов в... минуту. И 1500 запросов в сутки на один ключ.
Моделька gpt4-8к для чата это очень мало.
Gpt4-32k стоит 60 долларов за миллион токенов. Это 1.92$ за 32к токенов запрос, не учитывая исходящие а они стоят в 2 раза дороже, но их мало обычно.
В чате такие цифры достигаются легко, кидаешь в чат код размером 10к символов и просишь исправить, получаешь в ответ что то, потом кидаешь обратно лог с ошибкой на 10т символов, получаешь в ответ что то и вот ты сделал всего 2 запроса а в памяти уже торчит почти 32т символов. Это еще не 32т токенов но близко.
Gpt-4о дешевле но это опасная дешевизна, там окно намного больше и отвечает(жрет токены) он намного быстрее.
Алиса в рассказе поселок? Это почти то же самое что королева нигерии в 3 мушкетерах Ж)
Если 4ка это гпт4 то для чата через апи это вообще не вариант, слишком дорого получается, что то типа 50 центов за каждый запрос, даже за простое привет-пока, а если в нее большие куски текста кидать(код например) то за 1 запрос может и 2 бакса получится.
Если покупать и активно юзать то более менее терпимые только самые дешевые модели, хайку и джемени флеш.
При этом все эти боты так или иначе доступны абсолютно бесплатно на своих сайтах или поблизости. ГПТ4 турбо например дают на сайте coze.com
Такое легко можно сделать в своем гпт боте, может даже быстрее работать будет чем у микрософта.
Иллюстрации
Копай глубже, он даже перемножить два четырехзначных числа не может, калькулятором пользоваться не научили.
Закупаться можно и не напрямую. На openrouter.ai gpt-4o стоит 5$ за 1млн токенов, гпт4-турбо 10$. Вдвое дешевле.
Эммм, если даже лама сойдет тогда полно вариантов. В телеграме пиши боту https://t.me/kun4sun_bot
Реальные задачи какие. У маленьких моделей маленькое окно и плохое владение языком, как на них можно делать пересказ, выжимку?
Что конкретно могут делать маленькие модели достаточно хорошо? С генерацией пересказом переводом текста они не справляются даже близко
Да. Но он там не очень съедобный. Модели гпт3.5 и клод-хайку, принимают до 4к символов, отдают до 2500 и лимит непонятные, и вообще кривой. Но зато работает из рф, без регистрации и смс.
Мой вариант для поиска в гугле https://github.com/theurs/tb1/blob/master/my_google.py
Сначала скачиваются несколько документов из выдачи гугла или дакдакго, скачиваются одновременно все, затем делается запрос по ним к джемини или ламе.
Вариант с джемини и большим окном выдает результат который выглядит очень хорошо. С лламой надо что то делать, промпт дотачивать, она при таком варианте отвечает по-английски.
Gemini это к статье видимо. В статье рассказывается как из платного гигачада выдавить то что джемини дает бесплатно и без танцев с бубном.
Как работает поиск, все ли найденные ссылки читаются или только те которым силениум не нужен, без джава скрипта, простыми реквестами? И как достается текст со страницы, то есть отчищается от посторонних вещей, шапки сайта, менюшек итп.
У меня в боте читаются первые 10 сайтов из выдачи, только простыми реквестами, селениум для хостинга тяжеловат. Дальше текст извлекается модулем trafilatura, в большинстве случаев получается почти идеально чистый текст но иногда путает блоки, иногда кодировка не та.
И дальше текст сохраняется в память чтоб по нему можно было вопросы задавать. С этим новым флешем от гугла вполне реально работать с памятью в сотни тысяч символов.
Если строго формально то всё равно да. У формы есть определенные признаки, вот эти вот узоры они не рандомные, их разрабатывали в научном институте мин обороны а у модели насмотренность очень большая, она их может различать. Зы и конкретно этого солдата я сто раз уже видел на других картинках.
Даже если вырезать его из фона, убрать газету, высоковольтные провода и шапку ушанку результат не меняется.
Модерация, определение сценария(не хотел ли юзер этими словами вызвать генератор изображений например), определение тональности итп, со всем этим плохо справляются даже самые большие модели, частые ложные и ошибочные срабатывания у них.
Вот например у меня есть функция сделанная на большой модели, она делает репромпт для рисования, юзер пишет нарисуй карты деньги 2 ствола а она должна переписать на английском и если запрос короткий и неподробный насытить его подробностями. Я пробовал заменить самую большую модель на поменьше и у более мелкой модели явные проблемы появляются, например она начинает путать стволы и бочонки, они по английски одинаково пишутся, не знает многих редких слов и персоналий. А она как бы не совсем маленькая - лама3-70.
Так что вопрос остается открытым, в каких реальных проектах и как реально используются мелкие модельки.
Штирлиц сидел на линии высоковольтных передач и делал вид, что читает газету. Ни шапка-ушанка, ни свисающие стропы парашюта, ни ППШ за спиной — ничто не выдавало в нём советского разведчика.
Солдат очевидно русский (типичный ихтамнет) а значит и форма русская, это даже американскому боту понятно.
Гугл выкатил новую турбо модельку, в бесплатной версии лимиты такие что лламу можно временно закапывать. Окно - 1млн токенов, вывод 8к, качество явно лучше чем у лламы3-70, скорость меньше но оно того стоит.
И без рекламы есть, почему нет. Себестомость владения примерно равна нулю. Бесплатных бекендов столько что приходится выбирать, хостить можно хоть под кроватью. У меня бот без рекламы уже давно работает, начинал еще когда был только чатгпт, потом появились бинги клоды итп через неофициальные апи, сейчас есть 3 сорта джемини и ллама, и еще куча заметно менее вкусных вариантов. В день больше 200 юзеров, нагрузка на хостинг околонулевая, сидит совместно с другими проектами и есть не просит.