Да, это не OpenAI — на Google I/O показали LLM Gemini Flash 1.5 с дешевым контекстом на 1 миллион токенов

[Wesha]

Давайте немного прокомментирую этот ответ:

1. Правильный русский язык.

Давайте я немного прокомментирую этот ответ:

1. Неправильная русская типографика. Писать Слова Заголовка С Заглавной — Это Чисто Западная Газетная Заморочка. В русской традиции ЛИБО ПИСАТЬ ЗАГОЛОВОК ЦЕЛИКОМ ЗАГЛАВНЫМИ, либо Писать нормально, но выделять жирным шрифтом или размером.

для меня играет роль “насмотренность”: когда уже видел, как более 50 сетей отвечают на этот вопрос

Для меня играет роль “насмотренность”: когда уже прочитал сначала 100500 книг и газет на русском языке, а потом немногим меньше — на английском, подобные вещи начинают прямо-таки резать глаза.

2. Хм....

Дети и верёвки (не толстые канаты, а именно тонкие верёвки). И что может пойти не так? Позаботьтесь, чтобы где-то поблизости дежурил реанимобиль, на всякий случай — дети такие затейники, и обязательно найдётся какой-нибудь семилетний гений, который решит поиграть во вздёрни друга детства на рее...

[janvarev]

1. Ну, потому что я сравниваю с результатами других сетей (которых насмотрелся), а вы - с уже хорошо сверстанным человеком текстом - и у вас требования к типографике, не к языку. Это разные сравнения, конечно.

[dollar]

Отсутствие Title Case в ответах уже можно рассматривать как уровень знания русского языка. Здесь два фактора:
1. Качество данных, на которых обучалась модель. Если это СЕО-заголовки, то там вполне такое практикуется, к сожалению, и довольно часто. Очевидно, что в идеале данные должны быть очищены от подобного мусора.
2. Наличие "ума" у модели, которая способна отделить мух от котлет. То есть если модель в итоге смогла понять, что хорошо, а что плохо, то в теории она может обучаться на любых данных, включающих в себя примеры и антипримеры правильности. К сожалению, это пока что на грани фантастики, по крайней мере на этапе обучения.

В любом случае, для хоть сколько-нибудь "умных" моделей работает костыль по типу "Respect Russian grammar; for example, avoid capitalizing all major words in titles". Радуемся тому, что есть.

[theurus]

Кто нибудь может объяснить для чего нужны, как реально используются, маленькие модели, например лама 8б.

[janvarev]

1. Ллама 8б не очень хороша на русском, но на английском это вполне приличная модель. Например, может отвечать на вопрос: "Определи тональность текста: позитивная, нейтральная, негативная". В целом, на такую модель GPT-4 это как-то overkill. Т.е. простые задачи.

2. 8б проще/дешевле дотюнивать под определенные задачи / на определенные тексты. Например, у Ильи Гусева вышла Сайга3-8B - Ллама3-8Б, дотюненая на русский язык. По его бенчмаркам, она выигрывает (около 60% побед) у обычной gpt-3.5-turbo, при этом её можно адекватно запустить на домашнем GPU или даже CPU.

3. Вполне возможно (но тут неточно) - ответы по контексту. Т.е. если вас не интересуют базовые знания модели, а нужно просто "вытащить" результат из простыни текста - небольшая модель это (имхо) тоже может неплохо сделать, хотя тут смотреть надо.

[jhas7]

Модерация, определение сценария(не хотел ли юзер этими словами вызвать генератор изображений например), определение тональности итп, со всем этим плохо справляются даже самые большие модели, частые ложные и ошибочные срабатывания у них.

Вот например у меня есть функция сделанная на большой модели, она делает репромпт для рисования, юзер пишет нарисуй карты деньги 2 ствола а она должна переписать на английском и если запрос короткий и неподробный насытить его подробностями. Я пробовал заменить самую большую модель на поменьше и у более мелкой модели явные проблемы появляются, например она начинает путать стволы и бочонки, они по английски одинаково пишутся, не знает многих редких слов и персоналий. А она как бы не совсем маленькая - лама3-70.

Так что вопрос остается открытым, в каких реальных проектах и как реально используются мелкие модельки.

[Wesha]

например она начинает путать стволы и бочонки, они по английски одинаково пишутся

(С квадратными глазами представляет себе зам́ок, акции и два курящих бочонка.)

[Extender]

Ну презентация была конечно ужасно скучная, особенно достал этот Пичаи, пора ему на покой мне кажется. Иногда показывали зрительный зал, я зевнул одновременно с одной девушкой (фотка завирусилась), это показатель конечно. Кроме флеша тоже не увидел ничего нового/полезного, одни обещания. Впрочем, после ОпенАИ конференции тоже ничего работающего не выкатили (кроме текстовой модели)