Как стать автором
Обновить

Да, это не OpenAI — на Google I/O показали LLM Gemini Flash 1.5 с дешевым контекстом на 1 миллион токенов

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.4K
Всего голосов 14: ↑13 и ↓1+18
Комментарии8

Комментарии 8

Давайте немного прокомментирую этот ответ:

  1. Правильный русский язык.

Давайте я немного прокомментирую этот ответ:

  1. Неправильная русская типографика. Писать Слова Заголовка С Заглавной — Это Чисто Западная Газетная Заморочка. В русской традиции ЛИБО ПИСАТЬ ЗАГОЛОВОК ЦЕЛИКОМ ЗАГЛАВНЫМИ, либо Писать нормально, но выделять жирным шрифтом или размером.

для меня играет роль “насмотренность”: когда уже видел, как более 50 сетей отвечают на этот вопрос

Для меня играет роль “насмотренность”: когда уже прочитал сначала 100500 книг и газет на русском языке, а потом немногим меньше — на английском, подобные вещи начинают прямо-таки резать глаза.

  1. Хм....

Дети и верёвки (не толстые канаты, а именно тонкие верёвки). И что может пойти не так? Позаботьтесь, чтобы где-то поблизости дежурил реанимобиль, на всякий случай — дети такие затейники, и обязательно найдётся какой-нибудь семилетний гений, который решит поиграть во вздёрни друга детства на рее...

  1. Ну, потому что я сравниваю с результатами других сетей (которых насмотрелся), а вы - с уже хорошо сверстанным человеком текстом - и у вас требования к типографике, не к языку. Это разные сравнения, конечно.

Отсутствие Title Case в ответах уже можно рассматривать как уровень знания русского языка. Здесь два фактора:
1. Качество данных, на которых обучалась модель. Если это СЕО-заголовки, то там вполне такое практикуется, к сожалению, и довольно часто. Очевидно, что в идеале данные должны быть очищены от подобного мусора.
2. Наличие "ума" у модели, которая способна отделить мух от котлет. То есть если модель в итоге смогла понять, что хорошо, а что плохо, то в теории она может обучаться на любых данных, включающих в себя примеры и антипримеры правильности. К сожалению, это пока что на грани фантастики, по крайней мере на этапе обучения.

В любом случае, для хоть сколько-нибудь "умных" моделей работает костыль по типу "Respect Russian grammar; for example, avoid capitalizing all major words in titles". Радуемся тому, что есть.

Кто нибудь может объяснить для чего нужны, как реально используются, маленькие модели, например лама 8б.

  1. Ллама 8б не очень хороша на русском, но на английском это вполне приличная модель. Например, может отвечать на вопрос: "Определи тональность текста: позитивная, нейтральная, негативная". В целом, на такую модель GPT-4 это как-то overkill. Т.е. простые задачи.

  2. 8б проще/дешевле дотюнивать под определенные задачи / на определенные тексты. Например, у Ильи Гусева вышла Сайга3-8B - Ллама3-8Б, дотюненая на русский язык. По его бенчмаркам, она выигрывает (около 60% побед) у обычной gpt-3.5-turbo, при этом её можно адекватно запустить на домашнем GPU или даже CPU.

  3. Вполне возможно (но тут неточно) - ответы по контексту. Т.е. если вас не интересуют базовые знания модели, а нужно просто "вытащить" результат из простыни текста - небольшая модель это (имхо) тоже может неплохо сделать, хотя тут смотреть надо.

Модерация, определение сценария(не хотел ли юзер этими словами вызвать генератор изображений например), определение тональности итп, со всем этим плохо справляются даже самые большие модели, частые ложные и ошибочные срабатывания у них.

Вот например у меня есть функция сделанная на большой модели, она делает репромпт для рисования, юзер пишет нарисуй карты деньги 2 ствола а она должна переписать на английском и если запрос короткий и неподробный насытить его подробностями. Я пробовал заменить самую большую модель на поменьше и у более мелкой модели явные проблемы появляются, например она начинает путать стволы и бочонки, они по английски одинаково пишутся, не знает многих редких слов и персоналий. А она как бы не совсем маленькая - лама3-70.

Так что вопрос остается открытым, в каких реальных проектах и как реально используются мелкие модельки.

например она начинает путать стволы и бочонки, они по английски одинаково пишутся

(С квадратными глазами представляет себе зам́ок, акции и два курящих бочонка.)

Ну презентация была конечно ужасно скучная, особенно достал этот Пичаи, пора ему на покой мне кажется. Иногда показывали зрительный зал, я зевнул одновременно с одной девушкой (фотка завирусилась), это показатель конечно. Кроме флеша тоже не увидел ничего нового/полезного, одни обещания. Впрочем, после ОпенАИ конференции тоже ничего работающего не выкатили (кроме текстовой модели)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий