Comments 11
Много громких заявлений, а по сути она число букв R в strawberries подсчитать не может или число слов в короткой фразе. Про вождение вообще не в тему. Ей уже всё распознанное присылают.
Следом обязательно проверьте Jev на кружке без дна и спросите, идти ли пешком в автосервис
Можно и проверить. Что вас смущает? Сразу выявляет ограничения модели. Кстати, если указать просто строку типа "rrrrr...", то до 7 она еще считает, дальше уже всё.
То, что вы делаете давно описано анекдотом
Скрытый текст
Купили как-то суровым сибирским лесорубам японскую бензопилу.Собрались в кружок лесорубы, решили ее испытать.Завели ее, подсунули ей деревце.«Вжик» — сказала японская пила.«У, бля...» — сказали лесорубы.Подсунули ей деревце потолще. «Вж-ж-жик!» — сказала пила.«Ух, бля!» — сказали лесорубы.Подсунули ей толстенный кедр. «ВЖ-Ж-Ж-Ж-Ж-Ж-Ж-ЖИК!!!» — сказала пила.«Ух ты, бля!!» — сказали лесорубы.Подсунули ей железный лом. «КРЯК!» — сказала пила.«Так-то, бля!!!» — укоризненно сказали суровые сибирские лесорубы! И ушли рубить лес топорами…
Задача элементарного подсчёта чего-либо, по-вашему, неподъемна и не должна поступать на вход подобным нейросетям? Интересно логику понять или это так, дух противоречия?
Только “сколько букв r в слове strawberry” - это НЕ ЗАДАЧА НА ПОДСЧЕТ, “внезапно”, а задача на память. Прежде, чем инструмент “тестировать” идиотскими вопросами, хорошо бы хотя бы минимально с работой этого инструмента ознакомиться. Это вы видите слово, состоящее из букв. А llm видит токены. Слов она не видит. Ну не состоит "strawberry " из букв, понимаете? Это просто одно число, порядковый номер токена в токенизаторе, из которого принципиально НЕВОЗМОЖНО ВЫЧИСЛИТЬ его “состав”, потому что нет никакого состава. Чтобы llm решала ту же задачу на, как вы выразились, “элементарный подсчет”, вам надо дать ей то, что в принципе возможно посчитать - то есть ручками между всеми буквами ставите пробел, от чего один токен-слово превратится в несколько токенов-букв, и модель легко сможет именно что посчитать ответ.
А в вашей формулировке модель ничего не может подсчитать. Ей нужно перерыть всю свою память, предположить, на какие числа можно разбить ваше число strawberry и уже на основе этого предположения дать ответ. Вычислить, ещё раз повторюсь, принципиально невозможно, если только у модели нет доступа к словарю собственного токенизатора
Про токены в курсе, возился с токенизатором когда-то. Но вывод вы делаете из верного факта о токенизации совершенно неверный. Во-первых мы не знаем какой токенизатор используется в этой модели. Это и было одной из целей исследования. Во-вторых, как по-вашему рассуждающие модели раскладывают слово на буквы, если, как вы пишете, "НЕВОЗМОЖНО ВЫЧИСЛИТЬ" состав? А как модели стихи пишут, делая отличные рифмы, если это им токены пришли? За время обучения модели много чего узнают про токены, в том числе и спеллинг, связи со звучанием и прочее. Да, это выученная в ходе обучения информация, ну, так модель из такой информации вообще и состоит. Поэтому из того, что модель получает токен, совершенно не следует, что она не может знать его символьное соответствие и обязана быть тупой. И дело не только в токенах, я давал ей и тест на подсчёт слов, где проблема с буквами внутри одного токена вообще не объясняет ошибку. Тоже ошибалась.
Нормальная сеть в этом случае пишет программу для подсчёта количества букв и отдаёт пользователю результат.
Каждой задаче - свой инструмент. Так понятнее?
И, кстати, про более чем 7 r
Jev: как устроен его API решений и что на нём уже строят