он не обучается между запросами, просто работа алгоритма не зафиксирована предварительно. Даже для одного и того же запроса модель может сгенерить сотню разных (с точки зрения формулировки и цепочки рассуждений, но не обязательно финальных результатов) ответов.
вопрос в том, как часто в этих разных генерациях получаются правильные ответы. Одно дело 999/1000, другое — 3 из 5 (то есть 40% ошибок).
Поддержу этот коммент с ИИ-стороны. Мне кажется превосходство o1 как раз берётся за счёт того, что она не просто из головы факты достаёт (размер знаний у неё скорее всего такой же, как у gpt4o), а умеет их совмещать, и если картинка не складывается, то искать ещё и ещё варианты (зацепки). И потом приходит к озарению, что вот, этот вариант под всё подходит, значит, ответ готов.
Модель ведь не обучали с нуля только на цепочках рассуждений. Сначала, как и раньше, ей нужно было передать знания и заставить запомнить статистические зависимости между токенами, обучив на текстах интернета. Оттуда и остались эти "хммм". Лишняя трата ресурсов, от которой модель не смогла избавиться. Есть подозрение, что это вообще не новая модель, а только файн-тюнинг старой.
да, с этим я согласен, то есть она язык-то выучила по книгам и интернету. Я говорю, что если бы её тюнили только на написанных специально нанятыми экспертами цепочками рассуждений, то такие артефакты бы ушли почти наверняка.
Интересно, а почему нельзя добиться того же за один проход подстройкой параметров генерации вроде температуры или топ-к?
думаю причина — в дереве генераций токенов. Вариантов написать предложение из 10-20 токенов ОЧЕНЬ много, и мы стараемся делать более-менее качественную генерацию через семплинг токенов на каждом шагу, считая, что поулчается неплохо. Но если мы переберем больше комбинаций — будет еще лучше.
Справедливости ради там не написано, что оно делает перебор всех состояний. Играть "до конца" можно текущей стратегией в упрощённом виде + эвристикой, да даже делая случайные ходы.
Да, и цена на модель пока кусается, но на GPT-4 за полтора года с момента релиза уронили цену более чем в 5 раз (а модель при этом улучшилась). Нет оснований полагать, что и тут не произойдет то же самое.
Плюс, многие компании работают над специальными ускорителями, которые как GPU, но заточены конкретно под одну архитектуру. Сами OpenAI точно хотят делать свои чипы и даже ведут переговоры с компаниями-производителями/поставщиками. Чипы не появятся завтра или до конца года, но на горизонте 5 лет мы точно увидим существенное ускорение + удешевление даже при условии того, что модели будут и больше, и дороже.
Думаю, тут всё же другая интерпретация. Скорее всего модель просто немного подзабыла, как те задачи хорошо решать, потому что последние итерации обучения были сугубо на математику/физику/программирование. Эти навыки как бы немного вытеснили работу с текстом, отчего качество просело.
Также думаю, что в продуктовой линейке моделей GPT (4.5 или 5) это пофиксят, то есть сделают так, что модель и в выбранных топиках сильно лучше (как o1), и в на других задачах немного, но прирастает.
о1 это в некотором смысле всё же прототип технологии обучения и работы, который ещё обкатывают.
Перспектива есть, вот один шаг был описан в статье, где мы отслеживаем внимание модели и проверяем, что оно указывает на реальный текст, а не на <start of sentence>
С внутренними знаниями тема сложнее, но прогресс ожидаю. И думаю, что масштабирование LLM тоже уменьшит величину проблемы — то есть от GPT-5 стоит ждать сподвижек.
Насколько я вижу, тут нет счётчика времени раздумий. Похоже, это старая версия гпт-4о, а не новая о1.
And what never occurred to them is that those people were referring to the future and the perspective, not the present *just like now*
у кого что где ограничено то? вот я уменя ща на ноуте не ограничено. У LLM в контейнере не было ограничено.
Не понял про пакеты, никаких новых не ставилось. LLMка просто дала команду типа docker run <tag> cat <file> демону.
(таков дизайн эксперимента, берем попугая, учим одним примерам, проверяем на других, и на невиданных ранее парах он тоже отвечает правильно)
если попугай отлично отвечает на примеры умножения, которые никогда не видел — то как он это делает?
Ого, круто, а прогони задачки AIMO и GPQA, посмотрим, какие оценки будут!
/s
не согласен
он не обучается между запросами, просто работа алгоритма не зафиксирована предварительно. Даже для одного и того же запроса модель может сгенерить сотню разных (с точки зрения формулировки и цепочки рассуждений, но не обязательно финальных результатов) ответов.
вопрос в том, как часто в этих разных генерациях получаются правильные ответы. Одно дело 999/1000, другое — 3 из 5 (то есть 40% ошибок).
Поддержу этот коммент с ИИ-стороны. Мне кажется превосходство o1 как раз берётся за счёт того, что она не просто из головы факты достаёт (размер знаний у неё скорее всего такой же, как у gpt4o), а умеет их совмещать, и если картинка не складывается, то искать ещё и ещё варианты (зацепки). И потом приходит к озарению, что вот, этот вариант под всё подходит, значит, ответ готов.
да, с этим я согласен, то есть она язык-то выучила по книгам и интернету. Я говорю, что если бы её тюнили только на написанных специально нанятыми экспертами цепочками рассуждений, то такие артефакты бы ушли почти наверняка.
думаю причина — в дереве генераций токенов. Вариантов написать предложение из 10-20 токенов ОЧЕНЬ много, и мы стараемся делать более-менее качественную генерацию через семплинг токенов на каждом шагу, считая, что поулчается неплохо. Но если мы переберем больше комбинаций — будет еще лучше.
Справедливости ради там не написано, что оно делает перебор всех состояний. Играть "до конца" можно текущей стратегией в упрощённом виде + эвристикой, да даже делая случайные ходы.
Да, и цена на модель пока кусается, но на GPT-4 за полтора года с момента релиза уронили цену более чем в 5 раз (а модель при этом улучшилась). Нет оснований полагать, что и тут не произойдет то же самое.
Плюс, многие компании работают над специальными ускорителями, которые как GPU, но заточены конкретно под одну архитектуру. Сами OpenAI точно хотят делать свои чипы и даже ведут переговоры с компаниями-производителями/поставщиками. Чипы не появятся завтра или до конца года, но на горизонте 5 лет мы точно увидим существенное ускорение + удешевление даже при условии того, что модели будут и больше, и дороже.
Я думал написать так, но мне кажется это слово не передаёт смысла. Кто мыслитель, что мыслитель...
Думаю, тут всё же другая интерпретация. Скорее всего модель просто немного подзабыла, как те задачи хорошо решать, потому что последние итерации обучения были сугубо на математику/физику/программирование. Эти навыки как бы немного вытеснили работу с текстом, отчего качество просело.
Также думаю, что в продуктовой линейке моделей GPT (4.5 или 5) это пофиксят, то есть сделают так, что модель и в выбранных топиках сильно лучше (как o1), и в на других задачах немного, но прирастает.
о1 это в некотором смысле всё же прототип технологии обучения и работы, который ещё обкатывают.
Самый умный в классе был? :)
:(((((
Думаю, хорошее место чтобы начать (после прохождения курса) - это вот тут. Несмотря на то, что указано, что outdated - многое всё еще актуально.
БРАААААААААААААААААААААТ ПРОСТИ Я СЛУЧАЙНО, я просто мимо тыкнул. Не вижу, как отменить или снять...... сорян(((
написал в поддержку, чтобы это исправить, надеюсь, помогут и отменят.
Перспектива есть, вот один шаг был описан в статье, где мы отслеживаем внимание модели и проверяем, что оно указывает на реальный текст, а не на <start of sentence>
С внутренними знаниями тема сложнее, но прогресс ожидаю. И думаю, что масштабирование LLM тоже уменьшит величину проблемы — то есть от GPT-5 стоит ждать сподвижек.