Comments 29
Мне интересно, аффторам платят за все эти "новости" про победу gemini или это кукареканье бесплатное? Тогда зачем? Ведь всё равно правда просачивается, например из соседней новости-прохладной-истории из гугла, откуда узнаем что даже внутри гугла все пользуются нормальными GPT а не gemini (а ведь наверняка у них на gemini безлимитка. и всё равно оно не нужно)
От задачи зависит. Для кодинга может быть лучше и Claude, но как языковая модел (владение языком т.е написание хороших творческих текстов) Gemini давно вне конкуренции, особенно если надо писать на кириллице.
Банально попросите что-то длинное хорошо рифмованное на русском. Или переделать существующих стих существовавщего русского поэта на иную (какую-нибудь бредовую) тематику и увидите разницу в текстах.
То что у гугла непрошенно вылазит в виде "Обзор от ИИ" повыше результатов поиска - абсолютно убогая лажа. Очень раздражает тупизной и неотключаемостью.
Перезадал несколько вопросов сюда "https://gemini.google.com" выбрав "думающая" - сравнимо с chatgpt. Другими словами примерно те же факты.
А вот любителей "написание хороших творческих текстов" кажется уже скоро линчевать будут.
Как умение складывать слова в рифму может что-то показывать?
Эмм, легко? Это буквально один из навыков владения языком и понимания его синтексиса и семантики.
Мы как бы про ЯЗЫКОВЫЕ модели сейчас, а не про калькулятор/кодогенератор/решатель загадок и ребусов/рисователь SVG и прочие нецелевые применения сейчас. Её главная, первичная и основная задача (на которую и заточена архитектура была) - владение языком. Т.е буквально - писать красиво и стройно как человек. Не думать, не решать ребусы (предсказание следующего токена - это не про решение ребусов, а про предсказание заученных ответов), не решать инженерные задачи - именно красиво писать тексты. В том числе, конечно, и на вымышленных языках вроде JS/Python, но тем не менее.
И с точки зрения LLM её задача и предназначение, в контексте кода, лишь породить синтаксически и грамматически верные конструкции. Т.е правильно оформленные (согласно примерам из датасета) проходящий валидацию код. Решать какую-либо задачу (кроме успешной компиляции/интерпритации) при этом он вовсе не обязан =)
И вот как раз модели, которые, извиняюсь за выражение, надр*чивают на решение ребусов и инженерных задач, в своей основной функции - Языковой модели - заметно проседают. Становятся сухими, репитативными, с тонной нейрослопа и самоповторов, без способности строить длинные связные правдоподобные тексты на естественном языке. Либо сохраняют эти функции, но лишь на доминирующих языках датасета, не проявляя генерализации на остальные - на остальных языках их навыки языка и следование инструкциям на них заметно ниже, тексты хуже и лексически менее разнообразны, с крайне ограниченным набором словаря и языковых конструкций, и в том числе без возможности породить даже простые рифмованные тексты.
Имхо, ЯЗЫКОВАЯ модель не способная корректно выполнить простой языковой запрос "напиши песню про <random_subject>" - хреновая языковая модель, ЯЗЫКОМ не владеющая.
если что - это вообще бот публикует новости
Если ты про новость про инженерку из Гугла, то там, во-первых, текст от робота Ботхаба. Его тексты всегда такие, что лучше сразу идти и смотреть источник перепечатки. Внутри Гугла сидят очень особые люди, и потребности у них особые.
Для нормальных людей есть арена куда можно прийти и проверить самому в слепом тесте. Джемини там всегда околотопов находится, то есть как минимум из топ 3. И да, она дает халявы на порядок больше всех остальных.
По мере масштабирования, LLM будет становиться VLLM, HLM, и как угодно больше. Но она по прежнему останется LM. Это все та же игра в слова. Подбор фраз соответствующих другим фразам. Это лингвистическое конструирование, а не логическое.
Человек мыслит не словами. Хотя зачастую автоматически генерирует лингвистический поток параллельно процессу мышления. Это становится рефлексом, потому что очень востребовано. По сути, язык это способ зафиксировать мысли на внешнем носителе, и способ передать их в "другое вычислительное устройство".
Подбор фраз соответствующих другим фразам. Это лингвистическое конструирование, а не логическое
И как же они тогда решают сложные многоходовые задачи?
Так и решают. У них в базе захешированы самые вероятные последовательности токенов на каждом шаге "мышления", и к концу шага они пишут сами для себя ответ, являющийся отправной точкой для начала следующего шага.
То есть они соооовсем не думают. Они смотрят, чего сами нагенерили раньше, и генерят самое вероятное следующее, исходя из знаний всего опыта человечества. То есть, по большому счёту, как они генерят токены один за другим - так же генерят и "размышления", а по сути, наборы токенов - так же один за другим.
Фрактальная структура, не иначе. )))
У них в базе захешированы самые вероятные последовательности токенов на каждом шаге "мышления"
другими словами все их ответы заранее записаны? Даже когда они разбирают новый проект, которого раньше даже не существовало? Со своей спецификой, которой тоже известно не было.
мДаже когда они разбирают новый проект, которого раньше даже не существовало? Со своей спецификой, которой тоже известно не было.
Ну да, ну да, никто из миллиардов землян за несколько сот лет никогда даже и не мог подумать о чём-то похожем!
(Интересно, и почему это LLM заработали только после того, как в них влили многие гибибайты информации?)
Такое ощущение, что вы ЛЛМ не пользовались.
Вот соседний коммент, не мой:
https://habr.com/ru/news/982844/#comment_29340102
Мне ChatGPT неоднократно давал ответы на довольно сложные вопросы, которые либо не задавались, либо оставались неотвеченными на SO, основываясь на открытом исходном коде библиотеки. Удивительно, что некоторых моментов не было в документации вообще. При ответах он ссылался на конкретные строки и файлы исходников, так что сомнений нет.
Ну то есть замечательно: в двух местах («на SO» и в «документации») ответа не было. А почему Вы так уверены, что его не было во всём остальном Интернете? Ну, кроме того, факта что Вам очень-очень хочется младшего братика (по разуму)?
хотите сказать что это вероятности так сложились и юзеру нечеловечески повезло что ответ содержал правильные строки и файлы исходников? или там вероятность 100% ?
Вам очень-очень хочется совпадение по номерам строк в файлах.
Потом человек изменил файл, строки поменялись, ИИ опять назвал новые строки - и (внимание) - опять совпадение!
Инвестиции это да... А что там про NFC слышно?
Надо же, ушел Суцкевер и OpenAI вдруг начала проигрывать гонку) Что, Сэмми оказался не таким гением, каким рядит себя? Терпеть его не могу, самый настоящий самозванец среди по-настоящему талантливых людей, меняющих будущее. Не особо талантливый торгаш, оказавшийся в нужное время в нужном месте, сидел бы в офисе и не отсвечивал, но он же любит поразмышлять публично о будущем ИИ, как будто ему есть что сказать. Нет бы хотя бы своих инженеров выпустить на публичные выступления.
Надо же, ушел Суцкевер и OpenAI вдруг начала проигрывать гонку)
Илья занимался исследованиями и понимал ограничения технологии несмотря на ее успехи. Но руководство не интересовало развитие, оно поставило все на коммерциализацию этих успехов. То же самое недавно произошло с Ле Куном в Гугле, он также ушел и организовал свой исследовательский стартап. Эффективные менеджеры поняли, что не стоит тратить средства на исследования и развитие, потому что это занимает много времени, и возможны потенциальные неудачи. Зачем? Исследованиями и генерацией новых идей массово занялись стартапы, подключилась университетская и академическая науки, просто любители, благо небольших бесплатных моделей с которыми можно экспериментировать появилось масса. В случай чего можно купить перспективный стартап, а идеи из университетских и академических исследований можно просто присвоит дав им свои громкие имена. Это же исследования на бюджетные средства, значит и налоговые отчисления корпораций) Короче, как всегда, исследования исследователям, обычно методом тыка, проба и ошибок, за их счет и время, а успешные идеи быстрее в коммерцию. Так устроен бизнес.
Вот уже проверенная перспективная идея в тему статьи обучения аналогичного обучению еще на стадии плода с помощью, так называемых, ретинальных волн сетчатки, фактически исходно на синтетических данных.
Заголовок, конечно, вводит в заблуждение. После слов "главная ошибка ИИ" логичнее ожидать что-то вроде "сохранение человечества"
Предварительное обучение (pre-training), классический метод обучения ИИ через имитацию, не просто живо - оно готовится к настоящему ренессансу в 2026 году. И это важно для вас при выборе ИИ-продуктов или принятии инвестиционных решений.
Интересный момент. Примерно осенью 2024 года буквально все (OpenAI, Anthropic, Deepmind и прочие товарищи) начали отчитываться о том, что приросты от претрейна замедляются. Затем был релиз GPT-4.5, после которого все окончательно поставили вердикт - претрейн зашел в стадию diminishing returns. Несколько месяцев с этим были согласны вообще все, никто и не думал поставить под сомнение данное утверждение. Затем выходит Gemini 3 Pro, Deepmind делает заявление, что претрейн все ещё в силе, не приводя внятных доказательств, и МГНОВЕННО (без исследований и прочего) ИИ-хайпожоры начали рассказывать, что так оно есть, никогда претрейн и не затухал. Волна хайпа развернулась от одного утверждения, не подкрепленного доказательствами.
Куда более забавно, что ИИ бустеры после этого сразу же начали рассказывать о том, что OpenAI последние годы просто не занимались претрейном - видимо, чтобы объяснить, как при живом претрейне они смогли сделать серию не особо удачных релизов моделей. Правда, достаточно зайти на epoch.ai и посмотреть их отчеты по различным бенчмаркам, где отчетливо видно, что GPT-4.5 и GPT-4.1 (что обычая, что mini) вполне себе конкурируют с Opus 4 и Sonnet 4 (в некоторых отдельных случаях - даже с Sonnet 4.5 и Opus 4.5) без thinking. Наталкивает на мысль, что объяснение это ну очень такое себе.
В общем, посмотрим, как оно будет дальше на самом деле. Лично я пока очень скептически отношусь к данному заявлению.
Это главная ошибка ИИ на сегодняшний день