Comments 6
Спасибо за очень интересную статью.
Сегодня учёный держит определённую дистанцию с машинным обучением. По его мнению исследователи ИИ пошли коротким путём, и чем дальше основные исследования ИИ отходят от человеческого мозга, тем больше они создают технологий, которые трудно понять и контролировать.
Это ключевая фраза.
программисты пошли быстрым путем, который предполагал обработку огромного объема данных.
Но, ребенку не нужно показывать миллион фото котиков, чтобы он научился их узнавать.
Но при этом ребенок получает гораздо больше качественных данных, которые не измерить числом
Гм... Данные для обучения "мега-больших" моделей уже кончились (ну так нам объявила сама openai. ) Я это понял как то, что потенциал роста моделей и их улучшения на этой конкретной архитектуре практически исчерпан... В то время как дети становятся разумными с гораздо гораздо меньшими объемами данных. Человек не в состоянии даже один раз прочитать корпус текстов, использовавшихся для обучения уже gpt3.5 , не то что o1 и той модели, на обучение которой ныне данных не хватило.
Я думаю, в какой то момент эти люди перестанут отпираться. Думается, начало новой ии-зимы совпадет по времени с началом нового экономического кризиса и схлопыванием этого пузыря с "мега-большими LM". Это явно промежуточная точка с тупичком, в лабиринте к настоящему ИИ. И в какой-то момент надо будет двигаться даже назад - искать среди уже отброшенных идей, что пропустили.
Качественных а не количественных я еще раз говорю
Ребенок "качественные" данные получает с момента, как говорить научится. До этого у него "unsupervised learning" и оно как и всегда в отсутсвии учителя происходит на всех данных, а не только отобранных. А когда научился говорить, поток данных только снижается: по сути он равняется тому, что объясняют взрослые и тому, что он прочитает, когда его научат читать. И это значительно меньше корпуса обучения сегодняшних моделей. Нынешние модели в этом плане вообще "дуболомные" - они читают всё подряд и с полного нуля. (только не надо про дообучение. Оно работает только в узких пределах) Нет никакого разделения на стадии. У человека уменение говорить и читать - лишь первая стадия. Само по себе это умение не дает никаких других навыков. В то время как вся модель трансформера построена по сути на извращенном умении "читать" - в попытке предсказать следующее слово... Ну какие тут качественные переходы могут быть ? Вернее, собственно переход уже случился - от полной бредятины, которую выдавали модели до Bert, оно перешло к осмысленным фразам и даже привязанным к контексту.
Не большое отсступление: по Хомскому, это рост от осутствия грамматики до грамматики контекстно-зависимой, т е продвинутого бота Именно поэтому на незнакомых этой моделе данных, она через короткое время начинает выдавать ахинею. На gpt3.5 это можно было наблюдать в попытке сыграть с ней в шахматы. Человек бы записывал ходы и на бумаге рисовал фигуры, не делая ходов, нарушающих правила, не через 10 не через 100 ходов, а модель сбивалась как только игра выходила за рамки типовых позиций в книжках. Имея абсолютную память компьютера, имея возможность помнить каждый ход, всё равно выходит так, что человек ее легко обыграет. Я подозреваю, что в gpt4 и выше это "починили", отправляя ходы специализированному интеллекту, точно так же как математические задачки оно отправляет в математический решатель. Но проблема в том, что достаточно придумать свои, не слишком элементарные правила ходов и всё снова сломается. На мой взгляд это демонстрирует фундаментальную проблему выбранного подхода. Сейчас вот пытаются прикрутить к этому reinforcment learning, но это опять будет костыль, лишь усложняющий демонстрацию фундаментальной проблемы отсутствия именно мышления у модели данной архитектуры. Ведь reinforcment learning - это бледная копия того как действует человеческий интеллект. Плюс прикручивают это опять сверху черного ящика под названием "трансформер", т е на той же архитектуре... )
Из этого видно что тут нет и не может быть никаких других способностей, свойственных интеллекту. Даже если это учить на очень хитрых шаблонах, которые для предсказания требуют подобия индуктивного мышления. Проблема в том, что это именно подобие. И в общем сегодня все попытки вокруг этого происходят. Сама сеть используется исключительно как черный ящик. Отсюда неизменность базовых алгоритмов и ждать тут какого-то существенного развития просто неоткуда. Для его появления архитектура и возможно алгоритмы обучения должны еще как минимум раз существенно изменится. А для этого нужна ещё одна волна ученгых уровня Хинтона, и многолетние многомиллиардные исследования, с не гарантированным результатом, в которые ни одна корпорация денег не вложит, потому что корпорации это про деньги сейчас (ну максимум через 2-5 лет, если акционеров не много и они готовы рисковать и ждать). Так что сейчас - это ни что иное как надувание нового пузыря. И он в общем то достиг максимальной точки. Уже начали пытаться извлекать оттуда маржу, не взирая на репутацию. А значит скоро начнется сдувание. Поэтому лично я к этому отношусь очень скептически.
А у нас Галушкин открыл алгоритм обратного распространения ошибки!
Самураи искусственного интеллекта