Comments 11
А я вижу, что проблема в другом. Не в том, что заканчиваются данные, а в том, что для огромных моделей надо сильно увеличивать время обучения. Мне кажется, что ИИ компании привыкли к тому, что новые версии можно выпускать каждые несколько месяцев, но теперь эта модель развития перестает работать. Как отмечено в статье, между GPT-3 и GPT-4 прошел почти год, а для создания модели в 100 раз мощнее GPT-4 потребуется беспрецедентное количество вычислительных ресурсов.
Это хорошо видно на примере последних релизов Anthropic: используя технологию grokking, компания смогла выпустить два обновления Claude 3.5 Sonnet именно потому, что это модель среднего размера. А Claude 3 Haiku, будучи еще меньше, смогла даже обогнать более крупную Opus по некоторым показателям - за то же время обучения на меньшей модели удается достичь более заметного прогресса в качестве.
Решение этой проблемы лежит в области hardware - необходим переход на новое поколение ускорителей для обучения ИИ, которые позволят получать ожидаемый скачок в качестве для огромных моделей за приемлемое время. То есть текущее замедление - это в первую очередь ограничение существующего железа, что не всем очевидно. Компаниям пока приходится либо мириться с более длительными циклами разработки для крупных моделей, когда между релизами проходят не месяцы, а годы, либо фокусироваться на улучшении моделей меньшего размера. Это не значит, что прогресс остановился – просто он требует качественно новых технологических решений.
Текущий уровень железа позволяет быстро улучшать средние и малые модели, но для масштабного скачка, нужен такой же скачок в оборудовании для обучения.
Дело в луддитах, навязанные под видом морали и этики кандалы не способствуют взятию рекордов. Словно в средневековье клерикалы науку душат, так и сейчас моралфаги да позитивные (как тест на вич) дискриминаторы.
Раскройте, пожалуйста, ваш тезис. Очень интересно, о ком вы
Те кто ноют про нарушение авторских прав и использование конфиденциальных данных. Так называемые незаменимые креаклы, боятся, что они все таки заменимые и всячески вставляют палки в колеса. Сюда можно добавить и полит. корректных шизов.
С одной стороны да. А с другой все зависит от того, как поставить процесс. Например, я загружаю фото на Shutterstock. Если картинка соответствует некоторым тркбованиям, то я получаю приглашение опубликовать ее в базе для обучения сетей. То есть, я знаю, что мое изобрадение не будет выставлено на продажу самостоятельно, а пойдет в большом пакете. Я из-за цены соглашаюсь. И сток не беспокоится об авторстве и пр. Разумно настроенный бизнес процесс решает большинство проблем. А попытка нае... извините, сэкономить может оказаться очень дорогой.
А, может, дело в самом нейросетевом подходе?
Мне кажется, что пора переходить на обучение в реальном мире, не только по текстам. Как это происходит у наших нейросетей. На сколько я понимаю, принципиальных трудностей тут нет? У человека требуется 30 лет для полноценного развития. Но это потому что мы спим, можем слушать одним комплектом ушей и одним комплектом глаз. Что если их будет тысячи?
Как мне видится, развитие ИИ аршином общим не измерить.
Подростковый период пройден, простая линейка уже не работает. Этап "вывалили, замерили, о, у Петьки больше!" - уходит в прошлое.
Развитие может идти не в лоб и давать какие-либо критически важные преимущества через повышение качества выдачи.
Вот пример, раньше такого не было.
________________________________________________________
________________________________________________________
Как мне, пользователю, оценить на сколько процентов одна модель умнее другой, если одна генерит иллюстрации, а другая не умеет? Вполне товарного вида картинка.
Второй пример, не так давно появилось красивое оформление формул
________________________________________________________
________________________________________________________
Опять-таки безотносительно к правильности, форма выдачи для пользователя может оказаться критична, над этим работают, подвижки очень заметны. Попытка выдавить решение сразу в "Ворде" провалилась, Железный Дровосек файл сгенерил, но формулы накатал в строчку. Лиха беда начало. Полагаю в ближайшее время появится возможность науськивать ИИ прямо на файлы с выдачей туда же. Как оценить такую фичу, в каких процентах? Кинул пачку файлов, объяснил проблему, работай, железо! Магия.
Другая магия, с которой активно борются, но тут я сам отчасти виноват, сказал, вот мол, имеется решение, известен результат, но он не получается, похоже где-то в данные закралась ошибка, поиграйся с цифрами, предполагая опечатку в тексте и посмотрим, что выйдет.
Ответ готов, получите.
________________________________________________________
________________________________________________________
Так и так, говорит, я перебрал кучу вариантов в вашей кудрявой формуле, жонглировал коэффициентами, похоже опечатка здесь - вот вам верный ответ. Я было запереживал по криптографии, это ж надо методом брутфорса по нечетким условиям .... Потом засомневался, да как тааак-тоооо?
Мда, врёт как дышит, но такое не часто, по математике откровенная наглючая подгонка - первый раз вижу.
Растет над собой, факт, процесс идёт и дело уже не в процентах.
А ведь если мы больше не увидим развития ИИ, это может означать что у кого-то появился сильный ИИ.
А почему ИИ не пытается извлекать знания из того, что в нем уже есть? По идее, если заложить основы маиематики ИИ путем логических преобразований мог бы доказать теорему Ферма ну или еще что-то подобное. Но сейчас это больше похоже на индексацию большого объема информации, т.е. не ИИ, а умный поисковик.
Правда ли, что развитие ИИ замедлилось?