Goldman Sachs: у ИИ уже закончились данные для обучения

[legolegs]

Комментарий для обучения ИИ

[NeriaLab]

Сообщения о том, что ИИ "исчерпал данные", звучат так, будто весь интернет - это бочка мёда, которую случайно съели до дна, а теперь пчёлы в панике. Но дело не в количестве данных, их океан, люди их накапливали столетиями. Проблема не в "голоде", а в "аппетите". Мы продолжаем кормить LLM всё более "жирным цифровым фастфудом", надеясь, что из автозаполнения родится интеллект. На самом деле, данных хватит ещё на много жизней, если бы мы умели с ними работать. Вместо того чтобы генерировать синтетический мусор, можно было бы, например, строить системы, которые понимают, а не имитируют, используют онтологии, логические правила, модели мира - превращают данные в знания. Но пока мы считаем, что "больше текста = умнее модель", то мы никогда не исчерпаем данные, но быстро исчерпаем смысл.

[NeoCode]

Ну значит от количества нужно переходить к качеству. Углублять модели, объединять нейросетевые подходы и символьные вычисления...

[usrsse2]

ИИ обучается на данных, сгенерированных ИИ, точно так же, как люди тысячи лет обучались на данных, сгенерированных людьми.

[dmitriy_gertner]

Не, люди обучались на данных, получаемых от взаимодействия с физическим миром, либо от творческих поисков, инсайдов. А синтетические данные, которые ИИ может генерировать похоже на то как миллион обезьян посадили за печатные машинки, может через миллион лет войну и мир выкатят.