Комментарии 3
Когда-то эти все нетерпеливые «двигатели прогресса» поймут, что тренировать черную коробку на материале из другой черной коробки и ожидать человеческую конфетку - как минимум наивная, как максимум глупая и опасная идея; и больно-больно ударятся, когда все эти новые модели в продакшене начнут творить херню
Возможно нейронные сети мозга также обучаются на своеобразных "синтетических" данных на эмбриональной стадии развития, когда структура отделов мозга и их связей только формируется. Информация через органы чувств на этой стадии не поступает, но в их формирующихся структурах и связанных отделах мозга наблюдается спонтанная активность, которая в случае зрительной системы известна как ретинальные волны. Вначале не могли понять зачем они нужны. Со временем выяснилось, что для формирования, как организации самой сетчатки, так и ретинотопической структуры связанных отделов формирующегося зрительного тракта, но возможно, и более тонкой настройки нервных сетей. Происходит их самообучение с помощью своеобразного встроенного "симулятора реальности", см. эту публикацию с описанием механизма такого обучения. Это позволяет использовать зрение сразу же после рождения, для некоторых видов это весьма актуально с точки зрения выживания, например, детенышей антилоп. Исследования еще продолжаются из-за трудностей регистрации такой активности на эмбрионах. Возможно этому помогут исследования на органоидах мозга у которых также обнаружена подобная спонтанная активность.
Обучение ИИ на синтетических данных: исследователи из MIT меняют правила игры с системой StableRep