Comments 19
Органично внедрить знания в модель - вообще сложная задача для всех мыслящих систем, не только для искусственных классификаторов. Учеников можно учить через данные (английский дошкольникам), через методы (математика в средней школе), примером (физкультура), самообучением без учителя (заочное обучение). Напрямую поместить набор коэффициентов из одной головы в другую не получается ;)
В искусственнных сетях неплохо работали БСД - байесовские сети доверия - там можно было примерно расставить начальные вероятности согласно знаниям человека о предметной области.
Спасибо. Познавательно и легко читается.
Откуда человек в процессах развития и обучения получает свои inductive bias?
Отличная статья, спасибо.
Очень ценно замечание, что несмотря на способность нейросетей аппроксимировать сколь угодно сложные функции, их архитектура может быть заточена под определенные условия, что в свою очередь также вызывает смещение моделей. Как это ускользало от меня.
Допустим, мы хотим натренировать наш трансформер так, чтобы в выдаче отсутствовали какие-то словосочетания. Вот каждое слово по отдельности присутствовать могло, а в указанной комбинации — нет.
И вот тут возникает проблема таких масштабов, что проще оказывается применить фильтрацию выдачи — генерировать в разы больше результатов, чем нужно, а потом прогонять их через фильтр. Потому что в loss-функцию вы даже такое простейшее правило не запихнёте. Т.е. тренировать сеть так, чтобы «штрафовать» её за нарушение некоего набора правил, оказывается крайне сложно. Backpropagation для этого не годится.
Рассуждения об исключении влияния фона навело меня на мысль, что в некоторых ситуациях именно фон может быть самой важной информацией. Например, если дать испытуемым набор фотографий собак и кошек на фоне природы и в домашней обстановке и попросить их разделить снимки на две категории, они скорее всего разложат в разные стопки собак и кошек. А ведь можно сложить в одну категорию природные сцены, а в другую - домашние.
Inductive bias ~ abductive relation Или, проще, можно понимать как область существования (модели etc) Или как общая функция, описывающая рассматриваемые данные (которая может быть неизвестной). Или как смысл — это самое короткое определение. Кстати, inductive этот bias, строго говоря, не является, поскольку индуктивным выводом его не получить.
я, если честно, не совсем поняла ваши определения. И мне все же кажется, что они неверно отражают значение термина inductive bias
Ваш комментарий это тоже пример Inductive bias. Смысл субъективен и существует лишь для тех, кто его воспринимает. Если чего-то не понимаешь, то это действительно не существует. А для того, кто понимает, существует. Так что мы оба правы. Inductive bias это фактически понимание. Ну или смысл, как я уже писал. У меня статья на эту тему. Там есть формальное определение когнитивных понятий, в том числе "смысл". И определение интеллекта из 2(двух) слов. Ссылку давать не буду. Пожалуй, лишь добавлю, что фраза "не понимаю поэтому неверно" является очевидно неверной.
Да, и «Шерлок Холмс использовал абдукцию, а не дедукцию» / «Sherlock Holmes practised abduction, not deduction»
Поэтому индукция тут ни при чем. Впрочем, и это я уже писал.
Я не сказала ничего похожего на "я не понимаю, поэтому неверно". Ссылку давать не будете — ок, сама ее тоже тогда искать не буду. Разойдемся каждый на своем.
Из ваших двух сообщений я все еще поняла очень мало, но мне кажется, что вы путаете inductive bias и bias в принципе, который и есть уже "смысл" или "понимание". По крайней мере, я разделяю эти два понятия. Inductive bias — то, что человек хочет вложить в модель намеренно, bias — что в итоге вышло.
У вас противоречия в высказываниях.
>>Я не сказала ничего похожего на "я не понимаю, поэтому неверно".
Вот ваша фраза:
" не ... поняла ... мне ... кажется, что они неверно" Ничего похожего? Любой алгоритм определит похожесть.
>> bias в оригинале это не смысл, а убеждение, мнение. Которое может быть ошибочным. Почувствуйте разницу.
>>inductive bias это скорее про поиск смысла с помощью индукции. Я указал, что индукция при этом не используется, используется абдукция. Почитайте Пирса, если будет интересно
И нет, я ничего не путаю в данном конкретном случае. Мне тут все понятно.
Англицизм "inductive bias" не воспринимается, вот вообще никак. Прям отторжение. Неужели нет термина соответствующего в математике, я полагаю это же всё равно основано на каком-то математическом аппарате? И ещё хотелось бы подробный разбор Альфафолда "для чайников", можно? Мне бы даже в частном формате, понимаю, что статью писать - это большой и долгий труд.
Что ж, а я не воспринимаю русские аналоги ¯\_(ツ)_/¯
Я пишу статью и стараюсь, чтобы всем было максимально понятно, о чем идет речь. В моем понимании "максимально понятно" — это вот так. Потому что именно этот термин используется в проф. среде (по крайней мере, я так его слышу) и человек, прочитав статью, сразу поймет, о чем речь.
Устоявшегося русского эквивалента по-моему нет. Я бы предложил переводить как "предпочтение индукции".
Inductive bias и нейронные сети