Комментарии 20
Больше всего меня удивляет как в России принято коверкать его фамилию.
Чомски!
Чомски!
Скорее всего это связано с тем, что фамилия в оригинале имеет польские корни и на польском звучит как Хомский если же фамилию записать по-английски Homsky, то читаться она будет как Омский. В общем исторически так сложилось, что в русском языке Хомский на моей памяти с 70х годов прошлого века.
Браузер Гугл Чром) Вообще да, называть лучше всего так, как кто-то сам себя называет. Но, наверное, не стоит удивляться существованию Экзонимов и разных Эндоэтнонимов
Это немного абстрактно (и слишком сложно, чтобы разрешить всё правильно), но по существу «слияние» — это процесс взятия двух объектов и их объединения для формирования нового объекта… Этот небольшой, но решающий генетический скачок может не только объяснить нашу способность к вербальному общению, но и привести к тому, что он может отвечать (по крайней мере частично) за наши математические талантыЗа математические способности в большей степени отвечает чувство численности, это достаточно надежно установленный факт в когнитивных исследованиях. То о чем говорит Хомский больше относится к символьной математике, это надстройка над нативным пониманием численности. Возможно автор статьи именно это имеет в виду говоря о частичности в скобках. В свою очередь чувство численности и способность к грамматике лишь небольшая часть врожденных способностей, кот. составляют содержание когнитивного ядра. В него, кроме математической и лингвистической составляющей, входит также физическая и психологическая составляющие.
Поучительный пример такого подхода — модель AlphaGo (разработана компанией Google), которая научилась играть в Go (сложную, проблемную настольную игру) и в конечном счёте стала непобедимой для чемпионов мира среди людей. Самое впечатляющее в этом то, что она была обучена играть без жёстко закодированных правил или вмешательства человека, то есть модель была «tabula rasa».Это распространенное мнение среди части разработчиков приложений ИНС, но не совсем обоснованное. Сам по себе модельный нейрон содержит некоторые определенные возможности + заданная архитектура сети. Чем сеть архитектурно богаче и мощнее, тем большими возможностями моделирования она обладает, и тем более широкий круг задач способна успешно решить. Причем эффективность решений предполагает некоторую оптимизацию их архитектуры в соответствии с решаемыми задачам. Для биологических сетей эту оптимизацию произвела эволюция путем отбора, ИНС могут повторять эту архитектуру при решении аналогичных задач, что собственно объясняет биологическую инспирированность их разработки, кот. декларируется в таких работах со ссылками на нейрофизиологические исследования. Если архитектура ИНС приближается к архитектуре биологических сетей, то можно говорить о масштабировании эффектов в сетях в сравнении с биологическими. Пример такого масштабирования для распознавания (сегментации) сцен, связанного с глубиной сети, см. это исследование. Чем больше глубина сети, тем точнее сегментация для разных условий, и тем ближе результаты к результатам человека.
Выполнение задачи не сводится только к настройке весов связей в сети, роль играет ее архитектура, и часто требуется специфическое предобучение сети, с привлечением методов оптимизации релевантных решаемой задаче. Эти неявные моменты не учитываются при аргументации обучения с чистого листа, а они существенные, см. публикацию на эту тему, в ней обсуждается ситуация с AlphaGo.
с привлечением методов оптимизации релевантных решаемой задачеТипа дерева перебора с альфа-бета отсечением? А AlphaGo Zero его все еще использует ли. Даже если использует, это не представляется необходимым. Архитектура, алгоритм тренировки, вот и вся априорная информация, имхо и в биологии также, слишком сложный «стартер обучения» в процессе эволюции будет ломаться быстрее чем совершенствоваться.
НЛО прилетело и опубликовало эту надпись здесь
https://youtu.be/cMscNuSUy0I?t=1358
So for example, take the structure dependence case that I mentioned, suppose there was a language in which you used linear proximity as the mode of interpretation, these deep learning
would work very easily on that. In fact, much more easily than on an actual language.
Is that a success? No, that's a failure. From a scientific point of view that's a failure. It shows that we're not discovering the nature of the system at all 'cause it does just as well or even better
on things that violate the structure of the system, and it goes on from there.
Он считает, что безусловно есть некая структура человеческого языка, и если нейросети могут выучивать и языки другой структуры, то это доказывает только то, что у них нет этой свойственной человеку структуры. Вот такая занятная точка зрения.
НЛО прилетело и опубликовало эту надпись здесь
Я думаю, его идея как раз в том, что большой объем информации о грамматике закреплен в наследственности. И это позволяет детям изучать язык быстро и эффективно, даже не замечая его сложности. Поэтому мы играючи следуем сложным грамматическим правилам во всех нюансах, даже не осознавая того, но при этом 10 лет школы тратим на запоминание небольшого количества примитивных исключений и соглашений, которые теряются на фоне сложности того, что далось нам без усилий. Это эволюционно-выигрышное свойство и логично предположить, что оно было подвержено положительному отбору.
Чтобы проверить эту теорию надо сравнить количество информации, которое необходима ребенку, чтобы начать говорить, и количество информации, которое необходимо искусственной модели, заведомо способной обучиться гораздо более обширному классу языков, чтобы освоить естественный язык на том же уровне. Проведя такое исследование можно даже количественно оценить объем врожденных знаний о грамматике.
Чтобы проверить эту теорию надо сравнить количество информации, которое необходима ребенку, чтобы начать говорить, и количество информации, которое необходимо искусственной модели, заведомо способной обучиться гораздо более обширному классу языков, чтобы освоить естественный язык на том же уровне. Проведя такое исследование можно даже количественно оценить объем врожденных знаний о грамматике.
BERT гораздо дальше по структуре от мозга человека, чем мозг обезъяны, однако с задачей работы с языком справляется на много поярдков лучше.
сколько нужно ватт для эффктивной работы BERT и сколько для работы с языком мозгу?
А я считаю, что Хомский не прав, и семейство моделей GPT и BERT наглядно это показывает.Ключевой момент в подборе архитектуры и предобучении этих сетей. До какой-то степени это позволяет воссоздать модель (псевдограмматику) человеческого языка в них.
BERT гораздо дальше по структуре от мозга человека, чем мозг обезъяны, однако с задачей работы с языком справляется на много поярдков лучше.Обезьяны могут усвоить сотни слов языка в виде жестов, т.к. устройство их гортани не позволяет полноценно использовать речь, и правильно оперировать ими в простых контекстах, комбинировать, делать обобщения. Упомянутые нейросети могут грамматически правильно генерировать тексты и делать переводы, но без учета контекста (семантических связей). Как пример перевод предложений с омонимами — Девушка с косой косила траву косой. Гугл (трансформер) переводит все косы как scythe — инструмент. Даже если сделать уточнение — Девушка с косой на голове косила траву косой — переводчик все равно считает косу на голове инструментом. Это следствие статистики встречаемости упоминания кос в сочетании с кошением и головой в обучающей выборке. Первое очевидно встречается чаще. В этом отношении достижения обезьян пока недоступно этим нейросетям, особенно в новых контекстах. Но за этой способностью обезьян стоят все когнитивные возможности их мозга. Нейросети же оптимизированы под выполнение определенной задачи.
Можно улучшить эти навыки у обезьян? Несомненно, путем искусственного отбора. Стоит вспомнить, например, эксперименты с доместикацией лис. После нескольких десятков поколений отбора они не только изменили свое поведение, но и поменяли связанные фенотипические признаки — окрас и др, стали «лаять», изменили ритм размножения. Точно также могут отбираться структуры мозга отвечающие за оперирование понятиями. Для этого нужно воссоздать и поддерживать некое подобие культурного слоя в котором накопленный опыт будет непрерывно передаваться. По этой причине пример содержания в зоопарках не подходит. В некоторой форме это уже имеется в дикой природе у шимпанзе, можно ускорить этот процесс искусственно. Другой вариант — генетические модификации, но зачем нам говорящие обезьяны? Для прикола?)
Гугл (трансформер) переводит все косы как scythe
А как объяснить ситуации, когда натренированная сетка не переводит омонимы одним и тем-же словом?
Следствие — это процесс нахождения виновного.
An investigation is the process of finding the culprit.
Следствие — это результат какого-либо действия.
A consequence is the result of an action.
Следствие не было удовлетворено следствием принятых мер.
The investigation was not satisfied with the consequences of the measures taken.
Духи предков на капище разлили духи.
The spirits of the ancestors poured perfume on the temple.
Рыцарский замок запирался большим замком.
The knight's castle was locked with a large padlock.
Это был странный замок — он закрывался ещё одним замком.
It was a strange lock — it was closed with another lock.
Рыцарь повесил замок на ворота замка.
The knight hung the padlock on the castle gate.
Рыцарь повесил модель замка на ворота замка.
The knight hung a model of the castle on the castle gate.
Рыцарь повесил замок на ещё один замок.
The knight hung the padlock on another padlock.
И тому подобное.
Попробовал ради интереса. В примерах с замком Google Translate и DeepL не справились. Yandex переводчик справился.
The knight's castle was locked with a large castle
Контрпримеры. Со следствием:
Следствие по делу было проведено, но его следствие для правосудия осталось не замеченным
The case was investigated, but its investigation for justice remained unnoticed
С замком:
Замок был очень большим, но замок с ключами от него хранился у ключницы)
The lock was very large, but the lock with the keys to it was kept by the housekeeper
Это более сложные предложения. Выглядят несколько вычурно) Но в литературе еще не такое можно встретить. Если перед но поставить точки, т.е. разбить на отдельные предложения, то перевод будет более адекватным.
Косвенно отвечал на такой же ваш вопрос в одной из тем. Там приводил ссылку на исследование структуры семантических отношений в мозге. Это отдельная система, независимая от синтаксического разбора предложений. Такого пока нет в существующих ИНС. Но именно такая структура позволяет делать наиболее правдоподобный подбор слов в сложных и неизвестных случая, когда прецедентов не было. Она имеет отношение к внутренней модели мира, исходно врожденной, но в большей степени уточняемой в ходе получения опыта. Можно ли получить ее некий эквивалент путем экстенсивного наращивания размера сети и обучающей выборки текста для ИНС? Возможно. У эволюции такой возможности не было, учитывая биологическую форму реализации и ее ограничения, поэтому она нашла такое решение.
Следствие по делу было проведено, но его следствие для правосудия осталось не замеченным
The case was investigated, but its investigation for justice remained unnoticed
С замком:
Замок был очень большим, но замок с ключами от него хранился у ключницы)
The lock was very large, but the lock with the keys to it was kept by the housekeeper
Это более сложные предложения. Выглядят несколько вычурно) Но в литературе еще не такое можно встретить. Если перед но поставить точки, т.е. разбить на отдельные предложения, то перевод будет более адекватным.
Косвенно отвечал на такой же ваш вопрос в одной из тем. Там приводил ссылку на исследование структуры семантических отношений в мозге. Это отдельная система, независимая от синтаксического разбора предложений. Такого пока нет в существующих ИНС. Но именно такая структура позволяет делать наиболее правдоподобный подбор слов в сложных и неизвестных случая, когда прецедентов не было. Она имеет отношение к внутренней модели мира, исходно врожденной, но в большей степени уточняемой в ходе получения опыта. Можно ли получить ее некий эквивалент путем экстенсивного наращивания размера сети и обучающей выборки текста для ИНС? Возможно. У эволюции такой возможности не было, учитывая биологическую форму реализации и ее ограничения, поэтому она нашла такое решение.
Это отдельная система, независимая от синтаксического разбора предложений.
Трансформеры, в общем-то, не синтаксическим разбором занимаются. А то, чем они занимается на самом деле, явно не описывается словами "не учитывают контекст". И пока не известно, чем вызвано различие поведений человеческого мозга (который тоже может делать ошибки в сложных и неизвестных случаях) и трансформеров. Может быть очевидными различиями структуры этих сетей, может намного меньшим объемом (по сравнению с мозгом) существующих языковых моделей, может отсутствием аудио-визуально-кинестетической информации при обучении.
И пока не известно, чем вызвано различие поведений человеческого мозга (который тоже может делать ошибки в сложных и неизвестных случаях) и трансформеров.В похожей по теме публикации сделал комент на тему возможных причин различия.
А что из научных работ Хомского находит практическое применение в наше время? У меня сложилось впечатление, что его оригинальные научные труды закончились в начале 70-х, и с тех пор он известен как политический комментатор.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ноам Хомский о будущем глубокого обучения