А что из научных работ Хомского находит практическое применение в наше время? У меня сложилось впечатление, что его оригинальные научные труды закончились в начале 70-х, и с тех пор он известен как политический комментатор.
Очень интересно. Оказывается, Тим изменил своё мнение насчёт 16 линий PCI на карту. Раньше он говорил, что это обязательно, и я одно время в это верил. Потом наши подсчёты показали, что такая шина никогда не будет загружена. Из требования 16 линий на карту вытекали очень жесткие ограничения на выбор процессора и материнской платы. Хорошо, что он разобрался сам и не вводит других в заблуждение.
Верно. А сети и не обзывали ИИ до примерно 2014 года. Вот когда начался ИИ хайп, тогда и понеслось. И пошло это не без участия некоторых «отцов-основателей» вроде Хинтона и Ына. У последнего прямая коммерческая заинтересованность в хайпе, а Хинтон, кажется, просто честолюбив. Но этот, правда, топил за ИИ еще с 80-х годов, а тут ему наконец поперло.
Автор наслышан о некоторых терминах, но слабо представляет себе их суть. Например, back propagation, на который он несколько раз ссылается, не имеет отношения к ИИ. Это просто технический метод оптимизации нейросетей, уходящий корнями в математику 17 века (Ньютон и Лейбниц), а вовсе даже не в 60-е годы 20 века. Как и сами нейросети не имеют отношения к тому, что называется ИИ.
В одном он прав, что эта область неимоверно перехайплена, и это создает проблемы.
Сегодняшние системы ИИ тренируются на основе огромного количества автоматизированных проб и ошибок; на каждом этапе для передачи информации об ошибках и подстройки системы с целью уменьшения количества ошибок в будущем используется техника обратного распространения – и это постепенно улучшает эффективность ИИ в выполнении определённой задачи, такой, как игра в шахматы.
Извиняюсь, но это халтура. Индусы любят так «объяснять» и «систематизировать», типа умные.
И еще у меня сильное подозрение, что ты сам не сможешь объяснить, зачем во втором твоем примере два слоя, если они по правилам матричного умножения сводятся к одному. А это самое главное ;-)
Обратное распространение градиентов придумал не Хинтон, а финский студент Seppo Linnainmaa. См. people.idsia.ch/~juergen/who-invented-backpropagation.html Имя Хинтона здесь даже не упоминается. Трудно сказать, что он вообще придумал. Одно время мне казалось, что Dropout и ReLU, но и это, как выясняется, не его.
В одном он прав, что эта область неимоверно перехайплена, и это создает проблемы.
И еще у меня сильное подозрение, что ты сам не сможешь объяснить, зачем во втором твоем примере два слоя, если они по правилам матричного умножения сводятся к одному. А это самое главное ;-)