Верховный алгоритм — предвзятый конспект

Доброго времени чтения, уважаемые пользователи Хабра!

Статья посвящена книге «Верховный алгоритм», Педро Домингос (Pedro Domingos), перевод книги The Master Algorithm (How the Quest for the Ultimate Learning Machine Will Remake Our World)

Автор посвящает книгу памяти своей сестры, и основным лейтмотивом книги является использование машинного обучения для поиска средств борьбы с заболеваниями.


В прологе автор показывает существующие применения машинного обучения.

Машинное обучение — технология, которая строит саму себя. Это новое
явление в нашем мире.

Обучающиеся алгоритмы — артефакты, которые создают другие артефакты

В первой главе автор описывает возрастающую сложность программных алгоритмов — пространственную, временную, человеческую (возможность обнаружения ошибок).

Обучающиеся алгоритмы — те, что создают другие алгоритмы, обученные на основе данных.

Приводится спорный тезис:

Когда-нибудь произойдет неизбежное: обучающиеся алгоритмы станут незаменимым посредником и в них сосредоточится власть

Во второй главе приводится центральная гипотеза книги:

Все знание — прошлое, настоящее и будущее — можно извлечь из данных с помощью одного универсального обучающегося алгоритма.

Приводятся аргументы из областей нейробиологии, эволюции, физики, статистики, информатики.

Как заметил Исайя Берлин, некоторые мыслители подобны лисам и знают много разного, а некоторые — ежам, которые знают что-то одно, но важное

Универсальный обучающийся алгоритм — невероятно мощное оружие против Монстра Сложности

Приводится перечисление пяти выявленных разновидностей машинного обучения:

Поиски Верховного алгоритма сложны, но их оживляет соперничество разных научных школ, действующих в области машинного обучения. Важнейшие из них — символисты, коннекционисты, эволюционисты, байесовцы и аналогисты.

Для символистов интеллект сводится к манипулированию символами — так математики решают уравнения, заменяя одни выражения другими

Для коннекционистов обучение — то, чем занимается головной мозг, и поэтому они считают, что этот орган надо воспроизвести путем обратной инженерии

Эволюционисты верят, что мать учения — естественный отбор

Байесовцы озабочены прежде всего неопределенностью

Для аналогистов ключ к обучению — находить сходства между разными ситуациями и тем самым логически выводить другие сходства

Далее в пяти главах рассматриваются основные методы для каждого вида подходов, после чего автор описывает свой вариант их объединения на основе логических сетей Маркова:

Подытожим: единый алгоритм машинного обучения, к которому мы пришли, в качестве представления использует логическую сеть Маркова, как функцию оценки — апостериорную вероятность, а оптимизатор в нем — генетический поиск в сочетании с градиентным спуском

В десятой главе описываются преимущества в мире, снабженном хорошими обучающимися алгоритмами.

Почему конспект предвзятый? Потому, что я взял за основу описанные алгоритмы, но вместо спрессовывания их в один, предложил построить из них конвейер :)