MagisterLudi 2 июл 2020 в 12:47

Онтол от DeepMind: самые полезные материалы по искусственному интеллекту от мирового лидера

13 мин

10K

Блог компании SkillfactoryИскусственный интеллектКарьера в IT-индустрииМашинное обучение*Учебный процесс в IT

Перевод

Ученые из DeepMind составили Curated Resource List образовательных материалов для тех, кто хочет связать свою жизнь с ИИ и машинным обучением. Я называю такую подборку «онтол» — список того, что формирует картину мира по данному вопросу, ранжированный по важности и составленный живым человеком, специалистом, который несёт репутационную ответственность за этот список (чтобы не было в нём маркетинговой и ангажированной фигни).

По задумке, если десяток лучших компаний в области ИИ попросят своих ведущих специалистов (каждого) сделать подборку лучших материалов, которые сформировали их как специалистов, то мы получим массив подборок (список топ-10/100 ресурсов+имя составителя) и на основе этого можно будет делать интересные выводы ( а)по качеству материалов, что следует учить в первую очередь б) по качеству специалистов, которые могут выделять главное в)что-то ещё). Так мы «разметим» все открытые тексты/видео в области ИИ. Потом возьмемся за другие темы: еда, доверие, дело жизни, семья, сотрудничество, когнитивные искажения и прочее — то, что формирует картину мира.

Тестируйте прототип beta.ontol.org и подписывайтесь на канал @Ontol

Этика

21 Definitions of Fairness and Their Politics (видео) — Арвинд Нараянан дискутирует о различных определениях справедливости и их компромиссах, которые они представляют для общества.

Fairness and Machine Learning Book (книга, видео) — Обзор справедливости в темах, касающихся машинного обучения.

Harvard University's Justice Course (видео) — Углубленные и увлекательные лекции по вопросам справедливости и нравственной философии (Перевод).

NeurIPS 2017 Tutorial on Fairness in Machine Learning (видео) — Солон Бароказ и Мориц Хардт подробно обсуждают социотехнические элементы справедливости в машинном обучении.

The Trouble with Bias — NeurIPS 2017 (видео) — Кейт Кроуфорд рассуждает об этнических последствиях предвзятости в системах искусственного интеллекта.

Safety

AGI Safety Literature Review (публикация) — Отличный обзор литературы по безопасности общего искусственного интеллекта до 2018 года с сотнями ссылок для дальнейшего изучения.

AI Alignment newsletter by Rohin Shah (Новостная рассылка) — Еженедельная рассылка с кратким изложением последних работ в области безопасности искусственного интеллекта.

AI safety YouTube channel by Robert MIles (видео) — Образовательные и развлекательные видео, знакомящие аудиторию с ключевыми концепциями безопасности общего искусственного интеллекта.

Concrete Problems in AI safety (публикация) — Полезный обзор на безопасность искусственного интеллекта, первоначальная и статья уже ставшая классикой в области безопасности ИИ.

Human Compatible:Artificial Intelligence and the Problem of Control by Stuart Russell (книга) — Обязательная к прочтению книга по безопасности искусственного интеллекта авторства первоначальника ИИ.

Теория и фундаментальные понятия

3Blue1Brown Youtube channel (видео) — Отличная серия учебных пособий. Особенно полезны видео с нуля по линейной алгебре и нейронным сетям.

A 2020 vision of Linear Algebra (Gilbert Strang, MIT) (видео) — Кратко под новым углом резюмируют весь курс по линейной алгебре с техническими деталями: как линейная алгебра применяется в реальной жизни, а особенно в области машинного обучения.

Andrew Ng's Machine Learning course (онлайн курс) — Первый очень практичный и обширный курс по машинному обучению. Поскольку курс на платформе Coursera, ваши задания могут оценивать, а ассистенты и другие обучающиеся могут помогать вам с материалом курса.

Causal Inference in Statistics: A Primer (онлайн препринт) — Отличное введение в причинный вывод. Это препринт полной версии последней книги.

Causal Inference: What If (онлайн книга) — Новая книга о причинном выводе.

David MacKay, information theory course videos (видео) — Охватывает широкий ряд областей в фирменном стиле лекций МакКея.

David MacKay's Course on Information Theory, Pattern Recognition, and Neural Networks (видео) — Курс легендарного Дэвида МакКея по теории информации, выявлению шаблонов данных и нейронным сетям.

Decision-theoretic foundations for statistical causality (онлайн статья) — Альтернативный способ формулирования операций причинного вывода.

Deep Bayes summer school lectures and lab materials (видео) — Лекции и практические задания по вероятностному моделированию и Байесовскому обучению.

Elements of Causal Inference: Foundations and Learning Algorithms (онлайн книга) — Эта книга простым и доступным способом знакомит читателя с причинным выводом.

Essence of Linear Algebra (3blue1brown) (видео) — Дает очень хорошее представление о ключевых идеях в линейной алгебре, не вдаваясь в технические детали. Сопровождает традиционный учебник по линейной алгебре или курс колледжа.

Francis Bach's blog (блог) — Полезные советы и рекомендации, глубокий анализ различных концепций машинного обучения.

Human intelligence enterprise course (материалы к курсу) — История человеческого интеллекта.

Is the Abstract Mathematics of Topology Applicable to the Real World? (видео) — Введение представляет собой отличное описание основ топологии. Семинар убедительно описывает определенные приложения.

KhanAcademy courses (видео) — Отличное введение для начинающих в статистику, теорию вероятности, математику, необходимые для понимания машинного обучения.

Learning from Data course — Caltech (видео) — Аккуратное введение в машинное обучение. Очень понятное объяснение тем.

Lecture Notes on Monte Carlo (заметки к курсу) — Краткое объяснение метода Монте-Карло.

Mathematics for Machine Learning (книга) — Отличная книга, охватывающая основные математические концепции, необходимые для машинного обучения.

MIT Machine Learning course (онлайн курс) — Отличный курс 2006-го года по основам (а теперь уже и истории) машинного обучения до того, как глубокое обучение и многие уровни абстракции стали мейнстримом.

Nando de Freitas Course on Machine Learning (видео) — Полезный курс и презентация по машинному обучению.

Princeton Companion to Mathematics (книга) — Вероятно, самый поразительный математический источник из всех существующих. Книга предоставляет подробный обзор самый важных концепций в современной математике, не предполагающий никакого бэкграунда в самопровозглашенном формате “сказок на ночь” — увлекательная, простая для понимания и интуитивно понятная.

Project Euler (Problem Solving Community) — Серия сложных математических задач и проблем из информатики для активизации мозга. Их очень интересно решать, а приобретенные знания помогут вам в карьере в области глубокого обучения.

Statistical Learning Theory course (онлайн курс) — Бесплатный курс по основам машинного обучения, ориентированный на людей с математическим образованием, ведут профессора Хасти и Тибширани.

Strang All the Key Ideas of Linear Algebra in 1 Lesson (видео) — Лаконично, комплексно.

The Book of Why (главы из книги) — Легкое введение в причинный вывод и исторический экскурс в его развитие.

Neuroscience

Brain Inspired Podcast (подкаст) — Подкаст, в котором сливаются нейробиология и искусственный интеллект.

Center for Brains Minds + Machines Summer School Lectures (видео) — Лекции из знаменитой летней школы Вудс Хоул по вычислительной *когнитивной* нейробиологии (подробнее о высокоуровневом познании, поведении и связях с машинным обучением).

Computational Cognitive Modeling @ NYU (слайды и тексты) — Обзор вычислительных подходов к моделированию человеческого познания, тесно связанное с искусственным интеллектом и машинным обучением.

Computational models of the neocortex (Class notes) — Междисциплинарные и передовые.

Lectures from Methods in Computational Neuroscience Woods Hole Summer School (видео) — Лекции из знаменитой летней школы Вудс Хоул по вычислительной *системе* нейробиологии (подробнее о циклах и системных свойствах мозга)

Marr's Levels of Analysis (Vision, 1982, Chapter 1) (глава из книги) — Отлично объясняет на примерах на примерах полезных алгоритмов вроде EM. Служит отличным дополнением к книге Бишопа.

MIT Brains, Minds, and Machines Summer Course (видео) — Курс выпускного уровня на стыке когнитивной науки, нейробиологии и искусственного интеллекта.

Probabilistic Models of Cognition (интерактивный учебник) — Интерактивный учебник, описывающий использование вероятностной модели для создания и моделирования человекоподобного поведения.

The challenge of understanding the brain: where we stand in 2015 (публикация) — Хороший обзор нейробиологии с точки зрения биологии.

Theoretical Neuroscience (онлайн книга) — Популярное введение в теоретическую нейробиологию.

Natural Language Processing

A Code-first Introduction to Natural Language Processing (видео) — Введение в обработку естественного языка для людей с техническим образованием.

A Primer on Neural Network Models for Natural Language Processing (публикация) — Понятный обзор на то, как используются нейронные сети в обработке естественного языка.

CS224n: Natural Language Processing with Deep Learning (видео) — Стэнфордский курс по современной обработке естественного языка.

NLP Progress (список датасетов и результатов) — Вебсайт под управлением сообщества с перечислением большого количества задач, датасетов и современных результатов по обработке естественного языка.

Oxford/DM NLP Course 2017 (курс лекций) — Продвинутый лекционный курс по обработке текста на естественном языке, прочитанный в Оксфорде DeepMinder’ами.

Speech and Language Processing (книга) — Авторитетная отсылка на обработку естественного языка — теперь уже в 3D версии и доступная онлайн.

The Annotated Transformer (запись в блоге) — Отличное введение в доминирующую модель обработки естественного языка.

Machine Learning

Amii's Coursera Machine Learning: Algorithms in the Real World Specialization (онлайн курс) — Отличный обзор на формирование и выявление проблем машинного обучения и их решения.

Bayesian Reasoning and Machine Learning (онлайн книга) — Основы вероятностного рассуждения и моделирования.

David MacKay, Gaussian Process Basics (видео) — Самое доступное и понятное введение в Гауссовский процесс.

David MacKay's book «Information Theory, Inference, and Learning Algorithms» (книга) — Дэвид МакКей представляет уникальный взгляд на связь между теорией информации, инференцией и обучением. Стиль его письма уникален, как и юмор в книге.

Getting into machine learning (блог) — Блог для тех, кто хочет заняться машинным обучением.

Lecture notes on Machine Learning (конспект) — Конспекты с лекций Герберта Ягера по машинному обучению. Описывают много основ и стандартов тем по машинному обучению. Очень хорошо написаны (почти как книга).

Machine Learning at UBC 2012 (видео) — Курс 2012-го года по машинному обучению от Университета Британской Колумбии.

Machine Learning, Probability and Graphical Models (Sam Roweis) (видео) — Отличное объяснение графических моделей легендарным Сэмом Ровейсом.

Ranking of ML online courses (список ресурсов) — Достаточно полный обзор топовых онлайн курсов по машинному обучению.

Stanford's Machine Learning Course (видео) — Введение курса по машинному обучению.

Sunday Classics (список ресурсов) — Сборник классических работ по всем темам в машинном обучении, когнитивной науке, статистике, теории информации, нейробиологии, искусственном интеллекте, обработке сигналов, исследование операций, эконометрике и др.

WEKA: a workbench for machine learning (онлайн ресурсы) — Большой набор бесплатных программных инструментов для ознакомления с данными, визуализацией данных, классификацией, регрессией, выбором характеристик и основой data science. Я постоянно использую эти ресурсы, чтобы научить других видеть закономерности в данных и ценить, как много может увидеть система и использовать эти и более сложные паттерны.

David MacKay, all videolectures (видео) — Имя Дэвида МакКея хорошо известно в этой области, в особенности в области статистики и вероятностном машинном обучении.

Deep Learning

Andrej Karpathy blog/hacker guide (запись в блоге) — Очень доступное вступление к нейронным сетям. Также в его блоге можно найти применимые для жизни практические советы.

An overview of gradient descent optimization algorithms (запись в блоге) — Исчерпывающий пост, рассматривающий основные варианты градиентного спуска, используемого для оптимизации нейронных сетей

Chris Olah blog (блог) — Подход Криса Ола можно назвать очень образовательным за изучение ключевых концептов (таких как понимание концепций и элементов) в машинном обучении на глубоком уровне. Крис страстно увлечен образованием и отлично пишет посты.

Crash Course AI (видео) — Полезная отлично подготовленная вступительная серия. Вполне вероятно, самая лучшая для школьников и новичков.

CS231: Convolutional Neural Networks for Visual Recognition (Stanford) (видео) — Отличные заметки по ссылке: cs231n.github.io Хорошее продолжение курса Эндрю Ына, которое гораздо глубже погружает нас в сверточные нейронные сети (про это кратко упоминалось в конце предыдущего курса) и представляет более продвинутые концепции, такие как генеративные модели, глубокое подкрепление.

CS231n: Convolutional Neural Networks for Visual Recognition (Stanford's legendary CNN lectures) (видео) — Отличный обзор как классических, так и наиболее ранних работ по сверточным нейронным сетям, которые создают основу для большей части работ с визуальными данными

Deep Learning at Oxford 2005 (видео) — Оксфордский курс 2015-го года по глубокому обучению.

Deep Learning Book (книга) — Обширное введение в основы глубокого обучения некоторыми первооткрывателями в этой области.

Deep Learning Indaba Practicals (Colabs) — Существуют учебные пособия, которые были разработаны и проверялись на людях в течение многих лет, для преподавания глубокому обучению от фундаментальных основ до продвинутых тем, таких как построение фреймворка автоматического дифференцирования или обучение генеративно-состязательной сети.

Dive into Deep Learning (книга) — Отличный формат, превращающий изучение ключевых концепций машинного обучения в увлекательное и интерактивное занятие.

DL + RL course with UCL (видео) — Этот курс охватывал много вопросов связанных с глубоким обучением и обучением с подкреплением. Он состоял из двух, в основном отдельных, путей: один на глубоком обучении и один на обучении с подкреплением, которые могли изучаться отдельно.

EEML (first/second edition) Lab materials (Colabs) — Лекции и практические задания по вероятностному моделированию и Байесовскому обучению.

EEML slides from lectures (слайды) — Слайды для лекций прошлогодней EEML (записи, к сожалению, нет). Они охватывают большое количество материала от введения до более сложных презентаций.

Full Stack Deep Learning (онлайн курс) — Модели глубокого обучения не существуют в вакууме. Этот курс освещает практические аспекты глубокого обучения, такие как модель внедрения, инфраструктуру, отладку и даже подготовку к собеседований на тему глубокого обучения.

Intro to machine learning talk at Lviv workshop (раз, два) (лекции) — Введение в машинное обучение. Оно вводит теорию, на основе которой можно построить механизм глубокого обучения.

Khipu videos and practicals + гитхаб (видео + слайды) — Материалы из Khipu — видео и практические задания для прохождения студентами.

Lilian Weng's blog (блог) — Блог Лилиан содержит посты на различные темы, начиная с преподавания учебной программы, учебы, основанной на самоконтроле, мета-обучении и тд. Сами посты не слишком детализированы, иногда слишком углубляются в специализацию, но довольно часто обновляются новой информацией, появившейся после выхода первоначального поста.

MIT 6.S191 Intro to Deep Learning (видео и туториалы) — Вводный курс Массачусетского технологического института по глубокому обучению и информационным системам.

Online journal (журнал) — Рецензируемый онлайн-журнал, позволяющий создавать информативные визуализации и код в том числе для облегчения понимания исследовательских работ и повышения прозрачности и воспроизводимости.

Parallel Distributed Processing (онлайн книга) — Классика для всех, кто хочет понять корни глубокого обучения ещё в тот момент, когда это был “коннекционизм”.

Practical Deep Learning for Coders (онлайн курс) — Рекомендован друзьями других технических специальностей (вроде физики и математики) в качестве отличного введения в глубокое обучение.

Stanford's NLP with Deep Learning Course (онлайн курс) — Полезен для всех, кто хочет начать изучать обработку естественного языка.

Sutton and Barto's Reinforcement Learning (учебник) — Это учебник всех учебников по обучению с подкреплением. Он выстроен от очень базовых вещей до продвинутых тем. Сопровождает лекции Дэвида Сильвера.

Reinforcement Learning

Alberta RL 4-course Specialization (онлайн курс) — Четыре последовательных курса по обучению с подкреплением, начиная с Bandits и заканчивая аппроксимацией функций (NNs), методом градиента и средним вознаграждением.

CS330: Metalearning and Multitask (видео) — Содержит обзор последних работ в области мета-обучения и многозадачности. Вдохновляющее и очень полезное видео для того, чтобы идти нога в ногу с современными идеями в данной области.

David Silver, Introduction to Reinforcement Learning (видео) — Хорошо подхватывает идеи из учебника Саттон и Барто: Почему нам стоит задумываться об этих проблемах? Как соотносятся идеи, которые мы уже обсуждали? и тд.

David Silver's RL Course from UCL (видео) — Полезно для всех, кто хочет узнать об обучении с подкреплением.

Emma Brunskill RL Course (видео) — Видеолекции по обучению с подкреплением из курса Эммы Бранскилл в Стэнфорде.

OpenAI blog (блог) — Доступные презентации базовых и продвинутых алгоритмов обучения с подкреплением.

Reinforcement Learning: an Introduction (2018 edition) (книга) — Это та самая вводная книга по обучению с подкреплением. Рич отлично объясняет фундаментальные концепции обучения с подкреплением, а также проходит с читателем весь путь до передовых открытых исследовательских задач.

UofA / Amii Coursera RL Specilization by White and White (онлайн курс) — Проект Альбертского университета — центра исследования обучения с подкреплением. Адам Уайт связан с Deep Mind; Целостная и хорошо продуманная серия курсов, дающая наиболее важные основы обучения с подкреплением.

Spinning Up in Deep RL (код) — Образовательный ресурс, созданный OpenAI, облегчает изучение глубокого обучения с подкреплением.

Unsupervised Learning and Generative Models

Ermon's graphical models course at Stanford (конспект) — Охватывает большое количество вероятностных методов.

How to Use t-SNE Effectively (интерактивный учебник) — Представляет собой интерактивное и углубленное путешествие ко всем подводным камням использования tSNE, ставший одним из наиболее используемых низкоразмерных вложений данных.

Mathematicalmonk Youtube videos (видео) — Потрясающее объяснение, использующее примеры полезных алгоритмов вроде EM. Отличное дополнение к книге Бишопа.

Monte Carlo Gradient Estimation in Machine Learning (публикация) — Полезна для тех, кто занимается обучением с подкреплением или генеративным моделированием.

Reproducing kernel Hilbert spaces in Machine Learning (материалы к курсу) — Подойдут тем, кто интересуется генеративным моделированием и не только.

Variational inference a feview for statisticians by David Blei (публикация) — Лучшее объяснение вариационных методов в контексте генеративного моделирования.

Прочее

Метаобучение
Chelsea Finn's Multi-Task and Meta-Learning Course (видео) — Видеолекции по многозадачности и мета-обучению.

Философия
Goodman (1955). The New Riddle of Induction. (глава из книги) Философские предпосылки индуктивного смещения и почему сложно сделать выводы и введение.

Наука
Lex Fridman's AI podcast (видео) — Беседы с разнообразными и впечатляющими приглашенными выступающими.

Stanford Physics lecture series by Leonard Susskind (видео) — Отличный ресурс для изучения многих важных областей современной физики, включая классическую, статистическую и квантовую механику. Эти лекции не предполагают большие фоновые знания, Леонард может ввести и объяснить сложные идеи в доступной и увлекательной манере.

Computer Science
Mike Bostock interactive visualisations — Интерактивные визуализации Майка Бостока.

Probability in high dimensions — Понятная книга об “идеях на пересечении теории вероятности, анализа и геометрии, которые возникают в широком спектре современных проблем в различных областях”.

Робототехника
Strogatz nonlinear dynamics course (видео) — Видео курс по нелинейной динамике.

За помощь с переводом спасибо Але Бланкмер.

Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:

Курс по Machine Learning (12 недель)
Обучение профессии Data Science с нуля (12 месяцев)
Профессия аналитика с любым стартовым уровнем (9 месяцев)
Курс «Python для веб-разработки» (9 месяцев)

Читать еще

Теги:

онтол

Хабы: