Ученые из DeepMind составили Curated Resource List образовательных материалов для тех, кто хочет связать свою жизнь с ИИ и машинным обучением. Я называю такую подборку «онтол» — список того, что формирует картину мира по данному вопросу, ранжированный по важности и составленный живым человеком, специалистом, который несёт репутационную ответственность за этот список (чтобы не было в нём маркетинговой и ангажированной фигни).
По задумке, если десяток лучших компаний в области ИИ попросят своих ведущих специалистов (каждого) сделать подборку лучших материалов, которые сформировали их как специалистов, то мы получим массив подборок (список топ-10/100 ресурсов+имя составителя) и на основе этого можно будет делать интересные выводы ( а)по качеству материалов, что следует учить в первую очередь б) по качеству специалистов, которые могут выделять главное в)что-то ещё). Так мы «разметим» все открытые тексты/видео в области ИИ. Потом возьмемся за другие темы: еда, доверие, дело жизни, семья, сотрудничество, когнитивные искажения и прочее — то, что формирует картину мира.
Тестируйте прототип beta.ontol.org и подписывайтесь на канал @Ontol
Оглавление
Этика
Safety
Теория и фундаментальные понятия
Neuroscience
Natural Language Processing
Machine Learning
Deep Learning
Reinforcement Learning
Unsupervised Learning and Generative Models
Прочее
Этика
21 Definitions of Fairness and Their Politics (видео) — Арвинд Нараянан дискутирует о различных определениях справедливости и их компромиссах, которые они представляют для общества.
Fairness and Machine Learning Book (книга, видео) — Обзор справедливости в темах, касающихся машинного обучения.
Harvard University's Justice Course (видео) — Углубленные и увлекательные лекции по вопросам справедливости и нравственной философии (Перевод).
NeurIPS 2017 Tutorial on Fairness in Machine Learning (видео) — Солон Бароказ и Мориц Хардт подробно обсуждают социотехнические элементы справедливости в машинном обучении.
The Trouble with Bias — NeurIPS 2017 (видео) — Кейт Кроуфорд рассуждает об этнических последствиях предвзятости в системах искусственного интеллекта.
Safety
AGI Safety Literature Review (публикация) — Отличный обзор литературы по безопасности общего искусственного интеллекта до 2018 года с сотнями ссылок для дальнейшего изучения.
AI Alignment newsletter by Rohin Shah (Новостная рассылка) — Еженедельная рассылка с кратким изложением последних работ в области безопасности искусственного интеллекта.
AI safety YouTube channel by Robert MIles (видео) — Образовательные и развлекательные видео, знакомящие аудиторию с ключевыми концепциями безопасности общего искусственного интеллекта.
Concrete Problems in AI safety (публикация) — Полезный обзор на безопасность искусственного интеллекта, первоначальная и статья уже ставшая классикой в области безопасности ИИ.
Human Compatible:Artificial Intelligence and the Problem of Control by Stuart Russell (книга) — Обязательная к прочтению книга по безопасности искусственного интеллекта авторства первоначальника ИИ.
Теория и фундаментальные понятия
3Blue1Brown Youtube channel (видео) — Отличная серия учебных пособий. Особенно полезны видео с нуля по линейной алгебре и нейронным сетям.
A 2020 vision of Linear Algebra (Gilbert Strang, MIT) (видео) — Кратко под новым углом резюмируют весь курс по линейной алгебре с техническими деталями: как линейная алгебра применяется в реальной жизни, а особенно в области машинного обучения.
Andrew Ng's Machine Learning course (онлайн курс) — Первый очень практичный и обширный курс по машинному обучению. Поскольку курс на платформе Coursera, ваши задания могут оценивать, а ассистенты и другие обучающиеся могут помогать вам с материалом курса.
Causal Inference in Statistics: A Primer (онлайн препринт) — Отличное введение в причинный вывод. Это препринт полной версии последней книги.
Causal Inference: What If (онлайн книга) — Новая книга о причинном выводе.
David MacKay, information theory course videos (видео) — Охватывает широкий ряд областей в фирменном стиле лекций МакКея.
David MacKay's Course on Information Theory, Pattern Recognition, and Neural Networks (видео) — Курс легендарного Дэвида МакКея по теории информации, выявлению шаблонов данных и нейронным сетям.
Decision-theoretic foundations for statistical causality (онлайн статья) — Альтернативный способ формулирования операций причинного вывода.
Deep Bayes summer school lectures and lab materials (видео) — Лекции и практические задания по вероятностному моделированию и Байесовскому обучению.
Elements of Causal Inference: Foundations and Learning Algorithms (онлайн книга) — Эта книга простым и доступным способом знакомит читателя с причинным выводом.
Essence of Linear Algebra (3blue1brown) (видео) — Дает очень хорошее представление о ключевых идеях в линейной алгебре, не вдаваясь в технические детали. Сопровождает традиционный учебник по линейной алгебре или курс колледжа.
Francis Bach's blog (блог) — Полезные советы и рекомендации, глубокий анализ различных концепций машинного обучения.
Human intelligence enterprise course (материалы к курсу) — История человеческого интеллекта.
Is the Abstract Mathematics of Topology Applicable to the Real World? (видео) — Введение представляет собой отличное описание основ топологии. Семинар убедительно описывает определенные приложения.
KhanAcademy courses (видео) — Отличное введение для начинающих в статистику, теорию вероятности, математику, необходимые для понимания машинного обучения.
Learning from Data course — Caltech (видео) — Аккуратное введение в машинное обучение. Очень понятное объяснение тем.
Lecture Notes on Monte Carlo (заметки к курсу) — Краткое объяснение метода Монте-Карло.
Mathematics for Machine Learning (книга) — Отличная книга, охватывающая основные математические концепции, необходимые для машинного обучения.
MIT Machine Learning course (онлайн курс) — Отличный курс 2006-го года по основам (а теперь уже и истории) машинного обучения до того, как глубокое обучение и многие уровни абстракции стали мейнстримом.
Nando de Freitas Course on Machine Learning (видео) — Полезный курс и презентация по машинному обучению.
Princeton Companion to Mathematics (книга) — Вероятно, самый поразительный математический источник из всех существующих. Книга предоставляет подробный обзор самый важных концепций в современной математике, не предполагающий никакого бэкграунда в самопровозглашенном формате “сказок на ночь” — увлекательная, простая для понимания и интуитивно понятная.
Project Euler (Problem Solving Community) — Серия сложных математических задач и проблем из информатики для активизации мозга. Их очень интересно решать, а приобретенные знания помогут вам в карьере в области глубокого обучения.
Statistical Learning Theory course (онлайн курс) — Бесплатный курс по основам машинного обучения, ориентированный на людей с математическим образованием, ведут профессора Хасти и Тибширани.
Strang All the Key Ideas of Linear Algebra in 1 Lesson (видео) — Лаконично, комплексно.
The Book of Why (главы из книги) — Легкое введение в причинный вывод и исторический экскурс в его развитие.
Neuroscience
Brain Inspired Podcast (подкаст) — Подкаст, в котором сливаются нейробиология и искусственный интеллект.
Center for Brains Minds + Machines Summer School Lectures (видео) — Лекции из знаменитой летней школы Вудс Хоул по вычислительной *когнитивной* нейробиологии (подробнее о высокоуровневом познании, поведении и связях с машинным обучением).
Computational Cognitive Modeling @ NYU (слайды и тексты) — Обзор вычислительных подходов к моделированию человеческого познания, тесно связанное с искусственным интеллектом и машинным обучением.
Computational models of the neocortex (Class notes) — Междисциплинарные и передовые.
Lectures from Methods in Computational Neuroscience Woods Hole Summer School (видео) — Лекции из знаменитой летней школы Вудс Хоул по вычислительной *системе* нейробиологии (подробнее о циклах и системных свойствах мозга)
Marr's Levels of Analysis (Vision, 1982, Chapter 1) (глава из книги) — Отлично объясняет на примерах на примерах полезных алгоритмов вроде EM. Служит отличным дополнением к книге Бишопа.
MIT Brains, Minds, and Machines Summer Course (видео) — Курс выпускного уровня на стыке когнитивной науки, нейробиологии и искусственного интеллекта.
Probabilistic Models of Cognition (интерактивный учебник) — Интерактивный учебник, описывающий использование вероятностной модели для создания и моделирования человекоподобного поведения.
The challenge of understanding the brain: where we stand in 2015 (публикация) — Хороший обзор нейробиологии с точки зрения биологии.
Theoretical Neuroscience (онлайн книга) — Популярное введение в теоретическую нейробиологию.
Natural Language Processing
A Code-first Introduction to Natural Language Processing (видео) — Введение в обработку естественного языка для людей с техническим образованием.
A Primer on Neural Network Models for Natural Language Processing (публикация) — Понятный обзор на то, как используются нейронные сети в обработке естественного языка.
CS224n: Natural Language Processing with Deep Learning (видео) — Стэнфордский курс по современной обработке естественного языка.
NLP Progress (список датасетов и результатов) — Вебсайт под управлением сообщества с перечислением большого количества задач, датасетов и современных результатов по обработке естественного языка.
Oxford/DM NLP Course 2017 (курс лекций) — Продвинутый лекционный курс по обработке текста на естественном языке, прочитанный в Оксфорде DeepMinder’ами.
Speech and Language Processing (книга) — Авторитетная отсылка на обработку естественного языка — теперь уже в 3D версии и доступная онлайн.
The Annotated Transformer (запись в блоге) — Отличное введение в доминирующую модель обработки естественного языка.
Machine Learning
Amii's Coursera Machine Learning: Algorithms in the Real World Specialization (онлайн курс) — Отличный обзор на формирование и выявление проблем машинного обучения и их решения.
Bayesian Reasoning and Machine Learning (онлайн книга) — Основы вероятностного рассуждения и моделирования.
David MacKay, Gaussian Process Basics (видео) — Самое доступное и понятное введение в Гауссовский процесс.
David MacKay's book «Information Theory, Inference, and Learning Algorithms» (книга) — Дэвид МакКей представляет уникальный взгляд на связь между теорией информации, инференцией и обучением. Стиль его письма уникален, как и юмор в книге.
Getting into machine learning (блог) — Блог для тех, кто хочет заняться машинным обучением.
Lecture notes on Machine Learning (конспект) — Конспекты с лекций Герберта Ягера по машинному обучению. Описывают много основ и стандартов тем по машинному обучению. Очень хорошо написаны (почти как книга).
Machine Learning at UBC 2012 (видео) — Курс 2012-го года по машинному обучению от Университета Британской Колумбии.
Machine Learning, Probability and Graphical Models (Sam Roweis) (видео) — Отличное объяснение графических моделей легендарным Сэмом Ровейсом.
Ranking of ML online courses (список ресурсов) — Достаточно полный обзор топовых онлайн курсов по машинному обучению.
Stanford's Machine Learning Course (видео) — Введение курса по машинному обучению.
Sunday Classics (список ресурсов) — Сборник классических работ по всем темам в машинном обучении, когнитивной науке, статистике, теории информации, нейробиологии, искусственном интеллекте, обработке сигналов, исследование операций, эконометрике и др.
WEKA: a workbench for machine learning (онлайн ресурсы) — Большой набор бесплатных программных инструментов для ознакомления с данными, визуализацией данных, классификацией, регрессией, выбором характеристик и основой data science. Я постоянно использую эти ресурсы, чтобы научить других видеть закономерности в данных и ценить, как много может увидеть система и использовать эти и более сложные паттерны.
David MacKay, all videolectures (видео) — Имя Дэвида МакКея хорошо известно в этой области, в особенности в области статистики и вероятностном машинном обучении.
Deep Learning
Andrej Karpathy blog/hacker guide (запись в блоге) — Очень доступное вступление к нейронным сетям. Также в его блоге можно найти применимые для жизни практические советы.
An overview of gradient descent optimization algorithms (запись в блоге) — Исчерпывающий пост, рассматривающий основные варианты градиентного спуска, используемого для оптимизации нейронных сетей
Chris Olah blog (блог) — Подход Криса Ола можно назвать очень образовательным за изучение ключевых концептов (таких как понимание концепций и элементов) в машинном обучении на глубоком уровне. Крис страстно увлечен образованием и отлично пишет посты.
Crash Course AI (видео) — Полезная отлично подготовленная вступительная серия. Вполне вероятно, самая лучшая для школьников и новичков.
CS231: Convolutional Neural Networks for Visual Recognition (Stanford) (видео) — Отличные заметки по ссылке: cs231n.github.io Хорошее продолжение курса Эндрю Ына, которое гораздо глубже погружает нас в сверточные нейронные сети (про это кратко упоминалось в конце предыдущего курса) и представляет более продвинутые концепции, такие как генеративные модели, глубокое подкрепление.
CS231n: Convolutional Neural Networks for Visual Recognition (Stanford's legendary CNN lectures) (видео) — Отличный обзор как классических, так и наиболее ранних работ по сверточным нейронным сетям, которые создают основу для большей части работ с визуальными данными
Deep Learning at Oxford 2005 (видео) — Оксфордский курс 2015-го года по глубокому обучению.
Deep Learning Book (книга) — Обширное введение в основы глубокого обучения некоторыми первооткрывателями в этой области.
Deep Learning Indaba Practicals (Colabs) — Существуют учебные пособия, которые были разработаны и проверялись на людях в течение многих лет, для преподавания глубокому обучению от фундаментальных основ до продвинутых тем, таких как построение фреймворка автоматического дифференцирования или обучение генеративно-состязательной сети.
Dive into Deep Learning (книга) — Отличный формат, превращающий изучение ключевых концепций машинного обучения в увлекательное и интерактивное занятие.
DL + RL course with UCL (видео) — Этот курс охватывал много вопросов связанных с глубоким обучением и обучением с подкреплением. Он состоял из двух, в основном отдельных, путей: один на глубоком обучении и один на обучении с подкреплением, которые могли изучаться отдельно.
EEML (first/second edition) Lab materials (Colabs) — Лекции и практические задания по вероятностному моделированию и Байесовскому обучению.
EEML slides from lectures (слайды) — Слайды для лекций прошлогодней EEML (записи, к сожалению, нет). Они охватывают большое количество материала от введения до более сложных презентаций.
Full Stack Deep Learning (онлайн курс) — Модели глубокого обучения не существуют в вакууме. Этот курс освещает практические аспекты глубокого обучения, такие как модель внедрения, инфраструктуру, отладку и даже подготовку к собеседований на тему глубокого обучения.
Intro to machine learning talk at Lviv workshop (раз, два) (лекции) — Введение в машинное обучение. Оно вводит теорию, на основе которой можно построить механизм глубокого обучения.
Khipu videos and practicals + гитхаб (видео + слайды) — Материалы из Khipu — видео и практические задания для прохождения студентами.
Lilian Weng's blog (блог) — Блог Лилиан содержит посты на различные темы, начиная с преподавания учебной программы, учебы, основанной на самоконтроле, мета-обучении и тд. Сами посты не слишком детализированы, иногда слишком углубляются в специализацию, но довольно часто обновляются новой информацией, появившейся после выхода первоначального поста.
MIT 6.S191 Intro to Deep Learning (видео и туториалы) — Вводный курс Массачусетского технологического института по глубокому обучению и информационным системам.
Online journal (журнал) — Рецензируемый онлайн-журнал, позволяющий создавать информативные визуализации и код в том числе для облегчения понимания исследовательских работ и повышения прозрачности и воспроизводимости.
Parallel Distributed Processing (онлайн книга) — Классика для всех, кто хочет понять корни глубокого обучения ещё в тот момент, когда это был “коннекционизм”.
Practical Deep Learning for Coders (онлайн курс) — Рекомендован друзьями других технических специальностей (вроде физики и математики) в качестве отличного введения в глубокое обучение.
Stanford's NLP with Deep Learning Course (онлайн курс) — Полезен для всех, кто хочет начать изучать обработку естественного языка.
Sutton and Barto's Reinforcement Learning (учебник) — Это учебник всех учебников по обучению с подкреплением. Он выстроен от очень базовых вещей до продвинутых тем. Сопровождает лекции Дэвида Сильвера.
Reinforcement Learning
Alberta RL 4-course Specialization (онлайн курс) — Четыре последовательных курса по обучению с подкреплением, начиная с Bandits и заканчивая аппроксимацией функций (NNs), методом градиента и средним вознаграждением.
CS330: Metalearning and Multitask (видео) — Содержит обзор последних работ в области мета-обучения и многозадачности. Вдохновляющее и очень полезное видео для того, чтобы идти нога в ногу с современными идеями в данной области.
David Silver, Introduction to Reinforcement Learning (видео) — Хорошо подхватывает идеи из учебника Саттон и Барто: Почему нам стоит задумываться об этих проблемах? Как соотносятся идеи, которые мы уже обсуждали? и тд.
David Silver's RL Course from UCL (видео) — Полезно для всех, кто хочет узнать об обучении с подкреплением.
Emma Brunskill RL Course (видео) — Видеолекции по обучению с подкреплением из курса Эммы Бранскилл в Стэнфорде.
OpenAI blog (блог) — Доступные презентации базовых и продвинутых алгоритмов обучения с подкреплением.
Reinforcement Learning: an Introduction (2018 edition) (книга) — Это та самая вводная книга по обучению с подкреплением. Рич отлично объясняет фундаментальные концепции обучения с подкреплением, а также проходит с читателем весь путь до передовых открытых исследовательских задач.
UofA / Amii Coursera RL Specilization by White and White (онлайн курс) — Проект Альбертского университета — центра исследования обучения с подкреплением. Адам Уайт связан с Deep Mind; Целостная и хорошо продуманная серия курсов, дающая наиболее важные основы обучения с подкреплением.
Spinning Up in Deep RL (код) — Образовательный ресурс, созданный OpenAI, облегчает изучение глубокого обучения с подкреплением.
Unsupervised Learning and Generative Models
Ermon's graphical models course at Stanford (конспект) — Охватывает большое количество вероятностных методов.
How to Use t-SNE Effectively (интерактивный учебник) — Представляет собой интерактивное и углубленное путешествие ко всем подводным камням использования tSNE, ставший одним из наиболее используемых низкоразмерных вложений данных.
Mathematicalmonk Youtube videos (видео) — Потрясающее объяснение, использующее примеры полезных алгоритмов вроде EM. Отличное дополнение к книге Бишопа.
Monte Carlo Gradient Estimation in Machine Learning (публикация) — Полезна для тех, кто занимается обучением с подкреплением или генеративным моделированием.
Reproducing kernel Hilbert spaces in Machine Learning (материалы к курсу) — Подойдут тем, кто интересуется генеративным моделированием и не только.
Variational inference a feview for statisticians by David Blei (публикация) — Лучшее объяснение вариационных методов в контексте генеративного моделирования.
Прочее
Метаобучение
Chelsea Finn's Multi-Task and Meta-Learning Course (видео) — Видеолекции по многозадачности и мета-обучению.
Философия
Goodman (1955). The New Riddle of Induction. (глава из книги) Философские предпосылки индуктивного смещения и почему сложно сделать выводы и введение.
Наука
Lex Fridman's AI podcast (видео) — Беседы с разнообразными и впечатляющими приглашенными выступающими.
Stanford Physics lecture series by Leonard Susskind (видео) — Отличный ресурс для изучения многих важных областей современной физики, включая классическую, статистическую и квантовую механику. Эти лекции не предполагают большие фоновые знания, Леонард может ввести и объяснить сложные идеи в доступной и увлекательной манере.
Computer Science
Mike Bostock interactive visualisations — Интерактивные визуализации Майка Бостока.
Probability in high dimensions — Понятная книга об “идеях на пересечении теории вероятности, анализа и геометрии, которые возникают в широком спектре современных проблем в различных областях”.
Робототехника
Strogatz nonlinear dynamics course (видео) — Видео курс по нелинейной динамике.
За помощь с переводом спасибо Але Бланкмер.
Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:
- Курс по Machine Learning (12 недель)
- Обучение профессии Data Science с нуля (12 месяцев)
- Профессия аналитика с любым стартовым уровнем (9 месяцев)
- Курс «Python для веб-разработки» (9 месяцев)
Читать еще
- Тренды в Data Scienсe 2020
- Data Science умерла. Да здравствует Business Science
- Крутые Data Scientist не тратят время на статистику
- Как стать Data Scientist без онлайн-курсов
- Шпаргалка по сортировке для Data Science
- Data Science для гуманитариев: что такое «data»
- Data Scienсe на стероидах: знакомство с Decision Intelligence
