Рейчел Томас, соосновательница fast.ai, профессор USF Data Institute
Пол Локхард – кандидат наук в области математики Колумбийского университета, бывший профессор университета Брауна и учитель математики средних классов – в своем важном эссе «Плач математика» описывает ужасный мир, где детям нельзя слушать и исполнять музыку, пока они не проведут десятки лет осваивая нотную грамоту и теорию музыки, транспонируя ноты в другую тональность на своих занятиях. На уроках рисования ученики изучают цвета и кисточки, но смогут начать рисовать только в колледже. Звучит абсурдно, не так ли? Именно так и преподается математика – мы требуем от студентов тратить годы на зубрежку, изучение сухих, не связанных между собой «основ», которые, как мы утверждаем, окупятся в будущем, когда большинство уже бросят сам предмет.
К сожалению, именно здесь и начинается упоминание некоторых из немногих ресурсов по глубокому обучению; обучающихся просят знать определение Гессиана и теоремы разложения в ряд Тейлора для функции потерь, но при этом никогда не приводят примеры фактически работающего кода. Я не виню математику. Напротив же, я люблю математику и даже преподавал её на уровне колледжа, однако не считаю, что это можно назвать хорошим или полезным введением в глубокое обучение.
Так что многие студенты бросают математику из-за того, как скучно её преподают с утомительными, повторяющимися упражнениями и учебным планом, который откладывает так много веселья (например, теорию графов, расчёты и перестановки, теорию групп) на потом, когда уже все обучающиеся – за исключением математических специализаций – бросают предмет. И хранители врат глубокого обучения делают нечто похожее всякий раз, когда просят вывести множественное цепное правило или дать теоретические обоснования расстояние Кульбака — Лейблера прежде чем научат вас использовать нейронную сеть для ваших собственных проектов.
Мы будем использовать лучшие доступные исследования по методам преподавания, пробуя решить проблемы с техническим обучением, включая:
- Обучение «игре целиком» — начиная с демонстрации того, как использовать полную, работающую, очень полезную, современную сеть глубокого обучения для решения реальных проблем, используя простые выразительные инструменты. А затем постепенно закапываться все глубже и глубже в понимание того, как создаются эти инструменты, и как создаются инструменты, которые создают эти инструменты и так далее…
- Всегда обучать с помощью примеров: убедитесь, что есть контекст и цель, которые вы можете понять интуитивно; это лучше, чем начинать с алгебраической манипуляции символами.
- Упрощать как можно больше: мы потратили месяцы на создание инструментов и методик обучения, которые в разы упрощают темы, которые раньше казались сложными.
- Устранять барьеры: до настоящего времени глубокое обучение было очень эксклюзивным.
- Сейчас же мы делаем его более доступным, чтобы каждый мог принимать участие.
- …и многие другие. Некоторые из наших методик я более подробно разобрал ниже.
В конце концов, речь идет о качественном образовании. Это то, что волнует нас больше всего. Ниже наши мысли о качественном образовании:
Качественное образование начинается с «игры целиком»
Точно так же, как дети имеют представление о бейсболе даже до первых тренировок, нам хочется, чтобы и вы имели представление о глубоком обучении в целом задолго до того, как вы начнете изучение математики и цепного правила. Мы будем уходить от общей картины глубокого обучения к деталям (то есть двигаться в противоположном направлении по сравнению с большинством образовательных учреждений, которые пытаются научить всем элементам по-отдельности, а уже потом складывают их в общую картинку). Хорошим примером будет выступление Джереми на тему рекуррентных нейронных сетей – он начинает с трехлинейной РНС, используя высокоэффективную библиотеку, затем убирает библиотеку, стоит свою собственную архитектуру, используя GPU-фреймворк, а затем убирает и его и в мельчайших деталях строит все с нуля, используя базовый python.
В книге, которая нас вдохновляет, Дэвид Перкинс – профессор Гарвардского университета с докторской степенью из МТИ (Массачусетского технологического института) в области искусственного интеллекта – называет болезнью «elementitis» подход, при котором человек не приступает к сложной работе пока сперва не выучит все элементы по-отдельности. Это во многом похоже на тренировку с мячом, не имея представления о бейсболе. Элементы могут казаться скучными или бессмысленными, когда не знаешь, как они вписываются в большую картину. И довольно сложно оставаться мотивированным, когда ты даже не можешь решать волнующие тебя проблемы или понимать, как технические детали вписываются в целое. Возможно, именно поэтому исследования показали спад внутренней мотивации школьников, начиная с 3-его по 8-ой классы (единственный изученный диапазон лет).
Качественное образование дает вам возможность работать над интересующими вас вопросами
Если вам не терпится определять больны ли растения по фотографиям их листьев, автоматически генерировать схемы для вязания, диагностировать туберкулез по рентгену или понимать, когда енот пользуется входной дверью вашей кошки, мы как можно скорее обучим вас глубокому обучению для решения ваших задач (при помощи предварительно решенных задач других людей), а затем постепенно углубимся в более подробную информацию. В течение первых тридцати минут первого занятия вы узнаете, как при помощи глубокого обучения в совершенстве решать собственные проблемы! Существует опасное заблуждение, что для глубокого обучения необходимо обладать вычислительными ресурсами и наборами данных размером с те, что есть у Google, однако это не так.
Качественное образование требует не чересчур много усилий
Вы уже посмотрели, как Джереми внедряет современные методы оптимизации глубокого обучения в Excel? Ещё нет? Тогда посмотрите (начало на 4:50 минуте в видео) и возвращайтесь. Это считается сложной темой, но после нескольких недель упорной работы Джереми смог упросить её до такой степени, что она стала максимально понятной. Если вы действительно разбираетесь в чем-то, вы также можете дать и доступное объяснение, а может и внедрить это в Excel! Запутанный жаргон и бестолковые технические определения возникают из-за лени или же когда говорящий не уверен в сути того, что говорит и просто прячется за своими периферийными знаниями.
Качественное образование – инклюзивно
Оно не возводит ненужных барьеров. Вы не будете чувствовать себя виноватым, если не кодите с двенадцати лет, если у вас нетрадиционный бэкграунд, если вы не можете купить Mac, если вы работаете над необычной проблемой или не посещали элитное учебное заведение. Мы хотим, чтобы наш курс был максимально доступным. Меня сильно волнует вопрос инклюзивности, я потратил месяцы на изучение и написание каждой своей популярной статьи с практическими советами о том, как же нам повысить многообразие в технологиях, а также полтора года преподавал разработку программного обеспечения женщинам. В настоящее время глубокое обучение еще более гомогенно, чем вся индустрия в целом – достаточно пугающе для такой сильной и эффективной области. Но мы это изменим.
Качественное образование мотивирует изучение базовых технических концепций
Понимание общей картины предоставляет вам рамку для размещения основ. Лучшая мотивация во время утомительных частей обучения — это понимание того, на что способно глубокое обучение и того, как лично вы можете его использовать.
Перкинс пишет: «Играть в баскетбол интереснее, чем тренироваться с мячом, играть музыкальные произведения интереснее, чем разучивать гаммы, заниматься каким-нибудь историческим или математическим исследованием на начальном уровне интереснее, чем запоминать даты или решать задачи». Строить рабочую модель для интересующей вас проблемы в разы интереснее, чем писать доказательство (для большинства людей!).
Качественное образование поощряет ошибки
В самом популярном выступлении TED эксперт по образованию Сэр Кен Робинсон утверждает, что наши школьные системы разрушают врожденные творческие способности детей, общественно порицая ошибки. Робинсон говорит: «Тот, кто не готов ошибаться, не способен творить, не может мыслить оригинально».
Преподавание глубокого обучения с использованием кодовой методики в интерактивном Jupyter notebook – это отличная стартовая точка для того, чтобы пробовать новые вещи, ошибаться и с легкостью вносить изменения.
Качественное образование использует уже существующие ресурсы
Не нужно изобретать велосипед – хорошие учебные материалы уже существуют. Академия Хана для тех, кому нужно освежить в памяти умножение матриц. Если вы заинтересованы в X и хотите узнать больше информации, мы советуем почитать Y. Наша цель – помочь вам достичь ваших целей в глубоком обучении, а не быть единственным источником достижения этих целей.
Качественное образование поощряет креативность
Локхарт уверен, что лучше уж вообще не преподавать математику, чем делать это в настолько искаженной форме, которая отпугивает большинство от её красоты. Он описывает математику как «богатое и захватывающее путешествие воображения» и определяет её как «искусство объяснения», хотя она редко преподается именно так.
Самым большим вашим прорывом в глубоком обучении будет момент, когда вы сможете применить его на внешние сферы вашей экспертизы и на проблемы, которые вас волнуют. Это требует творческого подхода.
Качественное образование учит задавать вопросы, а не только отвечать на них
Даже те, кто на первый взгляд, получает больше преимуществ при традиционном методе обучения, иногда все равно страдает от него. По большей части я обучался при традиционном подходе (хоть у меня и было несколько выдающихся преподавателях на всех ступенях обучения, особенно в Суортморе). Я преуспевал в школе, отлично сдал экзамены и вообще наслаждался процессом обучения. Я любил математику, что вылилось в степень доктора математики в университете Дьюка. Я отлично справлялся с заданиями и экзаменами, но традиционная методика оказала мне медвежью услугу, когда я стал готовиться к докторским исследованиям и своей профессиональной карьере. Преподаватели больше не ставили передо мной четко сформулированные задачи. Я больше не мог изучать каждый поэтапный блок перед началом работы над заданием. Как Перкинс писал о своих проблемах с поиском хорошей темы для диссертации, так и я умел лишь решать поставленные передо мной задачи, но не умел самостоятельно искать то, что меня интересовало. Сейчас же я воспринимаю свой академический успех как слабость, которую мне нужно было преодолеть в профессиональном плане. Мне нравилось читать математические теоремы и доказательства в самом начале изучения глубокого обучения, но они не помогали построить модели глубокого обучения.
Качественное образование основано на фактических данных
Мы любим данные и научный метод, и заинтересованы в подходах, опирающихся на исследования.
Обучение интервальными повторениями – как раз один из таких подходов, подкрепленный доказательствами, при котором обучающиеся периодически возвращаются к теме перед тем, как забыть её. Джереми и сам пользовался этим методом и добился впечатляющих результатов в китайском языке. Игровой метод обучения прекрасно сочетается с методом интервальных повторений – мы возвращаемся к темам, каждый раз углубляясь во все более и более низкоуровневые детали, но всегда возвращаемся к большой картинке.
Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:
- Курс по Machine Learning (12 недель)
- Курс «Профессия Data Scientist» (24 месяца)
- Курс «Профессия Data Analyst» (18 месяцев)
- Курс «Python для веб-разработки» (9 месяцев)
