company_banner

Учимся читать научные статьи у Эндрю Ына из Стэнфорда

Автор оригинала: Richmond Alake
  • Перевод

Мудрость является не продуктом обучения, а пожизненной попыткой ее приобрести.

Альберт Эйнштейн

Каждому, кто серьёзно занимается машинным обучением, необходимо научиться понимать то, что публикуется в научных статьях. Подобные публикации делают учёные, находящиеся на переднем крае исследований в соответствующих областях. Это — искусственный интеллект (AI, Artificial Intelligence), машинное обучение (ML, Machine Learning), глубокое обучение (DL, Deep Learning) и многие другие сферы.



Для того чтобы оставаться в курсе последних открытий и расширять собственные знания, нужно обладать научным складом мышления и соответствующими привычками. Технологии AI, ML и DL развиваются с невероятной скоростью. Поэтому нам нужно, чтобы не отставать от прогресса, запастись соответствующими знаниями. Эти знания можно получить только в ходе работы с научными публикациями.

Здесь вы найдёте руководство по эффективной работе с научными статьями. В частности, мы остановимся на следующих темах:

  • Систематический подход к чтению подборок публикаций для получения знаний в интересующей вас области.
  • Правила чтения научных статей.
  • Полезные интернет-ресурсы, которые могут помочь вам в поиске публикаций и важнейшей информации.

Кто такой Эндрю Ын?


Эта статья основана на лекциях, которые читал Эндрю Ын. Я, кроме того, добавил сюда некоторые собственные рекомендации и полезные сведения, найденные в интернете.

Для начала хочу в двух словах рассказать о том, кто такой Эндрю Ын (Andrew Ng).

Эндрю Ын является доцентом Стэнфордского университета. Он, вероятно, самый известный (и обладающий самой большой зрительской аудиторией) преподаватель, читающий лекции в сфере машинного обучения. Эндрю, кроме того, является сооснователем Deeplearning.ai и Coursera.

Как люди приобретают полезные навыки?


Для человека совершенно естественно перенимать навыки и привычки, которые демонстрируют те, кто его окружает. Именно благодаря этому у студентов-докторантов и вырабатываются навыки эффективного усвоения информации из научных публикаций. Это, в определённой мере, общеизвестный факт. Эндрю упоминает об этом в самом начале своей видеолекции, на которую я давал ссылку выше.

Но мы — не студенты, хотя кто-то из вас, возможно, является студентом. Поэтому перед нами встаёт вопрос о том, как обычному человеку обзавестись навыками, необходимыми для чтения и глубокого понимания научных публикаций.

Методика подбора материалов для чтения


Талантливому человеку, который хочет трудиться в сфере машинного обучения, лучше всего на чём-то специализироваться. Например, достойно одобрения обладание общими сведениями из сферы машинного зрения (Computer Vision). Но тот, у кого есть специализированные знания и опыт использования основных методов решения задачи оценки положения объекта в пространстве (Pose Estimation, PE) будет выглядеть гораздо привлекательнее с точки зрения потенциального работодателя, которому нужен специалист соответствующего профиля.

Давайте, на примере задачи PE, разберём методику работы с научными публикациями по интересующей нас теме.

▍1. Подбор материалов


На первом шаге работы мы сформируем подборку ресурсов, относящихся к предмету нашего интереса. В понятие «ресурсы» входят научные публикации, статьи с Medium, материалы из блогов, видеозаписи, GitHub-репозитории и так далее.

Если поискать в Google по фразе pose estimation, в нашем распоряжении окажется набор ссылок на основные ресурсы, имеющие отношение к интересующему нас вопросу. На этом шаге работы нашей целью является сбор всего того, что нам может подойти. Это и видео с YouTube, и документация, касающаяся практической реализации интересующих нас механизмов машинного зрения, и, конечно, научные статьи. Тут, в идеале, не нужно ограничиваться каким-то определённым количеством ресурсов, которые вы считаете важными. Главное — составить итоговый список материалов, которые могут принести вам пользу.

▍2. Анализ материалов и оценка уровня их понимания


Здесь мы проведём анализ ресурсов, признанных ранее потенциально полезными и относящимися к интересующему нас вопросу. Очень важно учитывать то, что существует метод оценки уровня понимания материалов, включённых на предыдущем шаге работы в итоговый список. Эндрю Ын советует сделать таблицу, в которой можно указывать уровень понимания каждого из материалов. Выглядеть эта таблица может примерно так, как показано ниже.


Таблица ресурсов, используемая для оценки уровня их понимания

Рекомендуется постараться прочесть как минимум 10-20% содержимого каждого документа, добавленного в подобную таблицу. Это позволит ознакомиться с таким объёмом материала, которого хватит для того чтобы достаточно точно проверить то, насколько материал соответствует нашим нуждам.

С материалами, которые лучше других соответствуют предмету нашего интереса, нужно разобраться глубже, чем с другими. В итоге вы найдёте некоторые подходящие ресурсы, которые полностью вам понятны.

Возможно, вы сейчас задаётесь вопросом о том, сколько статей или других ресурсов должны быть вам полностью понятны.

У меня нет ответа на этот вопрос, а вот у Эндрю ответ есть.

А именно, он говорит о том, что понимание 5-20 материалов указывает на базовый уровень ориентирования в вопросе. Возможно, этого уровня достаточно для перехода к практической реализации различных методик.

Если речь идёт о понимании 50-100 материалов, это значит, что вы очень хорошо разбираетесь в вопросе.

После того, как вы проанализируете ресурсы, и кое-что о них узнаете, ваша таблица будет выглядеть примерно так, как показано ниже.


Обновлённая таблица для оценки уровня понимания ресурсов

▍3. Краткое описание материалов


Третий шаг предварительной работы с материалами основан на моём собственном опыте. Когда я пытаюсь понять научные публикации, я делаю структурированные заметки, в которых кратко, своими словами, обобщаю основные результаты, находки, методики, описанные в работах.

Теперь, после того, как мы нашли материалы, которые стоит прочесть, мы переходим к их чтению.

Чтение научной статьи


Когда что-то читают ради того, чтобы понять, одного прочтения материала недостаточно. Эндрю говорит, что чтение всей статьи за один присест, возможно, не лучший способ работы, позволяющий сформировать понимание материала.

Будьте готовы к тому, что вам, чтобы как следует освоить статью, придётся прочитать её как минимум три раза.

▍4. Первое прочтение


При первом прочтении статьи сосредоточьтесь на заголовке, аннотации и рисунках.

▍5. Второе прочтение


При втором прочтении обратите особое внимание на введение и заключение. Кроме того, ещё раз взгляните на рисунки и бегло просмотрите остальные части статьи.

Вводный и заключительные разделы статьи содержат чёткие и краткие сведения о её содержимом, в них подводятся итоги по основным находкам, сделанным авторами статьи. В эти разделы обычно не включают каких-то вспомогательных сведений. Здесь находится только то, что действительно важно. Благодаря этому читатель оказывается подготовленным к восприятию остальных частей статьи.

▍6. Третье прочтение


При третьем проходе по статье читают основной текст, пропуская при этом сложные математические вычисления или описания методик, новых для читателя. На данном этапе работы можно, кроме того, пропускать непонятные или новые термины.

▍7. Следующие прочтения статьи


Тот, кто занимается глубокими исследованиями в некоей области, может прочитать статью ещё несколько раз. Эти дополнительные сеансы чтения будут, в основном, направлены на разбор математических выкладок, на освоение методик, на выяснение значения незнакомых терминов.

Тот, кто обычно читает научные статьи в информационных целях, и ради того, чтобы быстро ознакомиться с предлагаемыми ими методиками работы, может столкнуться с тем, что глубокое изучение статей отнимает у него очень много времени. Особенно — если речь идёт о нескольких десятках статей, которые нужно проработать.

Вот пример того, что я называю здесь «глубоким исследованием». Я прочитал эту статью по представленной здесь методике, разобрался в ней, а потом, на её основе, написал 4 собственные статьи (1, 2, 3, 4).

Вопросы, которые стоит задать самому себе при чтении статьи


Эндрю даёт нам список вопросов, которые следует задавать самому себе при чтении статьи. Эти вопросы, в целом, направлены на то, чтобы выявить понимание того, о чём вы читаете. Я использую следующие вопросы в качестве ориентиров, позволяющих мне не отклоняться от моей основной цели — понимания сути статьи.

Вот эти вопросы:

  1. Опишите то, чего пытается достичь автор статьи, или, возможно, то, чего он уже достиг.
  2. Если вы встречаетесь с новым подходом к решению задачи, с новой техникой или методикой, опишите их ключевые элементы.
  3. Что именно в статье вы считаете самым полезным для себя?
  4. Какие материалы, упомянутые в статье, вам хочется прочитать?

Дополнительные ресурсы, которые могут помочь в исследованиях


Мне, в поисках информации, очень помогли некоторые ресурсы, список которых я привожу ниже.


Вы вполне можете составить подобный список самостоятельно.

Итоги


Долговременные результаты даёт постоянная стабильная учёба, а не изучение чего-либо «набегами».

Эндрю Ын

Я — всё ещё сравнительно новый человек в сферах машинного обучения и компьютерного зрения. И здесь, мягко говоря, ещё очень много такого, чего я не знаю. Но, несмотря на это, я уверен в том, что если человек последователен в поисках знаний, неважно, в какой области, он будет вознаграждён пониманием и навыками, которые позволят ему подняться выше некоего среднего уровня.

Я, пользуясь методикой работы с научными статьями, предложенной Эндрю Ыном, планирую читать как минимум четыре научных статьи в месяц. Читать их до тех пор, пока не пойму. Если говорить честно, на то, чтобы прочесть и понять вышеупомянутую статью про LeNet, у меня ушло полторы недели. Но, чем больше я буду читать, тем быстрее и лучше это у меня будет получаться. Это относится не только ко мне.

Эндрю говорит, что постоянно носит с собой пачку статей, которые запланировал прочитать. Эндрю — известная личность в сфере машинного обучения. Я думаю, что тот, кто переймёт его привычки и методы изучения нового, может оказаться в большом плюсе.

Как вы читаете научные статьи?

RUVDS.com
RUVDS – хостинг VDS/VPS серверов

Комментарии 11

    +3
    Я надеялся что расскажут о том, как расшифровывать методологии исследования для тех, кто не учил статистику, как строится научная статья в западном журнале, или хотя бы почему «настоящие» выводы находятся в начале статьи, а не в конце. Рассказали весьма сомнительный набор фактов и предположений. Вот пара примеров почему:

    — 50-100 источников — это уровень PhD, но никак не «почитать пейперы о ML на досуге» для профессионала.

    — Система «чтений» не информативна по сути и по изложению: для удобства заголовки «Первое, второе, третье чтение» можно было бы заменить на то, что в этих чтениях надо делать.

    — "При первом прочтении статьи сосредоточьтесь на заголовке, аннотации и рисунка" — звучит абсурдно, как словно при чтении статьи все будет плыть перед глазами. Скорее, автор хотел сказать о том, что сперва надо прочитать аннотацию и понять о чем сама статья и что нужно искать внутри из того, что в аннотации нет, но в переводе это потерялось.

    Тот, кто обычно читает научные статьи в информационных целях, и ради того, чтобы быстро ознакомиться с предлагаемыми ими методиками работы, может столкнуться с тем, что глубокое изучение статей отнимает у него очень много времени.

    А казалось, что статья расскажет как это обойти и читать меньше времени… Загадка остается нераскрытой.

    И это только пара примеров.

    Кстати, если кто-то действительно интересуется темой, на Хабре есть куда лучше статья на эту тему: Как читать научные статьи: советы ученых. По крайней мере, она повторяет то, что действительно советуют в американских университетах.
      +2
      Долговременные результаты даёт постоянная стабильная учёба, а не изучение чего-либо «набегами». Эндрю Ын
      ...12 октября 1492 года, знаменитый европейский мореплаватель и картограф Христофор Колумб, что сделал?
      «планирую читать как минимум четыре научных статьи в месяц. Читать их до тех пор, пока не пойму.»
      Вот тут вопрос — что значит пока не пойму? Пока не смогу воспроизвести все выкладки? Пока не будет вроде бы понятна логика? Это не так просто — как понять, что понимаешь на самом деле?
      Обычно проблема в системной подготовке. Т.е. часть статей понятна сходу, а там где есть «логические скачки» (это мне один рецензент как-то написал — мне понравилось выражение) — не хватает понимания почему так — и надо зарываться в какую-то другую литературу, причем непонятно какую. А что понимание «кажущееся», осознаешь когда пытаешься воспроизвести что-то в статье и выясняется, что упс… а откуда то и это?
      Еще статьи бывают плохие и хорошие. У меня лежит одна хорошая статья где столько ценного материала, что я её использую уже несколько лет. И есть плохие — где невнятная постановка, плохо описаны методики и непонятные выводы. Но такие как правило можно отбросить сразу. Или бывают водянистые статьи — где пересказываются общеизвестные вещи, а никакой применимой информации нет. А самое грустное — это плохо написанные статьи, где вроде что-то ценное есть, но… у автора мысль скачет туда-сюда.
      Это я к тому, что бывает проблема не в читателе, а в писателе. А учитывая, что сейчас создана ситуация, что главное количество статей, а не качество — читателю будет только труднее.
        +1
        Поэтому нам нужно, чтобы не отставать от прогресса, запастись соответствующими знаниями. Эти знания можно получить только в ходе работы с научными публикациями.
        Научные публикации имеет смысл читать, только уже имея довольно цельную прочную базу в изучаемом предмете, иначе можно нахвататься обрывочных знаний и потратив на порядок больше времени так и не сложить в голове целостную картину предмета.
        Поэтому вначале изучаем структурированный учебник / обучающие материалы и разбираемся в основах предмета, а только имея базу добираемся до научных статей!
          +1
          Я получил кучу удовольствия, пройдя курс Эндрю по МЛ на курсере
          Особенно вставляет то, что он на своих видео делает кучу ошибок в формулах, и потом ты сидишь и пытаешься понять, почему они не имеют смысла. Потом, после нескольких убитых часов, находишь место, где перечислены все опечатки.
            0
            Вот именно поэтому он и рекомендует, вначале посмотреть картинки, начало и конец статьи )))
            0
            Интересная статья, спасибо
              0
              Я как раз член researchgate и постоянно сталкиваюсь с просьбами прислать текст
              той или иной своей статьи (я занимаюсь вычислительной физикой и часто публикуюсь).
              Если статья появляется в «настоящем» бумажном журнале с одновременным
              переводом на английский, то я связан договором с издательством и не имею права
              распространять официальный текст от своего имени. Если статья появляется на
              электронном ресурсе, так ее и распространять не надо — вот она. Однако, она,
              как правило, написана на русском. Проблема как раз в том, что «хорошие»
              адекватные понятные статьи (кто ясно мыслит — ясно излагает) появляются как
              раз в авторитетных раскрученных изданиях. И чтобы получить текст, нужно еще
              попрыгать с бубном. А еще лучше читать не статьи. Каждой статье, содержащей
              новый нетривиальный результат, предшествует некая работа, на этапах и по итогам
              которой пишутся отчеты и диссертационные работы. С точки зрения понимания
              проблемы и того, как именно она решалась, лучше читать именно эти материалы.
              Но и доставать их труднее, особенно у нас. Но можно, было бы желание, имхо.
                0
                Если статья появляется в «настоящем» бумажном журнале с одновременным
                переводом на английский, то я связан договором с издательством и не имею права
                распространять официальный текст от своего имени.
                В личной переписке — имеете чаще всего. Поэтому на researchgate можете слать private копию и ничего не нарушите. Не имеете права выкладывать в открытый доступ.
                  +1
                  Я, конечно, это делаю. И сам иногда прошу авторов прислать, если уж совсем
                  не могу найти. Но что-то в этом есть ненормальное. Поэтому я стараюсь по мере
                  сил активно участвовать в движении за открытый доступ к научным статьям. Готов
                  ради этого отказаться от гонораров за переводные публикации. Кажется, все к тому
                  идет, но как-то медленно очень. Не доживу.
                    0
                    Очень надеюсь, что мы к этому все же скоро придем! За неимением лучшего пока продвигаю scihub:)
                +1
                Есть способ гораздо проще — писать статьи так, чтобы они были понятны.
                Просто не все авторы обладают для этого талантом, временем и желанием.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое