Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории



    Я мирно сидел на семинаре, слушал доклад студента о статье с прошлого CVPR и параллельно гуглил тему.

    — К достоинствам статьи можно отнести наличие исходного кода….
    Пришлось вмешаться:
    — Наличие чего, простите?
    — Э-э-э… Исходного кода…
    — Вы его смотрели? 
    — Нет, но в статье указано… 
    (мать-мать-мать… привычно отозвалось эхо)
    ㅡ Вы ходили по ссылке?

    В статье, действительно, предельно обнадеживающе написано: “The code and model are publicly available on the project page …/github.io/...”, — однако в коммите двухлетней давности по ссылке значится вдохновляющее «Код и модель скоро выложим»‎:


    Ищите и обрящете, стучите и откроется… Может быть… А может быть и нет. Я бы, исходя из печального опыта, ставил на второе, поскольку ситуация в последнее время повторяется ну уж о-о-очень часто. Даже на CVPR. И это только часть проблемы! Исходники могут быть доступны, но, к примеру, только модель, без скриптов обучения. А могут быть и скрипты обучения, но за несколько месяцев с письмами к авторам не получается получить такой же результат. Или за год на другом датасете с регулярными скайп-звонками автору в США не удается воспроизвести его результат, полученный в наиболее известной лаборатории в отрасли по этой теме… Трындец какой-то.

    И, судя по всему, мы пока видим лишь цветочки. В ближайшее время ситуация кардинально ухудшится. 

    Кому интересно, что стало со студентом куда катится научный мир, в том числе по «вине»‎ глубокого обучения, добро пожаловать под кат!

    Кризис воспроизводимости


    В 2016 году в журнале Nature вышла статья IS THERE A REPRODUCIBILITY CRISIS? (Происходит ли сейчас кризис воспроизводимости)?, в которой привели результаты опроса 1576 исследователей: 


    Источник: Этот и следующие графики этого раздела — статья в Nature

    По итогам опроса 52% исследователей считают, что имеет место существенный кризис, 38% — легкий кризис (итого 90% суммарно!), 3% — что кризиса нет и 7% — не определились.
    Конспирологическая версия автора — учитывая масштабы бедствия, последние просто не хотят привлекать «излишнее» внимание к вопросу: 



    Если посмотреть по дисциплинам, получается, что на первом месте химия, на втором — биология, на третьем — физика:



    Интересно, что в химии, например, более 60% исследователей сталкивались с невозможностью воспроизвести свое собственное исследование. В физике таких тоже более 50%. 

    Также очень интересно, что именно с точки зрения исследователей вносит наибольший вклад в кризис невоспроизводимости:



    На первом месте идет “Selective reporting”. Для Computer Science это ситуация, когда автор, например, выбирает для публикации лучшие примеры, на которых работает алгоритм, и не описывает подробно, где и что не работает. 

    Интересно, что на втором “Pressure to publish”. Это очень хорошо известный принцип “Publish or perish”. Статья в англоязычной википедии неплохо описывает проблему. Статьи в русской википедии на эту тему нет, хотя в местах с высокой оплатой за научную работу проблема становится актуальной. Например, в одном топовом вузе с хорошей зарплатой (увы, я не о родном МГУ) для переаттестации критичны высокие публикационные баллы, и, если хочешь продолжать работать — изволь публиковаться. Тушкой, чучелком, как угодно, но чтобы баллы были.

    Также обратите внимание, что «недоступность кода» (“Methods, code unavailable”) встречается в 45% случаев часто и в 82% — иногда. Ну и непосредственно мошенничество как причину указывают в 40% случаев, т.е. довольно часто. Недавно я общался с китайским профессором, работающим в области алгоритмов сжатия видео. Он говорил, что внутри Китая статей результатов с сознательными подтасовками очень много, они стали просто бичом каким-то. За внешние публикации с мошенничеством там быстро увольняют, поэтому они стараются соответствовать, но внутри творится кошмар (см., например, статью “Publish or perish in China” в Nature). Кошмар, в том числе и по следующей в списке причине “Insufficient peer review” — не хватает сил на качественное кросс-рецензирование.

    Отдельная большая проблема, о которой упомяну только вскользь: если результат не получилось воспроизвести, то статью об этом почти невозможно опубликовать…



    Всех интересуют новые достижения, новый вклад и новые идеи, а что там старое не работает — какая разница. Это естественным образом увеличивает долю невоспроизводимых результатов, в том числе сознательное мошенничество. Разбираться, скорее всего, никто не будет — не принято. Очевидно, что когда на одном фейковом результате начинают базироваться другие, то вся система становится неустойчивой, что в итоге бьет по всем:


    Ваши ставки успеет увернуться или его придавит?

    Итого:
    • По опросу 1576 исследователей, опубликованному в Nature, 52% считают, что сейчас существенный кризис воспроизводимости, и 90% согласны, что такой кризис есть.
    • При этом текущая ситуация — еще цветочки и скоро все будет хуже, особенно в Computer Science. Почему? Сейчас узнаете.

    Воспроизводимость в Computer Science


    В Arizona State University (который по количеству студентов, к слову, в 2 раза больше МГУ) на программистском факультете сделали специальный сайт http://repeatability.cs.arizona.edu/, посвященный проведенному у них исследованию воспроизводимости результатов в 601 статье из журналов и конференций ACM. Получилась такая картина:



    Источник: Repeatability in Computer Science

    106 статей они не проверили, поскольку не хотели нарушать чистоту эксперимента (они писали авторам и запрашивали код), в оставшихся: 

    • в 93 статьях (19%) нет кода, либо было железо, с которым они не могли сравниться,
    • в 176 статьях (35%) авторы не предоставили код,
    • в 226 статьях (46%) код был, в 9 (2%) его не удалось собрать, а у 87 (64 + 23) статей (18%) на решение проблем сборки проекта ушло больше получаса (в 23-х случаях проблемы устранить не удалось, но автор заверил, что «приложи больше усилий» всё бы собралось).

    Должен сказать, что по нашему опыту после сборки самое интересное только-только начинается, но в исследовании они на этом этапе решили остановиться, и при таком количестве их можно понять. В любом случае, статистика очень показательная, и 35% отказов предоставить код довольно близки со строкой “Methods, code unavailable” предыдущего исследования (третий график).

    Вообще, тема прокопана довольно хорошо. В частности, «Золотым стандартом»‎ считается доступность кода и данных, на которых легко полностью повторить результат, а самым плохим подходом считается представление только статьи:


    Источник: Conceptualizing, Measuring, and Studying Reproducibility

    Почему же так происходит? 

    Причин, как у любого сложного явления, несколько:

    • На западе сильно влияет упоминавшийся “Publish or perish”. На семинарах и воркшопах молодых зеленых аспирантов совершенно серьезно и недвусмысленно ориентируют — «Пришла идея, первым делом опубликуй ее! И только потом проверяй!»‎ (Кто сказал дикость? Суровая реальность, господа!) Приоритет в науке реально важен (в том числе для пресловутого цитирования), поэтому, когда приходит какая-то интересная идея — ее сначала публикуют (иногда с фейковыми данными, иногда нет) и только потом начинают что-то там долго мучительно программировать, зачастую натягивая сову на глобус. Статья, приведенная в качестве первого примера в начале этого текста, похоже, как раз из таких (галлюциногенные нейросети… интересно, что они курили? Но на CVPR зашло!). В итоге получается страдающий избыточным весом белый пушной зверек, поскольку ситуация продолжает ухудшаться:


    • Условно, половину денег на исследования дает государство (где-то больше, где-то меньше). И государственные деньги провоцируют публикационное безумие (когда публикуются, лишь бы опубликовать). Другую половину денег дают компании и компании явно проговаривают ограничения на публикации. Особенно известна была своими негритянскими условиями для институтов и университетов одна популярная корейская компания, которая предлагала российским ученым работать, по меткому выражению коллеги, «за бусы»‎. Да, сейчас они в области нейросетей даже рынок поломали в гонке зарплат, но вообще предложение первым делом ужасного договора — фирменный стиль таких азиатских компаний. И когда отлично написанную статью не разрешают опубликовать, а потом еще одну, и еще — это сильно демотивирует, конечно. Такое даже через несколько лет не забывается.

    В итоге результат идет в патенты при минимуме статей. Интересно, что я общался с коллегами из Финляндии, США, Франции и т.д. Там многие плотно сидят на грантах, но те, у кого много компаний, тоже публикуют далеко не все результаты, а если и публикуют, то так или иначе сокращают (культурно выражаясь) описание подхода, закономерно усложняя воспроизведение. За это уже уплачено.

    Итого: 

    • Даже после настоятельных просьб код присылают максимум в 46% случаев (кстати, почитайте исследование, там интересны примеры «отмазок»‎, по нашему опыту ровно такие в основном и присылают).
    • Сама система финансирования науки либо мотивирует публиковать непроверенные результаты как можно быстрее, либо ограничивает публикации, в том числе в плане полного раскрытия. И в том, и в другом случае воспроизводимость падает. 

    Почему машинное обучение резко ухудшает ситуацию


    Но и это не все! В последнее время стремительно распространяется машинное обучение вообще и нейросети в частности. Это круто. Оно обалденно работает. Совершенно невозможное вчера становится возможным уже сегодня! Просто праздник какой-то! Так?

    Нет. Нейросети добавили Computer Science новый виток погружения в пучину невоспроизводимости. 

    Вот простой пример, так выглядит функция потерь для ResNet-56 без skip connections (визуализация пары параметров из нескольких десятков миллионов). Наша задача за разумное число итераций (эпох) найти самую глубокую точку: 


    Источник: Visualizing the Loss Landscape of Neural Nets

    Хорошо видно море локальных минимумов, в которые радостно «проваливается»‎ наш градиентный спуск и «не может»‎ оттуда выбраться. Да, понятно, что именно для ResNet этот пример используют как великолепную иллюстрацию, что дают skip connections (после введения которых обучаемость сети кардинально улучшается):



    Ибо одно дело — пытаться в сложном ландшафте нащупать минимум (и помогает только запредельная общая размерность пространства поиска), и совсем другое дело — явный относительно легко находимый градиентами глобальный минимум. 

    История красивая, но в нашей суровой реальности с большим количеством слоев снова и снова приходится сталкиваться с тем, что сеть не обучается. Вообще. 

    И даже интереснее — в какой-то момент ее удается обучить (ошибка резко падает), но через какое-то время при попытке с нуля воспроизвести результат (например, при потере данных коэффициентов) повторить фокус не удается, и идет явное мучительное путешествие сети вдалеке от минимума. Сотни эпох сменяют друг друга, а воз остается на месте. Не выходит Каменный Цветок у Данилы-мастера.

    Раньше представить себе ситуацию, что у исследователя не получится воспроизвести собственные результаты в Computer Science, было довольно сложно. Сегодня это стало обыденным, как уже давно в физике, химии, биологии и далее по списку. С нейросетями Computer Science внезапно стала экспериментальной наукой! Welcome to this wonderful world. Теперь вы все чаще будете сталкиваться с невозможностью воспроизвести свой собственный результат (как и 64% химиков, 60% биологов, см. второй график этой статьи).

    Но и это не все радости. Дальше будет веселее!

    Вообще, я довольно долго с изрядным скепсисом относился к нейросетям, поскольку алгоритмы на их основе не работали. Ну как… Они как-то работали, конечно, но проигрывали на больших выборках «классическим»‎ state-of-the-art алгоритмам (что не мешало их массово публиковать). Происходило это потому, что нейросети крайне удобны для разного рода махинаций. Главное — достаточно грамотно подобрать обучающую выборку под примеры и можно натуральным образом демонстрировать чудеса. Получаются красивейшие картинки (а иногда и красивейшие графики), и статья отлично заходит. Можно даже код выложить (это вроде модно стало), сути это не меняет. Оно не работает. Но когда сзади маячит большой красный PoP-петух с огромным острым клювом… статья фигак-фигак и уходит в печать.



    Отдельная крупная проблема — области, где нет больших обучающих выборок. Коллеги из медицины жалуются — полный кошмар творится. Они наборы данных собирали годами. И там даже десятки тысяч примеров. Но приходят аспиранты с глубокими нейросетями. Фигак-фигак и всех обогнали… Красавцы! Гиганты науки! И с довольными светлыми ликами докладывают результаты. У них спрашивают:
    — А что вы сделали, чтобы не было overfitting? 
    — Чего, простите?
    — Почему у вас нет переобучения? 

    И человек абсолютно серьезно рассказывает, как он правильную сеть взял и строго по методичке ее обучил, и поэтому у него все хорошо. Т.е. молодые люди (массово!) вообще не понимают, что такое переобучение! Не один, не два, а прямо уже заметная доля аспирантских докладов. Вот она, новая волна молодых нейросетевых революционеров. Вспоминаем профессора Преображенского, тяжело вздыхаем о традиционной для молодых революционеров неграмотности. Делаем выводы.

    Но это ладно. На недавнем ИТиС-2019 Михаил Беляев приводил чудные примеры, как этот подход вполне себе добирается и до медицинского продакшена! В реальные компании, предлагающие анализ с использованием нейросетей, сдали контрольные анализы и получили неожиданно печальный результат. Причина в том, что инвесторы тоже почуяли революцию, и если человек обещает новые горизонты на основе нейросетей, то они дают ему денег (проницательный Анатолий Левенчук предупреждал об этом еще в 2015 году, через полгода после изобретения батчнорма, и за полгода до ResNet, когда много слоев еще плохо обучались). А платить за это вам, дорогие господа! И, да, было бы лучше сначала поэкспериментировать на мышках, но у мышек, как выразился один знакомый циник, нет кошельков! Поэтому данные для обучения сейчас собирают (культурно выражаясь) на деньги потребителей, т.е. на ваши деньги. Люди, будьте бдительны! 

    Понятно, что не нейросети виноваты. Большой вопрос в том, как получить достаточное количество смежных данных, зафайнтюнить их на имеющейся небольшой выборке, избежать catastrophic forgetting и вот это вот все. Но, даже если у вас грамотные исследователи, — потребуется время. А инвестор хочет результат здесь и вчера. Так что, радовались волне успехов нейросетей?
    Получаем большую пену большой волны, когда неработающие по факту методы дотащило прибоем крупных волн до реального применения. Оплатите счет, пожалуйста!

    Итого: Нейросети ухудшают ситуацию в Computer Science по трем направлениям:

    • С обучением нейросетей CS более прежнего становится экспериментальной наукой со всеми вытекающими минусами.
    • Подгонка обучающей выборки под тестовую позволяет продемонстрировать любой сколь угодно чудесный результат (усугубление главной причины невоспроизводимости — selective reporting).
    • И, наконец, в областях, где обучающие выборки малы, крайне сложно избежать переобучения, отлавливать и работать с которым сегодня многие не умеют (формально на датасете результат великолепен, но фактически алгоритм не работает). 

    Что можно сделать?


    Если вы (счастливый человек!) работаете в хорошо прокопанных областях, то часто вообще вся работа — готовить датасеты да скармливать их сетям. Разве что стоит за архитектурами следить. В этом случае вообще пропадает смысл смотреть статьи без кода. И это настоящий праздник! Почувствуйте свое счастье, не всем так повезло! 

    Есть даже такой сайт PapersWithCode.com, который в области машинного обучения целенаправленно собирает статьи, автоматически парсит рейтинг их репозиториев с GitHub, приводит все по категориям и добавляет бенчмарки и датасеты. В общем — все для людей! К слову, по их подсчетам сейчас код доступен только для 17–19% статей:


    Источник: Percentage of published papers that have at least one code implementation 

    У них же, если отвлечься на секунду (и еще прорекламировать этих правильных ребят), есть весьма любопытный график изменения популярности ML/DL фреймворков за последние 4 года: 


    Источник: Paper Implementations grouped by framework 

    Торч на коне, TF (кто бы мог подумать еще недавно!) сдает позиции. Впрочем, это другая история…

    Из опыта понятно, что у этих 17–20% статей с кодом тоже (по описанным причинам) не все волшебно, но, по крайней мере, проверить их работу можно на порядок быстрее. И это — классно.

    Другой реально работающий рецепт — это создание достаточно крупных датасетов и бенчмарков. Взлет нейросетей не зря начался с ImageNet с 14 миллионами изображений, разбитых на 20000+ классов. Да, это сложно, но с глубоким обучением можно работать только с действительно большими наборами. Даже если их создание идет мучительно и трудно. 

    Например, какое-то время назад мы создали бенчмарк для выделения полупрозрачных объектов в видео (шерсть, волосы, ткани, дым и прочие нетривиальные радости жизни). Изначально планировалось уложиться при его создании в 3 месяца. Были найдены сервоприводы, экран, хорошая камера, куплена синяя изолента, у всех знакомых девушек был реквизирован миллион мягких игрушек, найден манекен с реальными волосами, на котором тренируются в укладке волос парикмахеры. И…


    Источник: материалы автора… Синяя изолента, как хорошо видно, выполняет ключевую несущую роль

    Все (нет, не так… ВСЕ!) шло не так. Вибрации пола от проходившего мимо человека хватало, чтобы волосы смещались (прогоны записи были перенесены на ночь), волосы колыхало потоками воздуха (был сооружен короб), в коробе сервоприводы начали перегреваться (пришлось модифицировать программу и при достижении определенной температуры ждать, пока они остынут). И т.д. и т.п. В итоге отличный датасет был построен через год с лишним (его создание достойно отдельной эпичной саги), а технологию его производства мы уже продали дороже, чем сделанные с его помощью алгоритмы. В чудном новом мире рулят данные, господа! И внезапно выясняется, что нужны человеко-годы квалифицированного труда, чтобы данные были хорошие, чистые и пригодные для обучения. 

    Базовый тренд на сегодня — создание датасетов внутри компаний. Ценность данных осознана, и в их подготовку вкладываются значительные средства. К счастью, многие компании понимают, что в одиночку со сложными задачами не справиться, и финансируют создание открытых датасетов (см. например, поисковик по 25 тысячам датасетов на Kaggle).

    Итого:

    • Если есть такая возможность — смотрите только статьи с кодом.
    • Помните, что многие алгоритмы на глубоких нейросетях рулят в публикациях только потому, что пока не открыты в широкий доступ или не созданы действительно большие датасеты. 
    • Если начальство душит жаба открывать датасеты — можно финансировать бенчмарки, вы всегда будете в курсе лучших алгоритмов в своей области. Причем лучше делать бенчмарк в кооперации с университетами (или развить имеющийся), чтобы ваш бенчмарк не висел пустой. 

    Выводы и прогнозы


    Из текста выше могло показаться, что автор считает, что все плохо, все пропало и вообще… Это не так. Хотя бы потому, что большое количество невоспроизводимых работ вокруг формирует устойчивый спрос на работы автора и его коллег, и ухудшение ситуации означает, что нам теперь придется работать круглосуточно спрос будет только выше. 

    Кроме того, надо четко понимать, что ситуация с невоспроизводимостью в точных науках не идет ни в какое сравнение с масштабами бедствия в гуманитарных. В статье Википедии Replication crisis (русской версии у нее, увы, опять нет) основное внимание уделено как раз гуманитарным дисциплинам, в первую очередь — психологии, ситуация в которой печальна уже давно:


    Источник: The Reproducibility Crisis in Psychological Science: One Year Later, к слову, там приведены великолепные примеры, как некорректно используется, например, условная вероятность… увы, в Computer Science подобное тоже встречается...

    Короче! Когда придется через 20 лет заниматься психологией андроидов, и теплая ламповая математическая Computer Science станет не только экспериментальной, но и в изрядной степени гуманитарной (разница в подходах воспитания домашних и промышленных роботов и все такое), вот тогда-то настоящие проблемы с воспроизводимостью и начнутся. А пока — можно и нужно радоваться текущему положению дел, не идеализируя его и ясно видя негативные тренды.


    И последнее. Я обещал сказать, что стало со студентом. Он был жестоко наказан тем, что готовил материалы и картинки для этой статьи. Дабы неповадно было!

    Всем побольше воспроизводимых исследований на вашем пути!

    Читайте также:


    Благодарности


    В заставке использованы рисунки с семинара The replication crisis и из статьи Science for Sale: The Other Problem With Corporate Money.

    Кроме того, хотелось бы сердечно поблагодарить:

    • Лабораторию Компьютерной Графики и Мультимедиа ВМК МГУ им. М.В.Ломоносова за вклад в развитие глубокого обучения в России и не только,
    • наших коллег, Михаила Ерофеева, Алексея Федорова, Михаила Беляева и Галину Ивановну Рожкову, чьи примеры использованы выше,
    • персонально Константина Кожемякова и Дмитрия Коновальчука, которые сделали очень много для того, чтобы эта статья стала лучше и нагляднее,
    • и, наконец, огромное спасибо Кириллу Малышеву, Дмитрию Клепикову, Егору Склярову, Николаю Оплачко, Ивану Молодецких, Андрею Москаленко, Евгению Ляпустину, Александру Яковенко и  Айдару Хатиуллину за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 241

      +11
      В статье не упомянута ещё одна причина — кризис масштаба науки. Когда выходит столько статей, то читать все статьи по популярной теме невозможно. В результате через сито peer review даже на топовые конференции проходят результаты, которые были сделаны раньше и опубликованы. Бывает даже на той же самой конференции. Иван Оселедец недавно на одном форуме упоминал такую ситуацию.
        +2
        Да, есть такая тема! В том числе с arXiv.org входной поток информации становится запредельно плотным и непонятно, как успевать следить. И ревьюверы даже топовых конференций (внезапно!) тоже живые люди, которые тоже не успевают.
          +14
          Уже в 1600 г. Уильям Гильберт жаловался, что интеллектуалы должны ориентироваться в «столь обширном океане книг, которые смущают и утомляют умы занимающихся наукой»

          Дэвид Вуттон, “Изобретение науки. Новая история научной революции”
            0
            В то время наука была очень слабо специализированной, и «интеллектуалы» должны были ориентироваться ВО ВСЕХ публикациях.
            А сейчас даже узкому специалисту по условной «эволюции средиземноморских 2-створчатых моллюсков» может быть сложно уследить только за своей темой.
              0

              А что уж говорить, когда нужно обладать знаниями в нескольких сферах. Это реально может быть нужно для определенных исследований.

            +3
            Отличная идея, нужно прикрутить к этому нейронку, пусть она определяет была ли статья/ доклад ранее ;)
              0
              походу скоро так и будет)
            +1
            Позволю нескромно процитировать самого себя:
            В мире, в котором каждые десять секунд выходит по научной статье (в рецензируемых международных журналах, если считать все прочее, то еще больше), уже наступила пресловутая сингулярность, только не технологическая, а академическая. Обыватель держит в уме напрочь устаревшие школьные знания и тонет в потоке информации, в котором нужно уметь различать науку, псевдонауку, и желтую прессу. Люди с хорошим высшим образованием потенциально способны на апгрейд школьных и вузовских знаний путем самообразования, как и способны найти нужную информацию. Но зачастую плохо представляют масштабы этого потока знаний, его скорость, и стремительность того, насколько быстро устаревают их представления. Ибо если школьные знания порой устарели на десятки лет, то то, что встречается в масс-медиа, может устареть как на годы, так и на столетия. К тому моменту как этот весьма образованный читатель масс-медиа прочтет, осмыслит, и начнет транслировать окружающим некое новое знание, вполне вероятно, что это знание уже базнадежно устарееет, и апдейты к этому знанию если даже будут спешить к читателю со всех ног, рискуют так же устареть, как и это знание, пока будут опубликованы, примечены специалистом, переведены и осмыслены в кругу специалистов, адаптированы и ретранслированы научными журналистами быстрее и громче журналистов желтой прессы, и ухвачены взором того самого читателя в ревущей лавине информации.
              0
              Но если всё устаревает настолько быстро, что ни один специалист не будет способен за этим поспевать, то откуда тогда новые знания будут браться? Ведь чтобы синтезировать новое знание, нужно сначала усвоить предыдущее. Значит, либо в скором времени работы будут повторяться, но никто этого не поймет в таком большом потоке, либо их скорость выхода должна замедлиться.
            +8
            Как компании, так и государства осознали, что данные — это «новая нефть». Компании при покупке других компаний уже давно оценивают накопленные ими данные как актив, и только ради данных могут купить какую-то компанию. В таких условиях «раскрывать» данные просто так никто не будет. И исследования по многим темам будут концентрироваться в компаниях.
              +1
              Я выше даю ссылку на каталог датасетов от Kaggle в котором 25 тысяч датасетов. Т.е. часто компании открывают вполне неплохие по размеру датасеты (хотя бы для бенчмаркинга и хайринга))).

              Из свежих примеров в нашей области Байду недавно выложила датасет для матирования людей. github.com/aisegmentcn/matting_human_datasets 34к фото, это для матирования очень большой.

              Так что положительные примеры есть.

              Но массовый тренд, абсолютно согласен, на накопление данных внутри, про это пунктиром выше было.
                0
                Тонко подмечено!
                  +1
                  Скорее будет история как с исходным кодом. Который вначале был «бесплатным приложением к железу», потом его стали закрывать, а потом поняли, что некоторые «ключевые вещи» — лучше разрабатывать совместно.

                  С нейросетями наверняка то же самое будет: кой-какие вещи будут делаться «всем миром» (и данные будут собираться «со всего мира»), а какие-то — будут «тайной фирмы» (и её «секретным ингридиентом»).
                  +2
                  Поскольку проблема воспроизводимости не только общественная, но и личная, то люди работают над повышением воспроизводимости. Появляются разные фреймворки для организации экспериментов. Стадия развития — начальная, поэтому такого доминирования, как PyTorch / TensorFlow в них пока нет, но надо бы использовать и следить.
                    +2
                    Безусловно. Может кто-то опишет? ) У меня на описание всего фронта сил не хватает )
                    +10
                    Боюсь, в России последнее время процент «липовых» статей значительно подрос… Ну нереально, если ты занимаешься в основном железом, писать больше одной статьи в 2-3 года. Однако, «сверху требуют», вот и приходится клепать псевдостатьи в «мурзилки». Как-то после «корчевателя» страсти утихли, и опять «верхи» взялись за старое…
                      +1
                      Что лично наблюдаю — катастрофически низкий уровень обзоров в отечественных статьях и убогие ссылки (в худшем случае — только на себя). И явно написано по разнорядке (отчет по гранту или просто чтобы числом поболе).

                      Да, беда-беда…
                        +1
                        В настоящих рецензируемых журналах еще более-менее. Хотя тоже качество падает. А вот намедни мне жаловались, что «сверху» заставляют нашу редколлегию с латеха на «ворд» переходить. Вот уж где маразм так маразм…
                          +1
                          Забавно. А чего ради? В латехе же банально верстка аккуратнее.
                            0
                            В латехе не то, что аккуратней, а еще и намного проще.
                            Но дело в том, что как известно, руководство страны — те еще [censored]. И в компьютерах они разбираются примерно как мартышки. Им невдомек, что word — это вообще проприетарщина и по ГОСТу она не должна использоваться. Они привыкли играть в ворованные игры на ворованных прошивках для игровых приставок. И набирать три строчки текста в ворованном «ворде».
                            То, что к верстке «ворд» вообще никакого отношения не имеет, этим [censored] невдомек! Но свою «волю» же надо высказать!
                              +3
                              Слушайте, это точно не уровня руководства страны ворд или латех решение.))) Какого уровня начальство настаивает?
                                0
                                А на гос. сайтах бывает и так: проприетарный архив rar, а в нем — проприетарный doc/xls/ppt.
                                  0

                                  И что? Doc и rar никто не запрещает создавать в свободных пакетах (libreoffice, 7zip)

                                    +1
                                    С этого момента поподробнее. Особенно про Rar интересно — откуда брать, какие команды задавать чтобы Rar получился и так далее.

                                    Потому как оффициальная версия умеет Rar только распаковывать, а та, которая из исходников собирается — так и этого не умеет.
                                      +1

                                      А вам зачем? Прочитать его свободным софтом вы сможете? Сможете. Что вам ещё надо?

                                        +1
                                        Прочитать его свободным софтом вы сможете? Сможете.
                                        Нет. 7zip умеет распаковывать Rar (причём не последних версий) только за счёт проприетарного модуля, работоспобность которого в будущем не гарантирована (вспоминаем историю с ACE, да?). При этом все способы распаковки последних версий Rar контролируются немецкой компанией (национальность автора в данном случае значения не имеет).

                                        И кто тут говорит об импортозамещении?
                                        +2

                                        Я не совсем понимаю цель вопроса. Кого-то в чем-то обвинить? Намекнуть, что RAR'ы нельзя создавать без разрешения автора WinRAR?


                                        Как минимум, я могу предложить три условно честных варианта


                                        1. воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
                                        2. воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)
                                        3. apt install rar во вполне бесплатной и свободной ubuntu.

                                        Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.
                                        Да, 7zip создавать rar не умеет — это мой промах… неожиданно.

                                          +2
                                          2. воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)
                                          Вы всерьёз верите, что кто-то в госструктурах пользуется именно этим методом?

                                          1. воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
                                          3. apt install rar во вполне бесплатной и свободной ubuntu.
                                          Оба этих метода не дают вам дополнительной лицензии: через 40 дней вы должны либо прекратить использовать Rar, либо купить лицензию. У немецкой фирмы, прошу заметить.

                                          Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.
                                          Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.

                                          Да, 7zip создавать rar не умеет — это мой промах… неожиданно.
                                          Почему неожиданно? Рошаль тщательно следит за тем, чтобы никто не мог вот так «запросто» «соскочить с иглы». Отсюда и периодические изменения формата файла и прочее.

                                          Это его право — но это классический пример Lock-In… то есть вот ровно эталон того, что «импортозамещение» должно было извести… прямо в палату мер и весов рядом с лошадью ростом один метр и весом один килограмм.
                                            –3

                                            Я ничего не думаю. Это вредно.
                                            Но если Вы очень хотите — можете написать в компетентные органы с просьбой провести проверку по факту выкладки файла в проприетарном формате на официальном сайте госструктуры.


                                            немецкой фирмы, прошу заметить.

                                            Согласен с тем, что авторы — немецкая фирма — является фактором риска. И в тренде импортозамещения выглядит странно. Реально — лучше бы паковали в ZIP или 7z. Единственное, чем могу объяснить — традиционной любовью к формату РАР у пользователей России в силу исторических причин. Этот формат реально жал файлы лучше, был лучше по безопасности, по избыточности (если надо было таскать данные на ненадежных носителях) + фактор того, что никто не покупал лицензию.


                                            Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.

                                            Вы априори не знаете куплен ли winrar на госорганизацию. И я тоже не знаю. Но, да, вероятность не очень велика. Но если программа куплена, то вряд ли она превратится в тыкву. Она прекрасно продолжит работу я даже если немцы перекроют поставку новых версий. Тем более, что для нас, как для потребителей данных — никакой проблемы нет. Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю. Поэтому прошу проблему не преувеличивать.


                                            Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.

                                              0
                                              Но если программа куплена, то вряд ли она превратится в тыкву
                                              Всему своё время. Вспоминаем историю с ACE.

                                              Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю.
                                              Все распаковщики Rar — контролируются Рошалем. Никаких других — просто нет.

                                              Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.

                                              Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.
                                              Дык я ж про это в первую очередь. Всё «импортозамещение» — больше фарс и распил, чем полезные телодвижения.

                                              Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.

                                              Вместо этого — какой-то сплошной «цирк с конями».
                                                0
                                                Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.

                                                Последних — это каких? 5-й? Ну, вообще Вы пишете, будто издеваетесь. Ну, уберут из новой версии 7-zip модуль для rar, но историю невозможно повернуть назад и старые версии 7-zip ВСЕ ЕЩЕ БУДУТ доступны для скачивания. Ну, физически невозможно их удалить со всего интернета. И невозможно запретить их использование. Короче, предлагаю закругляться с обсуждением RAR. Т.к. мы так и не придем к единой точке зрения на эту проблему.


                                                Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.

                                                Дело НЕ только в санкциях.


                                                Вместо этого — какой-то сплошной «цирк с конями».

                                                Да. Все так.

                                                  0
                                                  старые версии 7-zip ВСЕ ЕЩЕ БУДУТ доступны для скачивания

                                                  Стремительно устаревающие и открывающие всё меньше файлов? Спасибо не нужно.
                                                    0

                                                    Я недавно открывал 7-zip'ом файл, лежащий внутри zip внутри ext4 внутри vmdk внутри ova (он же tar), а ещё занятно ковырять ресурсы elf'ов и exe, лежащих внутри этого всего. Набор поддерживаемых (пусть и только для чтения) форматов поистине внушителен. Число необходимых для простой архивации и/или обмена файлами форматов гораздо меньше, в 99% достаточно "обычных" zip,rar,7z,tar{gz,bzip,xz}.

                                                      0
                                                      Какое это имеет отношение к истории с Rar'ом?

                                                      Да — 7zip отличная программа, поддерживает «нативно» кучу форматов… а вот Rar — исключение. Его она может поддерживать только за счёт использования бинарного плагина, исходников от которого у них нет.

                                                      Ну а дальше — добро пожаловать в ад.
                                                        0
                                                        Какое это имеет отношение к истории с Rar'ом?

                                                        Я к тому, что форматы приходят и уходят, пока пользователи о них могут и не подозревать, а банальный и неэффективный zip родом из прошлого века жив и будет жить. В большинстве случаев пользователю другого и не нужно. Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы. То же, в принципе, и про новые версии rar'a.

                                                          0
                                                          Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы.
                                                          В том-то и дело, что они не «одни и те же». Новые версии Rar'а создают файлы, которые «сторонние» архиваторы (7zip, в частности) не открывают.

                                                          Через какое-то время соответствующий модуль лицензируетя, на какое-то время наступает идиллия… а потом выходит новая версия Rar'а.

                                                          То же, в принципе, и про новые версии rar'a.
                                                          В том-то и дело, что нет. Новые версии 7-zip выходят сразу с исходниками, их кто угодно может использовать. Zip уже очень давно не менялся. А вот Rar — как я написал выше…
                                                            0

                                                            Ну, не откроет у человека архиватор rar — попросит переслать в zip, а в следующий раз ему сразу в zip пришлют. И вроде как проблема нечитаемого формата решена, все почти довольны. Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.
                                                            И автор проприетарного модуля будет не в плюсе от такого шага конём.

                                                              0
                                                              Ну, не откроет у человека архиватор rar — попросит переслать в zip
                                                              Это кого он попросит переслать, извините? Мы тут говорим о документах, многие из которых должны по полвека храниться, говорим.

                                                              Когда Rar не откроектся человека, который его создавал, может уже и в живых не быть, а огранизацию может быть расфомирована…

                                                              Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.
                                                              Ну… есть ещё компетентные органы и суды… хотя они же могут являться и решением проблемы: если просто выкидывать из судебых материалов договора, не соотвествующие ГОСТу и, в частности, запакованные в Rar, за счёт чего обанкротить некоторое количество компаний и уволить некоторое количество функционеров — то можно продвинуть импортозамещение куда быстрее и сильнее, чем любыми другими методами.
                                                                0
                                                                Мы тут говорим о документах, многие из которых должны по полвека храниться.

                                                                Пожалуй, я не копал настолько глубоко… В таком случае должна быть хотя бы спецификация формата архива. Это довольно большой срок.

                                                                  0
                                                                  Ну вот посмотрите на ту же историю с NGINX'ом. Там речь идёт о вещах, проиходивших почти 20 лет назад.

                                                                  И для подобных исков, связанных с авторским правом или контрактами, в частности с госсзакупками, 20 летний срок — это, на самом деле, не так и много.

                                                                  Для некоторых документов и полтора-три года — нормальный срок хранения, потом они выкидываются/удаляются… там и Rar нормально можно использовать… но ведь пакуют в него особо над всеми тонкостями не разбираясь…
                                          0
                                          del
                                          +1
                                          Не существует возможности создать rar свободными приложениями! Только unrar.
                                          А созданный опенофисом docx в «ворде» будет расползаться. В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.
                                          Все-таки, «ворд» — это текстовый редактор с расширенными возможностями, а никак не приложение для ВЕРСТКИ! ВЕРСТКУ делают в латехе, больше не существует приложений, в которых можно удобно научные тексты ВЕРСТАТЬ.
                                            +1

                                            Если нужна верстка, т.е. документ в том виде, в котором он уедет на печать, без возможности редактирования, или с ограниченной возможностью — для ввода печатных форм — идеальный вариант, на мой взгляд, PDF. И вопрос был именно не про научные статьи, а про некий госсайт, которые дает возможность скачать документы.


                                            В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.

                                            +1. Не говоря уже о совместимости между Word Win и ТОТ же Word Mac OS.


                                            LaTeX — Вы правы, это про другое.

                                      +4
                                      С тех пор, как еще в аспирантуре мне пришлось собственные статьи переписывать из латеха в ворд, потому что журналы не принимали латех — я пересмотрел своё мнение о косных российских журналах. Потому что в аспирантуре я публиковался не в российских и не в косных, а в очень даже приличных высокоимпактных журналах (почему-то все они были в американском ACS, хотя работал я тогда в Европе но потом я, работая в Америке, публиковался в журналах британского RCS — и даже не порывался использовать LaTeX, ни один коллега его не использовал. Это было особенно неудобно с учетом того, что микрософтовского ворда у нас на рабочих компах не было вовсе, но всё-таки все отсылали статьи именно в doc).
                                        +1
                                        Вот! Что и требовалось доказать!!!
                                        Наличие огромного количества идиотов (и прежде всего — на руководящих должностях) — особенность не одной только России, но всего мира в целом!
                                          +3

                                          Т.к. победить это невозможно, как минимум — снизу, то остается возглавить этот идиотизм и, возможно, тогда появится возможность что-то изменить к лучшему. Хотя бы для кого-то.

                                  +4

                                  У нас в биологии (за исключением совсем уж консервативных классических областей — ботаники там какой-нибудь с "флористическими списками такого-то региона") статья пишется либо нормальная, либо на русском. Одно из двух. Русская пишется либо потому что горят дедлайны и отчётность, либо потому что тебя редакция лично вежливо попросила что-нибудь им отправить. Ну или потому что ты в принципе в английский не можешь, но тогда ты и работаешь так себе.


                                  Знаю, что с русскими журналами примерно так же у химиков и физиков (по крайней мере среди моих знакомых). У гуманитариев получше. В CS скорее всего хуже, потому что быть хорошим программистом и не понимать английского — это нонсенс.

                                    +2
                                    В целом — да, но часто на русском студенты тренируются. Банально потому, что из русской статьи удобнее куски потом в диплом копипастить, работы меньше)

                                    А так — да, английский, но это отдельная большая история.
                                      0

                                      Чтение и написание статьи на английском это совсем разные уровни знания языка, бывает просят помочь перевести части "около ИТ" текстов на русский тех авторов которые считают что они "умеют писать статьи на неродном им языке", увы, понять очень сложно...

                                        0
                                        В нормальных группах нанимается как минимум пруфридер нейтив (сегодня просто и не очень дорого), а если бюджет позволяет — редактор.
                                          +2

                                          Пруфридер практически не помогает. Вопрос именно подачи материала, logical flow. То, что называется creative writing.
                                          Высокорейтинговые журналы и конфы уровня cvpr, iccv это во многом маркетиговая подача материала. Не уверен, что можно найти редактора не из сферы, который так умеет. Мы обычно берём в соавторы нейтива или почти нейтива из сферы.
                                          Очень хорошо весь процесс написания статьи описан здесь — https://billf.mit.edu/sites/default/files/documents/cvprPapers.pdf

                                            0
                                            Интересная презентация, спасибо! (позднее внимательно посмотрю) Третий слайд, все более и более актуален в том числе и в России, к счастью))). Еще пять лет назад я бы только вздохнул тяжело )
                                              +1

                                              Там еще очень хороша пара слайдов "Our image of the research community". Да все хороши)))
                                              А то, что Publish or Perish набирает обороты в России очень хорошо, в Китае очень прижилось. Но в том виде, в котором это сейчас есть в топовых универах — это конечно крайне жестко...

                                  0
                                  Сам сталкивался в свое время с этим. Тут еще пагубно повлияло введение положения, когда для защиты кандидатской требуется наличие публикаций в рецензируемых ВАКовских журналах (изначально требовалась одна, сейчас, по-моему, три). Это резко снизило качество статей, так как соискатели толпой начали забрасывать журналы статьями, уровень которых зачастую оставлял желать лучшего.
                                  +2
                                  Вообще, я довольно долго с изрядным скепсисом относился к нейросетям


                                  Ура, ни я один… но почему «относилСЯ», уверовали? Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.

                                  Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
                                    +3
                                    Трудно быть скептиком нейросетей, будучи в то же время одной из них…
                                      +2
                                      Расскажите ваше представление о мозге нейрохирургам, им будет весело. Вычислительные графы, с пороговой функцией, близко не напоминают работу мозга. Хотя он у всех разный, конечно.
                                        +6
                                        И как нейрохирурги видят работу мозга человека?
                                          –7
                                          Видимо надо спрашивать у нейрохирурга, правда?
                                            +10
                                            Расскажите ваше представление о мозге нейрохирургам, им будет весело.

                                            Я надеялся, что вы расскажете, раз такое написали.
                                          0
                                          Расскажите ваше представление о мозге нейрохирургам, им будет весело. Вычислительные графы, с пороговой функцией, близко не напоминают работу мозга.

                                          Нейрохирурги досканально знают как работает мозг?

                                          Имхо, в работе им достаточно знать — где можно резать, а где нет, то есть — какая часть за что отвечает в общем, но не на уровне отдельного нейрона.
                                            –3
                                            им достаточно знать — где можно резать, а где нет


                                            И вторая волна смеха… Хотя может вы и правы, главное знать где отрезать.
                                            +7

                                            Нейро хирургов, в основном не интересует как там мозг работает — это я на собственном опыте говорю. Они знают где резать можно, а где не стоит.


                                            То что вы тут пытаетесь описать — это скорее к нейробиологам и нейрофизологам относится.

                                              –2
                                              Неужели. А нейробиологи в свою очередь делятся еще на более специализированые секты. И кто же тогда специалист по мозгу? Ессно имелось ввиду то что есть люди куда более просвященные о работе мозга, понимание о котором не сводится к примитивщине о нейрончиках и проводах между ними.
                                            0
                                            Вообще-то напоминают. В том числе и наличием порогов у нейронов (порог активации и максимальная частота спайков).
                                            +1
                                            Трудно быть скептиком нейросетей, будучи в то же время одной из них…
                                            Они слишком разные )
                                              0
                                              Есть ощущение, что разница примерно как между птицами и вертолётом: да, в деталях — отличий полно, но аэродинамика определяет схожесть конструкций по многим параметрам…
                                                +1
                                                Да, птиц и самолеты часто приводят в пример, когда объясняют разницу между нейросетями в computer science и в нейробиологии )
                                                0
                                                Можно хоть 5 пунктов различий?
                                                  +3
                                                  Чтобы набрать 5 нужно заметно лучше знать микробиологию, но как минимум (на примере CNN):
                                                  * вычисления CNN точные цифровые, а в природе аналоговые, и это важно в первую очередь в плане получения детерминированного результата, а в природе зависит от нейромедиаторов и массы факторов,
                                                  * архитектуры, которые делает человек строго детерминированы и постоянны (как обучил веса, так все и фиксируется)
                                                  * процедуры трейна и инференса строго разделены, а в природе не так,
                                                  * отдельная богатая тема — забывание,
                                                  * нетривиальная зависимость работы нейронов как минимум от глюкозы и кислорода
                                                  И, думаю, еще много чего )))

                                                  Человек, конечно, вдохновился птицами, но авиация, это в первую очередь весьма нетривиальная инженерия, а не биология. Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию. Как-то так, если кратко. )
                                                    –2
                                                    Во-первых микробиология тут совсем не при делах в отличие от нейрофизиологии. По пунктам:
                                                    1. Во-первых не факт что в мозгу аналоговое ибо число рецепторов — натуральное число и спайк стандартизирован по длительности с амплитудой. Но самое главное — это не важно. Если сеть не переобучена то небольшие погрешности в результатах вычислений для нее безразличны. Ну и перцептрон Розенблатта ни как не цифровой.
                                                    2. Есть примеры как дообучения в процессе работы у искусственных нейросетей (Дота, Го) так фиксированных естественных (зрительный отдел с которого потырены эти ваши сверточные сети).
                                                    3. Это вообще не про нейросети, а про способы их обучения.
                                                    4. А именно? RNN, LSTM и Clock Work уже давно есть. Как именно работает память у нейронов пока не известно, но как станет известно — можно будет накодить аналог за пару дней.
                                                    5. Вот только организм стремиться поддержать постоянные концентрации того и другого. То что происходит при выходе из диапазона — нюансы реализации, а не фундаментальные отличия.
                                                    И, думаю, еще много чего )))

                                                    А я знаю что все будет притянуто за уши с разной степенью силы натяжения. Есть разница между типичными архитектурами — в мозгу RNN, а на компах пока слоистые в основном (хотя и рекуррентные есть). Но при конечном времени работы рекуррентной ей соответствует слоистая. Плюс мы не знаем точно какая именно функция активации во всех-всех нейронах. Но в искусственных нейросетях требований к функции нет вообще если используются не-градиентные методы обучения и «лишь бы дифференцировалась» если градиентный спуск.
                                                    Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию.

                                                    Для написания моделей в тензорфлоу особых познаний в программировании не требуется. Биохимия нейрофизиологу нужна примерно так же как ява-программисту архитектура микропроцессоров.
                                                      +1
                                                      Сдаюсь) Все различия между нейросетями в мозу и CNN приятнуты за уши! ) Уговорили! )
                                                        –1
                                                        Ваши примеры из разряда «мозг не на кремнии, а на углероде». Все прочие которые я видел — от туда же.
                                                          +1
                                                          Вы, похоже, хорошо разбираетесь. Можете 5 обоснованных пунктов сходства привести? )
                                                            –2
                                                            1. В обоих случаях имеем систему простых (по поведению в нормальных условиях, а не по нюансам конструкции) элементов, объединенных в сеть контактами-синапсами.
                                                            2. И там и там синапсы могут быть как положительными, так и отрицательными. В случае с нейробиологией они называются возбуждающими и тормозящими. От того через какие синапсы на нейрон приходит сигнал в обоих случаях зависит величина его отклика.
                                                            3. Для решения практических задач и те и другие обучаются путем модификации синапсов.
                                                            4. Ультранормальные сигналы бывают у обеих даже на хабре писали.
                                                            5. Для распознания изображений мозг использует структуры аналогичные CNN.
                                                              +3
                                                              5. оказывается это не совсем так — www.biorxiv.org/content/10.1101/359513v1.full

                                                              мимо-ридонли
                                                                –2
                                                                Во-первых еще не оказалось ибо это препринт. Во-вторых именно что «не совсем»
                                                                We show that these phenomena cannot be explained by standard local filter-based models, but are consistent with multi-layer hierarchical computation, as found in deeper layers of standard convolutional neural networks.
                                                                  +1
                                                                  сама статья вышла в Nature Neuroscience — www.nature.com/articles/s41593-019-0550-9
                                                                    –1
                                                                    Зачем тогда ссылку на препринт было давать?
                                                                      +2
                                                                      потому что статья в Nature — платная, вдруг у вас сейчас нет свободных денег на ее аренду. поймите меня правильно, я просто указал на наличие новых данных.
                                                                        0
                                                                        У вас интересные ссылки, спасибо за них!
                                                                          0
                                                                          У меня с работы открылась без вопросов. Возможно институтский айпи помог проверю из дома. Но в любом случае нэйчур бесплатно покажет абстракт из которого уже понятно о чем статья примерно. Аналогично поймите меня правильно — на архиве много чего бывает. В рецензируемых тоже, но вероятность лажы меньше хотя-бы в теории.
                                                                0
                                                                кстати, у червяка C-elegans всего 302 нейрона, которые были полностью описаны. И сейчас существует проект на тему как это всё проимитировать в железе: www.si-elegans.eu

                                                                Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.
                                                                  0
                                                                  Система нейронов пиявки была изучена еще несколько десятилетий назад. Меня, когда я про нее читал, поразило, что столь простая система позволяет пиявке, например, менять своё поведение, когда рядом проходит корова и земля трясется под ее копытами.
                                                                    0

                                                                    Первая полная карта соединений в нервной системе животного (того самого червяка) опубликована в Nature в 2019г ( http://dx.doi.org/10.1038/s41586-019-1352-7 )

                                                                      0
                                                                      В разных работах утверждается, что тут:
                                                                      K. J. Muller, J. G. Nicholls, G. S. Stent (eds.), The Neurobiology of the Leech, 1981
                                                                      — изучены не вся сеть, но многие отдельные нейроны в нервной сети пиявки. Причем всего нейронов у неё меньше десяти тысяч, собранных в одинаковые ганглии по 400 штук.
                                                                        +1
                                                                        Как говорится в анекдоте: не Волгу а сто рублей, не в покер а в очко и не выиграл, а проиграл.

                                                                          0
                                                                          Вы путаете пиявку с нематодой. У нематоды C.elegans действительно полная карта (коннектом) составлена в этом году — и нейронов и синапсов, у обоих полов, и да, их несколько сотен всего. А вы цитируете книгу про пиявок.
                                                                            0
                                                                            Я путаю? Перечитайте дискуссию: я с того и начал, что сказал, что нервная система пиявки изучена уже несколько десятилетий назад. Да, я то ли был введен в заблуждение каким-то старым учебником, то ли неправильно его запомнил, и на самом деле полная карта нервной сети пиявки ни тогда, ни даже сейчас не готова, однако она действительно была довольно подробно изучена сорок лет назад и продолжала изучаться в последующие десятилетия. Причем выяснилось, что нейроны как таковые — это только часть дела: изучаются детали их поведения.
                                                                      0
                                                                      Он просто использует силу рекуррентных нейронных сетей и генетических алгоритмов обучения. Мы же не можем нормально учить чистые RNNки (хотя придумали несколько хаков для обхода проблемы) ибо ресурсов обычно хватает только на градиентный спуск, о он не всегда работает о чем и в статье было.
                                                                        +1

                                                                        Кстати, есть ещё плесень, которая вообще коллектив одноклеточных организмов, тоже может решать "сложные проблемы" и обладает коллективной памятью: https://en.m.wikipedia.org/wiki/Physarum_polycephalum

                                                                          0
                                                                          Решение проблемы кратчайшего пути, транспортировки, память… Забавно! ) Я далек от этой темы, но все равно у вас очень интересные ссылки, спасибо!
                                                                        0
                                                                        Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.
                                                                        Интересный пример! Походу наши текущие нейросети с миллионами нейронов чудовищно неэффективны, как минимум, которые в управлении задействованы. ))) Ну или есть большие резервы, это более конструктивная постановка вопроса.
                                                                          +1

                                                                          Была недавно статья о том, что в нейронке есть меньшая подсеть, дающая те же результаты и о том, как её найти.

                                                                            +1

                                                                            Ну и ещё был интересный доклад на neurips 2018, про вычислительные способности организма: https://nips.cc/Conferences/2018/Schedule?showEvent=12487
                                                                            Там, помимо всего прочего говорилось про плоских червей, топовых которых можно "обучить", потом отрезать бошку и когда она регенерирует, то они своё обучение вспоминают. (7ой слайд, 7:15 на видео)

                                                                    +3

                                                                    Я таки влезу в ваш спор со своим мнением.
                                                                    1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы). По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности. Эта система всяко сложнее, чем искусственные НС, где этого нет. У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
                                                                    2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
                                                                    3) Когда "суммируются" спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.


                                                                    По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.
                                                                    Возможно, мы имеем перед глазами пример схем наших компьютеров (из элементов и-или-не), и пытаемся натянуть эту модель на реальность, а в реальности элементарная база работает, например, с учётом времени или с учётом контекста, а не как простая функция двух аргументов. А как работает — непонятно, ибо мудрено.

                                                                      0
                                                                      Очень интересно, спасибо! Вам надо статью писать, а то выше вашу карму поднять нельзя )))
                                                                        –1
                                                                        1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы).
                                                                        Нейромедиатор — это тупо передатчик сигнала через химический синапс. То что он конечен и его поедание теоретически может улучшить работу мозга (хотя не факт что были нормлаьные клинические исследования) — издержки элементной базы.
                                                                        отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы
                                                                        Еще раз, когда у вас хоть глюкоза хоть кислород выйдут из физиологического интервала — мозгу будет плохо. Так что в нормальных условиях их влияние — константа.
                                                                        По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности.

                                                                        Ужос-ужос, как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»? Рецепторы нейромедиаторов ни чем не отличаются от прочих мембранных рецепторов — та же «рука-перчатка» бывшая «ключ-замок».
                                                                        Эта система всяко сложнее, чем искусственные НС, где этого нет.

                                                                        Эта система, во-первых, вполне простая и понятная, если в ВУЗе молекулярную биологию хоть немного изучать, во-вторых нужна только для того чтобы изменить число спайков в единицу времени у нейрона.
                                                                        У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
                                                                        Еще раз, вся эта система нужна только для того чтобы нейрон решил возбуждаться ему или нет. У искусственных нейронных сетей ту же функцию выполняет взвешенное суммирование.
                                                                        2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
                                                                        «Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.
                                                                        создавать связи в рантайме — это очень нетипично для искусственных НС

                                                                        Не типично, но возможно и исследуется. Я вот с такими сейчас работаю.
                                                                        3) Когда «суммируются» спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.

                                                                        Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства. А те же нейромедиаторы четко делятся на тормозящие и возбуждающие и частота спайков — функция от концентрации тех и других в синаптической щели.
                                                                        По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.

                                                                        О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем. Разрывов у аппроксимируемой функции в данном случае не будет ибо бесконечного числа спайков не бывает. Входные сигналы ограничены конечным интервалом так что в данном случае успешная апроксимация синоним тождественности.
                                                                          +1
                                                                          как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»?

                                                                          По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться). Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?


                                                                          «Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.

                                                                          Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?


                                                                          Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства.

                                                                          Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.


                                                                          Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.


                                                                          О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем.

                                                                          Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?


                                                                          в ВУЗе молекулярную биологию хоть немного изучать

                                                                          к сожалению, не изучал. Есть чо что почитать (похардкорнее)?

                                                                            0
                                                                            По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться).

                                                                            Чтобы полностью излечить шизофрению — нужно знать ее точную первопричину (вирус? мутация?). Если же известно на какие рецепторы воздействовать — препарат синтезируется быстро и решительно в том числе с помощью тех самых нейросетей (для расчетов).
                                                                            Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?

                                                                            Нет понимания на совсем другом уровне. Известно что при шизе падает количество синаптических связей, причина этого процесса пока не известна, но она почти наверняка не связана с обработкой информации (иначе психотерапия бы давала радикальную ремиссию).
                                                                            Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?

                                                                            Во-первых в мозге денриты из затылочной доли в лобную не прорастут. Во-вторых даже в тензорфлоу можно делать граф любой желаемой структуры. С прокидыванием в рантайме сложнее — я лично мне для таких экспериментов самописной обучалкой пользуюсь.
                                                                            Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.

                                                                            Не говорят. Кулдаун мембраны — около десятка миллисекунд. На порядок меньше даже времени рефлекторной реакции. Усталость в функцию активации (например уменьшая биас) вписать не проблема даже в тензорфлоу — вопрос только нафига и как это учить без возможности гонять генетический алгоритм поколений так миллион да на популяции в миллионы единиц.
                                                                            Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.
                                                                            ИНС основаны именно на том что суммарный эффект у стопки последовательных нелинейных регрессий сложен. И у хардкорных не упорядоченных архитектур вроде простого перцептрона или простых рекуррентных еще и не понятно как это работает если вдруг да смогло чему-то научится.
                                                                            Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно?

                                                                            Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.
                                                                            Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?

                                                                            Есть живой нейрон. На входах у него внешние раздражители и, возможно, время, на выходе — частота спайков. Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же взаимно-однозначной связи между частотой спайков и входными сигналами нет — значит нейрон на выход передает шум и мозг из таких нейронов не сможет обрабатывать информацию кроме как Промыслом Божьим. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов. А разрывов у нее быть не может ибо частота спайков не бывает бесконечной. Следовательно, если мы исключаем Промысел Божий, любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС. Кому как а мне лично кажется что это вполне достаточные основание считать мозг нейросетью.
                                                                            к сожалению, не изучал. Есть чо что почитать (похардкорнее)?

                                                                            По-хардкорнее нет ибо учил больше 10 лет назад и специализировался на те самые нейросети, причем до того как это стало мейнстримом. А так на вскидку вспоминаются Волькенштейн «Молекулярная Биофизика» и Рубин «Биофизика» — книжки устарели, но базу достаточную для понимания о чем пишут в журналах все еще дают.
                                                                              +1
                                                                              Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.

                                                                              Если сетчатка менее эффективна, чем CNN, это не значит, что остальные части мозга менее эффективны, чем попытки их эмулировать. По крайней мере, пока нет (более эффективного) эмулятора.


                                                                              Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов.

                                                                              зависит от раздражителей (и, может быть, времени) взаимооднозначно

                                                                              Ваши же примеры ("У нейронов сетчатки есть «усталость»") это опровергают. Для "усталости" выходное "значение" нейрона должно зависеть от входных сигналов, времени, предыдущего состояния нейрона. А не, как вы говорите, "от раздражителей" (если, конечно, вы не считаете раздражителями время и состояние нейрона, тогда да).
                                                                              И, кажется, вы всё-таки путаете функцию как модель нейрона и передаточную функцию нейрона (которая — краткая запись диффуров, описывающих поведение во времени). Чтобы аппроксимировать передаточную функцию, нужно на вход ещё и время и состояние передавать. Это у вас всё-таки рекуррентная сеть получится (и довольно большая), а не скрытый слой по Цыбенко.


                                                                              любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС

                                                                              … на порядок-другой более сложную, чем мозг, если использовать ваш подход замены 1 нейрона на ИНС со скрытым слоем. И обучать вашу ИНС, наверно, будет сложнее по причине большего объёма. А если подойти с другой стороны, можно сократить число искусственных нейронов, если использовать более близкую к действительности модель отдельного нейрона. (не пойму, почему вы приравниваете нейрон к ИНС. они не эквивалентны по крайней мере для реализации. возможно, какие-то диффуры будут более адекватны для этой цели)


                                                                              Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей.

                                                                              А вообще доказано, что нейроны управляются частотами спайков, а не, скажем, задержками между отдельными спайками или разностью фаз? Просто в последних случаях может иметь значение задержка передачи сигналов по разным путям, а в искусственных нейронах этого принципиально нет — сеть работает как бы мгновенно. Не допускают ли эксперименты других интерпретаций?

                                                                    +1

                                                                    Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее. Мозг работает совсем по другому.
                                                                    Если кратко 5 отличий (хотя очень многое уже перечислили):


                                                                    1. Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.
                                                                    2. Связи в мозгу аналоговые это один момент, второй момент, активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями (afaik). Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.
                                                                    3. Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.
                                                                    4. Современные "хардварные" проекты которые пробуют воспроизвести мозг, это в
                                                                      первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции.
                                                                    5. Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо. Парадокс китайской комнаты, летучей мыши и т.д.

                                                                    Хотя тем не менее есть хорошие публикации которые проводят некоторые параллели между мозгом и нейростеями. Ближе всего наверное функционирование визуального кортекса, вот например очень крутая статья, одного из основоположников нейрофидбека, — https://link.springer.com/article/10.1007/s00429-019-01828-6

                                                                      0
                                                                      Артем, у вас великолепный содержательный развернутый комментарий, спасибо!
                                                                        +1

                                                                        У вас хорошая статья, спасибо! Не со всеми тезисами согласен, но про то, что CS становится экспериментальной наукой, очень верно подмечено. И selective reporting конечно же)))
                                                                        Про ситуацию в целом в CV и ML после AlexNet-а можно много дискутировать, но сейчас это наиболее быстро развивающаяся сфера. Очень интересно наблюдать например за cite score CVPR, в 2012 году было 3.23, а в 2018 — 37.26, больше чем у Nature. Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно. В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))


                                                                        Мой комментарий выжимка лекции, я студентам рассказываю, про отличия между нейронками и мозгом, и скоро ли мы придем к сильному ИИ и сингулярности)))

                                                                          0
                                                                          Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно.
                                                                          О, да…
                                                                          В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))
                                                                          Для отдельных направлений, согласен, изменения тектонические и фундаментальные. А в целом для CS — это скорее появление нового технологического уклада (т.е. не столь фундаментальная вещь, хотя и важная, конечно). У меня про это в следующей статье, непонятно успею ли ее до Нового года. Если не успею — отложится до конца января)

                                                                          У вас интересные лекции, похоже )
                                                                            +1
                                                                            У вас интересные лекции, похоже )

                                                                            Спасибо за высокую оценку, очень хочется надеяться.


                                                                            С хорошим курсом, как и с хорошими публикациями есть проблема российской специфики. Хочется сделать хороший курс, и собственно абсолютно понятно, как можно сделать близко к идеалу, ну а может и в чем-то лучше чем, в частности, пресловутый http://cs231n.stanford.edu/
                                                                            Но ресурсов не хватает от слова совсем… Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.


                                                                            В итоге лекции по двум курсам deep learning для мастеров, и перспективные информационные технологии для аспирантов еще более-менее, а на хорошие лабораторки и материалы к курсу времени катастрофически не хватает.
                                                                            Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.

                                                                              0
                                                                              Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.
                                                                              Да, у нас необходимость Teaching Assistants не осознана, это суровая печальная реальность. Сейчас ситуация будет меняться с МООК (которые вузы 5/100 вводят вполне), поскольку там Teaching Assistants нужны по определению.
                                                                              Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.
                                                                              Очень хорошая богатая тема! Будете хотя бы на youtube что-то класть — присылайте ссылки.
                                                                        +1
                                                                        Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее

                                                                        Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).
                                                                        Не более и не менее. Мозг работает совсем по другому.

                                                                        Промыслом божьим? Том же зрительному отделу требуется решать именно задачу классификации. Для решения которого у него есть та самая универсальная оптимизационная модель из простых узлов связанных модифицируемыми синапсами, правда оптимизированная в основном генетическими алгоритмами.
                                                                        Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.

                                                                        Если ваш тезис «мозг работает совсем по-другому» то к чему количественные отличия вообще приводить?
                                                                        Связи в мозгу аналоговые

                                                                        Что такое по вашему «аналоговая связь», почему в мозгу именно она (какая из трех, кстати?) и чем она принципиально отличается от умножения на синапс?
                                                                        активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями

                                                                        Давным-давно доказано что активационная функция может быть любая нелинейная.
                                                                        Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.

                                                                        Вот только к тезису «мозг — не нейросеть» это отношения не имеет. Нейросеть — это вычислительный граф в узлах которого происходит взвешенное суммирование входных сигналов, добавление смещения и взятие не-линейной функции. Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.
                                                                        Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.

                                                                        Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС. Следовательно формального доказательства невозможности решения проблемы с помощью ИНС нет.
                                                                        Современные «хардварные» проекты которые пробуют воспроизвести мозг, это в
                                                                        первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции.

                                                                        Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят. При этом проводится куча не нужных для собственно моделирования когнитивных свойств мозга вычислений вроде работы калий-натриевого насоса.
                                                                        Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо.

                                                                        Это вообще не про биологию с математикой, а про философию.
                                                                          +1
                                                                          Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).

                                                                          deep learning это примерно как "нейропроцессор", по большей части маркетинговый термин. Я его употребил как обобщение всех нейросетевых подходов, которые умеют переваривать большие выборки. Вы расширили мой тезис, с чем я совершенно согласен — все нейронные сети, не только глубокие, это универсальный аппроксиматор, согласно Цыбенко))) Т.е. все это — просто очень хороший метод оптимизации.
                                                                          То, что мозг обучается на основе однокритериальной оптимизации — маловероятно, слишком неэффективно. Если есть пруфы, что это действительно так — приводите.


                                                                          Давным-давно доказано что активационная функция может быть любая нелинейная.

                                                                          Ну строго говоря, не любая. Если я я правильно помню, теорема Цыбенко доказана для сигмоиды))), есть требование не полиномиальности, 95 года по-моему. И все теоремы не конструктивны, не дают ответа как эффективно подобрать параметры модели, а SGD дает. Теоремы обосновывают модель, а SGD и его производные — относительно эффективный метод оптимизации.


                                                                          Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.

                                                                          Можно хоть перебором, вопрос в скорости сходимости.


                                                                          Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС.

                                                                          Проблема few-shot learning не решается в лоб при помощи классических CNN, пока что ее решают разными хаками, специфичными для разных задач.
                                                                          Эта проблема сложная, но подходы к ее решению вроде как есть. Тот же самый reinforcement.


                                                                          Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят.

                                                                          Все так, исходный тезис был в том, что моделей когнитивных функций мозга на сегодня нет)))


                                                                          Это вообще не про биологию с математикой, а про философию.

                                                                          Это к сожалению не про философию, а про методологию, на основе которой можно создать сильный ИИ. Если мы не знаем, как физическая система порождает субъективный опыт, мы не сможем построить такую систему))) И в отличие от проблемы few-shot learning тут даже примерно подходы не прослеживаются. Ну кроме полного перебора)))

                                                                  +4
                                                                  Ура, ни я один… но почему «относилСЯ», уверовали?
                                                                  ))) Я же выше пишу. Сети развились до состояния, когда они реально начали бить state-of-the-art алгоритмы в нашей области. Реально — значит на очень больших наборах данных, а не только на том, на чем точился автор, когда писал статью )))

                                                                  Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.
                                                                  Имеется ввиду в работе, когда переобучились?

                                                                  Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
                                                                  Это характерная черта любого хайпа. Ровно 10 лет назад я наблюдал хайп 3D стерео. Все то же самое. В область ринулось огромное число людей (по масштабам области) с крайне начальными знаниями предметной области. И это был кошмар. Они же 3D и убили. Впрочем, как я уже подробно писал — всем бы областям такую смерть (развитие идет очень бодро). А так — да, время хайпа. Большая волна. Много пены и брызг)
                                                                    0
                                                                    Количество не всегда переходит в качество.
                                                                      0
                                                                      Безусловно. И я даже привожу пример — 3D-стерео постоянно, как область, где качетво появилось, но уже после того, как люди довольно массово разочаровались, что если не убило, то сильно подкосило рост области.
                                                                    +2
                                                                    Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.

                                                                    В нейросетях есть довольно много проблем, но с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.


                                                                    Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».

                                                                    Действительно, современная алхимия. Но от алхимии нейросети отличаются тем, что в ряде случаев они работают. Даже не знаю, хорошо это или плохо.

                                                                      0
                                                                      с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.

                                                                      Детерминированные алгоритмы -> рандомизированные алгоритмы -> нейросети. Интересно, как может выглядеть следующий пункт списка?

                                                                        0
                                                                        Интересно, как может выглядеть следующий пункт списка?
                                                                        Что-то, выросшее из AutoML, очевидно. )
                                                                          0

                                                                          Сильный ИИ?

                                                                            0

                                                                            Эволюция нейросетей при условии радикального снижения их энергопотребления.

                                                                              0
                                                                              +1. Планирую про это в следующей статье написать)
                                                                            +2
                                                                            Но от алхимии нейросети отличаются тем, что в ряде случаев они работают.
                                                                            А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете? Вот в астрологии — вообще ничего такого, чтобы кто-то что-то сделал, а потом кто-то другой — это повторил. Сплошная магия.

                                                                            А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…
                                                                              0
                                                                              А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете?

                                                                              Читаю статью на вики и совсем не вижу разницы. Всё наподобие "Золото как совершенный металл образуется, только если вполне чистые сера и ртуть взяты в наиболее благоприятных соотношениях." Какие-то философские камни, эфиры, бессмертие, нумерология… Из работающего только дистилляция.

                                                                                +4
                                                                                Из работающего только дистилляция.
                                                                                То есть золото в «царской водке» начало только после Менделеева растворяться? Фильтры в химии больше не нужны? Или фарфоровые чашки стали «ненастоящими» из-за того, что у людей, которые разработали процесс была каша в голове?

                                                                                Теоретические «труды» алимиков из сегодняшняго для смотрятся смешно… но вот практическая полезность того, что они наделали — несомненна.

                                                                                Примерно как и с современной наукой и нейронными сетями, на самом деле…
                                                                                0
                                                                                А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…

                                                                                Карно, судя по ряду источников, вывел свой цикл исходя из теории флогистона. И ряд других законов термодинамики выведена с его же помощью.
                                                                                Но это не мешает им работать до сих пор.
                                                                                  0
                                                                                  Именно. Ситуация похожа на то, что творится сейчас с нейронными сетями: да, они работают, да, с их помощью делают полезные вещи… но я уверен — лет через 100 (а может даже 50) над сегодняшними теориями, с ними связанными, все будут просто угорать от смеха — как от «вполне чистых серы и ртути взятых в наиболее благоприятных соотношениях»…
                                                                            0
                                                                            проблема Publish or Perish в слишком узком горле научных журналов. Если бы Хирш или другая наукометрия (и вытекающее из неё финансирование) рассчитывалась по всему АрКСиву то публиковались бы гораздо больше и не было бы такого надрыва.
                                                                              +6

                                                                              Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на друга. Не могу найти ссылку, но вроде бы таким образом удавалось задрать до небес индекс Хирша по версии Google Scholar (а это отнюдь non penis canina est) для несуществующего учёного.


                                                                              "Горло" на входе в журнал делает очень важную штуку — отделяет действительно научные работы от фричества, откровенно косячных исследований, рандомного спама, повторов ранее опубликованного и прочего такого. Не уверен насчёт arxiv, но в его биологическом аналоге biorxiv фильтр гораздо менее строгий. Живые редакторы там есть, но они только проверяют, что публикуемое более-менее похоже на научный текст (а не рекламу, пиратские художественные книги и т.п.). Контроля качества нет.

                                                                                +3
                                                                                Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на друга
                                                                                Абсолютно так. Тема прокопана довольно хорошо и даже русских примеров полно:

                                                                                У меня вся папка спама забита предложениями опубликоваться от сомнительных контор. Очевидно, раз они столько шлют, то кто-то на это идет и платит.
                                                                                  +1
                                                                                  это как раз вопрос правильной наукометрии. Алгоритм должен быть защищен от накрутки и в то же время формализован и механизирован.
                                                                                    0
                                                                                    А также желательно относительно просто считаться и с понятной легко принимаемой логикой ))) И это непросто.
                                                                                      0
                                                                                      ну так какому как не ученым разработать правильный алгоритм и совершенствовать его? А они только открещиваются от всей наукометрии «платите всем поровну!»

                                                                                      А потом удивляются что госфинансирование направляется условному Петрику.
                                                                                      Хотя все сделано точно по рецептам ученых: финансируются поровну все кто назвался ученым.

                                                                                  +2
                                                                                  Простите, non penis canis est.
                                                                                    0

                                                                                    Ваша правда, canis. Я почему-то думал, что в этой присказке только est не хватает.

                                                                                      0
                                                                                      Ещё лучше будет non verpa canis est.
                                                                                      0
                                                                                      "«Горло» на входе в журнал делает очень важную штуку — отделяет действительно научные работы от фричества, откровенно косячных исследований, рандомного спама, повторов ранее опубликованного и прочего такого."

                                                                                      это очень непроизводительная проверка и неформализованная. В результате масса хороших статей не может пробиться через это узкое сито. Не потому что плохие, просто не влезли
                                                                                        0
                                                                                        В результате масса хороших статей не может пробиться через это узкое сито. Не потому что плохие, просто не влезли

                                                                                        Есть пруфы этого утверждения? Не касаясь nature/science, а про обычные хорошие тематические журналы.
                                                                                      +3
                                                                                      Но вот допустим. Обучается огромное количество аспирантов. Постоянно появляются докторы и профессоры. Кажется невероятным, чтобы каждый из них генерировал на регулярной основе качественную фндаментальную статью. Я когда писал, то сознательно делил работу на несколько статей, выдавая по чайной ложке в полгода. И то мне говорили мало, тебе надо десяток статей. То есть, с одной стороны, система заставляет тебя проводить DoS-атаку на журнал. С другой, качество при раздаче плюшек не проверяется, зато количество — очень даже. А журналы как раз наоборот типа проверяют качество. Требования диаметрально-разные, а между ними научный сотрудник. С третей, что-либо гениальное создать трудно, приходится писать какую-либо обывательщину. А не писать нельзя. И весь этот ажиотаж с искусственным созданием «горла» по сути проверка на зрелость, пролезешь ты или не пролезешь. Если не пролезешь, гири будут пилить другие, но не ты. По сути это все завуалированная конкуренция за кормовую базу. Без горла тут совершенно никак нельзя, оно есть база.
                                                                                        0
                                                                                        «Без горла тут совершенно никак нельзя, оно есть база.»

                                                                                        Очень непроизводительно работает такая система оценки. Горло ДДОС атакуется, на эти атаки и защиту от них тратится половина ресурсов «базы».

                                                                                        Нужна более механизированная система, которая оценивает все написанные статьи без разбора.

                                                                                      0
                                                                                      я не работал с 3D, кто-нибудь из специалистов может прокомментировать историю создания стенда с головой — неужели сделать программную генерацию/мутацию 3D-модели было сложнее, чем стенд с манекеном?
                                                                                        +13
                                                                                        Если кратко — да, для реальных волос сложнее. Цель: много реальных чистых данных для обучения. Реальные — значит с шумами, артефактами интерполяции байеровского паттерна и прочими радостями субпиксельного уровня (посмотрите в википедии толщину волоса). Там еще есть масса приколов с отражениями (каждый волос отражает!). Вы не представляете счастье моделирования всего этого, а тут карта отражений вполне строилась и весьма точно. Вообще эта история достойна отдельного поста, может руки дойдут.
                                                                                          0
                                                                                          спасибо
                                                                                            0
                                                                                            артефактами интерполяции байеровского паттерна и прочими радостями субпиксельного уровня (посмотрите в википедии толщину волоса)
                                                                                            Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?
                                                                                              +2
                                                                                              Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?
                                                                                              Там видно, что снималось на неплохой фотоаппарат, у него глубина фокуса, естественно, настраивалась и поэтому проблем не было (фоновый экран был чуть уведен из резкой области, а манекен был полностью в фокусе). Бумажный лист бы не сработал, там важна была шахматка. Таки напишу, наверное, пост… Явно детали интересны)
                                                                                              0

                                                                                              Если артефакты — ОК, то чем вам помешал ветер?

                                                                                                +4
                                                                                                Если артефакты — ОК, то чем вам помешал ветер?
                                                                                                Есть врожденные артефакты камеры (которые есть у всех камер), а есть — у датасета. Снималось видео методом stop-motion, когда каждый кадр состоял из 5 кадров с разным фоновым освещением. Получается фактически 15-канальное изображение, из которого можно было «близко к идеалу» выделить маску прозрачности (независимо от цвета объекта) и маску отражения (важный бонус 15-канальности). Потоки воздуха колыхали волосы и на разных каналах из этих 15-ти они получались чуть-чуть в разном месте. Это полный непорядок (кадр шел в брак), который устранил короб).
                                                                                            +2

                                                                                            У меня была когда томысль, что Facebook в первую очередь это датасет тегированных фото (в основном людей), и чисто с этого он может жить не так важно что именно они будут обучать, важно что они могут сделать просто идеальную распознавалку людей по фото

                                                                                              +3

                                                                                              А после этой статьи я стал думать, что у них и для текстов теперь есть офигительный датасет

                                                                                                +2
                                                                                                вторая жизнь Web 2.0 (в смысле user generated content ))
                                                                                              +9
                                                                                              Добрый день!
                                                                                              Спасибо за статью, интересный взгляд.
                                                                                              Но мне кажется, что кризис жанра несколько в другом. Я не спорю, что статьи ужасны. Но это в том же ComputerVision было сильно до нейронных сетей. Я эту тему с 2008 года где-то пилю — и всегда всё одинаково. Результаты «неточны»/«не воспроизводимы»/«не имеют смысла»/" раздуты". Просто раньше это было значительно сложнее поймать (я помню сколько времени занимала сборка и установка OpenCV году в 2010...). Но вот, например, моя статья на Хабре за 2014 год, когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы. Сегодня тестировать сильно быстрее статьи в 90% случаях при наличии исходников. Есть некоторые сформировавшиеся правила приличия.

                                                                                              На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи. Взять ту же медицину. Ну нет сегодня в ней задачи «найти рак по маммографии». Нет таких ответов в терминологии современных врачей. Она куда шире/богаче/неоднозначнее. И именно оттуда идёт неоднозначность датасетов/неоднозначность применения и понимания.
                                                                                              Нейронки это очень тонкий инструмент, которым можно очень круто решать некоторые задачи в ограниченной постановке. Но эту постановку надо сначала создать/оттестировать/понять. А это могут единицы. Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.
                                                                                              И уже из этой проблемы неоднозначности + навязанного статьями мнения «всё хорошо работает» — прут все дальнейшие проблемы…
                                                                                                +7
                                                                                                Видел сайт вашей команды, привет коллегам! )
                                                                                                когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы.
                                                                                                Это тот самый Selective reporting и этого в статьях кошмар как много. Если массу брать, то 50% статей минимум.
                                                                                                На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи.
                                                                                                Тут скорее возможна дискуссия из разряда «а чем еще болен наш пациент»), ибо список недугов обширен и печален.
                                                                                                Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.
                                                                                                Однозначно.

                                                                                                Мне первым делом приходится объяснять студентам: «Сразу исходите из того, что 97% статей — мусор». Это жесткая постановка вопроса, но она сразу нацеливает искать, причем зачастую не под фонарем, а в стороне от мейнстрима (заточенного на сверхрезультат на очередном узком датасете или типа того).
                                                                                                +3

                                                                                                Отличная статья! Узнал текущее состояние дел. Теперь какие нибудь товарищи перепишут её более простым языком на более мелкие статьи и прославятся. Представляю жёлтые заголовки — "скоро нас будут лечить лекарствами которые никто не проверял", "наука больше не работает" и т. п.

                                                                                                  +4
                                                                                                  Никогда не трекал, как копирайтеры мои растаскивают тексты. В какой-то момент руки дойдут, наверное. Ну или кто-то их хабровчан (в яндексе, например) напишет программу определяющую дерево переделок текстов ))). И мы узнаем много нового о том, «как наше слово отзовется» (с) ))
                                                                                                    +2
                                                                                                    Качество статьи можно измерять как время полного распада на жёлтые заголовки.
                                                                                                +3
                                                                                                Лет 50 прошло, а ничего не меняется. Фейнман уже все описал
                                                                                                  +2
                                                                                                  Фейнман великолепен (в том числе как популяризатор)! ) А его шутки из той же книжки, как он троллил безопасников — это просто маленький шедевр)))

                                                                                                  Но что ничего не меняется я не согласен категорически. Всё становится скорее заметно хуже! )
                                                                                                  0

                                                                                                  Пользуясь случаем поделюсь своим проектом о воспроизводимости. Идея — сделать так, чтобы воспроизвести результат работы распределённой задачи можно было с помощью одной не очень длинной команды. Например, такой:


                                                                                                  mpiexec_docker alexbers/mpiexec-docker-example:exp0 -np 2 /root/hello

                                                                                                  Внутри используется докер, который умеет интегрироваться с популярными технологиями, используемыми на кластерах: MPI, самой популярной технологией распараллеливания, и Slurm'ом, одним из самых популярных менеджеров ресурсов.


                                                                                                  https://github.com/alexbers/mpiexec-docker.


                                                                                                  У себя на кластере мы используем Podman вместо Docker'а, в нём есть киллер-фича — rootless-mode.

                                                                                                    +1

                                                                                                    Только вот тэги в докер-реестре можно перезаписывать, и нет никакой гарантии что то что сегодня называется exp0, через год останется тем же самым.

                                                                                                      +1

                                                                                                      Для вопроизводимости важно получить те же выходные результаты на тех же самых входных данных. Если тег переписан так чтобы это свойство сохранялось — проблем нет. В ином случае автору научной статьи не выгодно переписывать теги — результаты работ могут быть подвергнуты сомнению из-за того, что не получается воспроизвести.

                                                                                                      +1
                                                                                                      Одна из рабочих групп MLPerf — Best Practices — занимается похожим. Текущий упор на повторяемости (reproduciability) и переносимости (portability) с технической точки зрения.
                                                                                                      +1
                                                                                                      Данная проблема очень стара. Даже, казалось бы в простых вещах, например пайка микросхем, не имея опыта повторить удастся далеко не с первого раза. Это приводит к возможности повторения эксперимента только человеком, занимающимся той же или очень близкой темой. Из-за этого проблема воспроизводимости стоит очень остро. К ней добавляется стоимость проведения эксперимента, в простейшем случае это человеческое время. Да даже при написании пошаговой инструкции по работе (или настройки) программы приходится проводить процедуру с нуля несколько раз, а после написания опять проверять работоспособность алгоритма. А денег на такую, казалось бы уже произведенную работу, никто не дает.
                                                                                                      В результате получается — или пиши статью по «сырым» данным и пытайся «проскочить по-быстрому» рецензирование, или трать кучу времени на подробное описание методологии, что все равно не гарантирует прохождения рецензирования.
                                                                                                      В естественно-научных дисциплинах при рецензировании много внимания уделяется оценке методологии, но не пытаются повторить эксперимент, так как слишком дорого. Вероятно из-за этого процент экспериментов, которые невозможно воспроизвести ниже, хотя на мой взгляд он наоборот должен быть выше, так как часто стоимость экспериментов очень высока.
                                                                                                      Закон лаборатории Фетта. Никогда не пытайтесь повторить удачный эксперимент.
                                                                                                        –4
                                                                                                        Ну и непосредственно мошенничество как причину указывают в 40% случаев, т.е. довольно часто. Недавно я общался с китайским профессором
                                                                                                        Кличка?)
                                                                                                          0
                                                                                                          Раньше, сильно раньше, вроде бы была практика приглашать получившего результат исследователя к себе в лабораторию и показать или, скорее, развить свой успех на тех же методиках. Тоже вполне себе воспроизводимость. А теперь такое бывает?
                                                                                                            0
                                                                                                            Безусловно
                                                                                                            0
                                                                                                            О вот мы и пришли к «брэйн оверфлоу» — тому моменту истории, когда скорость производства результатов исследований превышает скорость их восприятия, понимания и проверки. Один из важных барьеров на пути к сингулярности, когда понимание исследований упирается в природные ограничения когнитивных способностей и время затраченное на понимание и анализ сторонних исследований вытесняет время на свои исследования почти полностью Интересно, как он будет преодолен.
                                                                                                              +2
                                                                                                              Пока еще не подошли, но приближаемся. Людей, которые в состоянии весь спектр трекать и эффективно отслеживать будет все меньше.
                                                                                                              +3
                                                                                                              В пору моей работы в университете неоднократно сталкивался — все эти диссертации в значительной части являются фейками. Автор написал чего-то там достиг. Но в реальности ничего нет, представлена всего-навсего сырая заготовка, которую что не факт, что удастся довести до ума. Те, с кеми пил водку с кем хорошо знаком сами призновались в этом в частном порядке. Те, кто сами не говорили — просто исходя из своих знаний мне было видно, что это не так, что у них понарасписано красиво.
                                                                                                                +4
                                                                                                                А какой это был университет?

                                                                                                                По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.
                                                                                                                  –1
                                                                                                                  А какой это был университет?

                                                                                                                  По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.


                                                                                                                  Полагаю, что в любом ВУЗе так.
                                                                                                                  Одно другому не противоречит. Из того, что много «фейковых» диссертаций, не следует, что все до единой фейковые в слабых ВУЗах.
                                                                                                                    0
                                                                                                                    Полагаю, что в любом ВУЗе так.
                                                                                                                    К счастью из того, что я вижу, все не так плохо.

                                                                                                                    Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).
                                                                                                                      0
                                                                                                                      Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).


                                                                                                                      Всё дело в отрасли.

                                                                                                                      То, что наблюдали вы — наверняка очень прикладная отрасль, где сравнительно быстрый доход для бизнеса. Строго говоря, такие специалисты должны работать или в заводских лабораториях или в университете, но непосредственно по контрактам бизнеса.

                                                                                                                      А вот с фундаментальными науками, где в результатах исследований нет быстрой выгоды для бизнеса, где доступность каких-то результатов исследований для внедрения даже в течении десятков лет в будущем не гарантирована — это не так.

                                                                                                                      Ну а уж с таким как литература или история, чьи результаты вообще бизнесу не нужны — тем более не так.
                                                                                                                +2
                                                                                                                С обучением нейросетей CS более прежнего становится экспериментальной наукой со всеми вытекающими минусами.
                                                                                                                Ноам Хомский некогда жаловался, что с новой волной увлечения ИИ наука всё больше занимается сбором статистики и всё меньше — поиском фундаментальных законов.
                                                                                                                  +1
                                                                                                                  Ноам Хомский некогда жаловался, что с новой волной увлечения ИИ наука всё больше занимается сбором статистики и всё меньше — поиском фундаментальных законов.


                                                                                                                  Ну за этим ИИ и создавался.
                                                                                                                  Вообще цель создания компьютеров — заставить технику работать на нас самостоятельно, с минимумом человеческого участия, заменить автоматикой мозги людей в каких-то сферах.

                                                                                                                  К слову так не только в науке.

                                                                                                                  Например, если ранее в автомобилях больше полагались на просчитанную/проверенную механику — то сейчас все больше доверяют компьютерам управлять двигателями (фактически это с прошлого века, с отказа от карбюраторов), тормозами (АБС и более мудрые системы), коробками передач и даже рулевым управлением (Тесла).

                                                                                                                  Что позволяет, в свою очередь, упрощать механическую составляющую. Современные дизельные двигателя проще, чем старые с механическими топливными насосами высокого давления (что были довольно сложными устройствами, фактические механические ТНВД были устройствами почти что сложности арифмометра).

                                                                                                                  Я к тому — что компьютеры изменили все то, чему мы теперь уделяем больше внимания, а чему меньше. И при проектировании изделий и при использовании методов познания мира.

                                                                                                                  Ученые прежних поколений занимались не редко по современным меркам ерундой, с которой справляется банальный Excel. Не умоляя их работу — она и нужна и полезна и другого способа тогда не было. Но зачем это делать сейчас? Зачем лично перелапачивать огромные массивы данных?

                                                                                                                  Строго говоря, довольно значительная часть науки — это просто систематизация огромной горы наблюдений, и не всегда при этом выявляются сверхумные закономерности. Зачастую все же закономерность проста и выявить может и компьютер. А уж с обработной массивов данных все же лучше справляются они, а не люди.
                                                                                                                    +1
                                                                                                                    Проблема не в том, что учёные стали собирать больше статистики, а в том, что статистикой они зачастую и ограничиваются.
                                                                                                                  +3
                                                                                                                  Эх. Грустно стало. Я тоже через это начал проходить, но так и не дошел. Диссертация была написана, ПО было рабочее (и сейчас есть), но весь этот треш и угар оказался не по мне. Даже была идея написать тут на хабре о своем «опыте». Он вокруг ГИС был. Данные SRTM я там обрабатывал. Не знаю правда зачем и для кого, но прикольно получалось, и с воспроизведением не слишком сложно: ) На корчевателе да, я погорел. Тот самый журныл прикрыли вместе с моими статьями, что было последнем гвоздем в крышку гроба меня как «ученого». Кто что думает, интересна такая статья была бы? Там ничего особенного, так, пара частично реализованных идей и все.
                                                                                                                    +2
                                                                                                                    Мне кажется, что примерно так и идет научно-технический прогресс — придумывается пара идей, публикуется. Потом кто-то это видит, и на этой основе делает свою пару идей. Ну а дальше — монографии, учебники, создание приборов на основе эффекта, внедрение в производство…

                                                                                                                    Так что публиковать смысл есть, особенно если нет давления сверху и можно честно рассказать про недостатки.
                                                                                                                    Ну и сделать ликбез для тех, кто не в теме — кратко рассказать про область в целом и аналогичные приборы/исследования (те самые ненавистные актуальность и анализ литературы). На Хабре с этим должно быть попроще — надо не воду лить, а писать просто и понятно, как в курилке коллегам из смежных областей.
                                                                                                                    Уместный юмор приветствуется, смотрим на статьи Milfgard :)
                                                                                                                      +2
                                                                                                                      Ок, спасибо за интерес, сделаю. Нужно закрыть гештальт хотя бы так.
                                                                                                                    +1
                                                                                                                    Про воспроизводимость еще есть проблема в полноте описания в статье методики.
                                                                                                                    Статьи в журналах обычно от 4 до 10 страниц. Больше — это уже редкость. Но это очень мало. Еще страница на ввод в курс дела, страница на заключение, страница на список источников — в итоге для описания сути предлагаемого метода остается хорошо если страницы 3, в которые надо суметь впихнуть все подряд — картинки, таблицы, алгоритм, описание данных и т.п.

                                                                                                                    Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею. В итоге по такой статье воспроизвести результат в принципе не выйдет — ну или надо будет самому повторить не меньше половины работы, пройти тем же путем проб и ошибок что и автор.
                                                                                                                      0
                                                                                                                      Во-первых, тут выше человек жаловался, что его «слишком мелко» резать заставляли, т.е. публикация разбивается на несколько (и это реально работает), во-вторых, ровно для этого нужна публикация кода.
                                                                                                                        +1
                                                                                                                        Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею.

                                                                                                                        В чём проблема оставить подробное объяснение? Размер appendix'а вроде особо не ограничивается, и казуальному читателю не помешает — он его просто читать не будет.
                                                                                                                        Другое дело, что мотивации настолько подробно описывать методику нет.
                                                                                                                          +2
                                                                                                                          Ну да, еще аппендискы и сколь угодно расширенная статья на arxiv.org. При желании проблем что-то подробно, детально и воспроизводимо опубликовать в принципе нет.
                                                                                                                            0

                                                                                                                            Проблема в повальном распространении систем антиплагиата.

                                                                                                                        +1

                                                                                                                        С появлением нейросетей появилась ещё одна проблема: невозможно распространить код, не раскрывая исходников. Например, если проект выполнен в рамках коммерческого контракта, и права на код принадлежат фирме. Или же если автор просто хочет придержать конкретную реализацию алгоритма, чтобы продать её в будущем.


                                                                                                                        Раньше было проще: вот статья, в статье описан алгоритм, а на сайте лежит exe-шник, скомпилированный из плюсового код. Хочешь попробовать повторить результат — запускай и повторяй сколько влезет.


                                                                                                                        В случае же нейросетей основную ценность представляет собой уже не исходный код, а обученная нейросеть. Но без предоставления модели в общий доступ результат повторить уже не получится. Что в этом случае делать — непонятно. Можно реализовать веб-сервис, но это сложно, долго, затратно — у учёного на такое нет времени. Поэтому приходится отвечать, что коэффициентам нейросети мы не поделимся, но готовы просто обработать ваши данные.

                                                                                                                          +2
                                                                                                                          Справедливости ради — с алгоритмами на шейдерах такая проблема уже очень давно.

                                                                                                                          И еще — по факту часто нужна не сама сеть, а скрипты обучения (это таки похоже на исходники). Особенно если у тебя большой приватный массив данных и ты хочешь проверить показавший себя на публичном датасете неплохо подход.

                                                                                                                          Но вы правы, с точки зрения раскрытия ценности — да, с сетью раскрывается больше (можно дообучить выложенную сеть, чего с exe никак не сделать))). И это тоже влияет на нежелание выкладывать, вы правы.

                                                                                                                          А из плюсов — сегодня можно довольно быстро запилить сервис, куда заказчик может скормить свои данные и получить результат через n секунд. Мы так делаем, когда хотим, чтобы не было завышенных ожиданий относительно результата работы сети, а заказчик хочет потестить (его право!). При этом мы ничего не отдаем вообще. Аналогично та же NVIDIA демки со своими сетями делает не раскрывая самой сети. Сегодня поднять небольшой сервис аспиранту — в общем-то недолго (10 лет назад это была бы большая история).

                                                                                                                          Так что выше нос, все не так плохо! )))
                                                                                                                            0
                                                                                                                            Справедливости ради — с алгоритмами на шейдерах такая проблема уже очень давно.

                                                                                                                            Ну у шейдеров вроде бы только opengl остался без возможности использовать напрямую байткод шейдера без его текстовых исходников (и то вроде в экстеншенах opengl есть spir-v). Можно текстовые исходники не распространять. Остается правда проблема с тем, что гпушный байткод на порядки проще реверсить чем плюсовый, даже после проходов оптимизатора.
                                                                                                                              +1
                                                                                                                              Остается правда проблема с тем, что гпушный байткод на порядки проще реверсить чем плюсовый, даже после проходов оптимизатора.
                                                                                                                              О том и речь!
                                                                                                                          +1

                                                                                                                          Отличная статья! Пишите еще! Утащил в закладки, и показал дружественным DS-DE

                                                                                                                          +2
                                                                                                                          Наверное, выступление на конференции можно приравнять к публикации в журнале.

                                                                                                                          Несколько лет назад я посетил одну IT-конференцию. В «обычных» секциях (back, front, etc) всё было как обычно: мы сделали вот так-то и получили вот это, мы молодцы, вы тоже можете попробовать и у вас, скорее всего, получится.

                                                                                                                          Но была на той конференции ещё одна секция — «околонаучная». Там рассказывали про придуманные или модифицированные алгоритмы, внутреннее устройство БД, было что-то про data-science. В основном, выступали программисты, но на темы, которые не укладывались в тематику секции backend, например.

                                                                                                                          И был один доклад человека из университета о вычислениях в гетерогенных средах. Тема действительно была очень интересная, докладчик рассказывал, как космические корабли бороздят просторы Большого театра код компилируется под целевой компьютер, передаётся вместе с необходимыми данными на целевой узел и всё это работает вот чуть ли не прямо сейчас. Я уже успел вообразить, как соединю всю свою домашнюю вычислительную технику (от роутера до принтера) в сеть и буду на ней нейросети гонять (тоже ставшая очень «горячей» в то время тема) или ещё какую математику. И после выступления задаю два вопроса: «Спасибо за доклад, очень интересно и круто. 1) Где бы увидеть код и 2) как бы в этой теме поучаствовать?» Докладчик как-то замялся и ответил в духе: «Ну-у, это так-то академические исследования, приходите к нам в лабораторию аспирантом. И кода тоже как бы нет, на гитхабе какой-то старый-старый proof-of-concept на Ruby, который даже и не работает...» Ведущий секции пришёл на помощь, вопрос быстро замяли и обсуждение увели в теоретическую плоскость «а вот бы в этой штуке infiniband от Intel ещё бы использовать, тогда вобще сингулярность наступит».

                                                                                                                          Может, в академической среде действительно так принято, как выше отметил stilic?
                                                                                                                            +3
                                                                                                                            Наверное, выступление на конференции можно приравнять к публикации в журнале.

                                                                                                                            Не совсем. Научные конференции — это больше work in progress. А в журналы идут уже более-менее законченные работы.

                                                                                                                              +1
                                                                                                                              Может, в академической среде действительно так принято, как выше отметил stilic?
                                                                                                                              Я бы все в одну кучу не мешал. У stilic, очень похоже, опыт сре