Комментарии 244
Уже в 1600 г. Уильям Гильберт жаловался, что интеллектуалы должны ориентироваться в «столь обширном океане книг, которые смущают и утомляют умы занимающихся наукой»
Дэвид Вуттон, “Изобретение науки. Новая история научной революции”
А сейчас даже узкому специалисту по условной «эволюции средиземноморских 2-створчатых моллюсков» может быть сложно уследить только за своей темой.
В мире, в котором каждые десять секунд выходит по научной статье (в рецензируемых международных журналах, если считать все прочее, то еще больше), уже наступила пресловутая сингулярность, только не технологическая, а академическая. Обыватель держит в уме напрочь устаревшие школьные знания и тонет в потоке информации, в котором нужно уметь различать науку, псевдонауку, и желтую прессу. Люди с хорошим высшим образованием потенциально способны на апгрейд школьных и вузовских знаний путем самообразования, как и способны найти нужную информацию. Но зачастую плохо представляют масштабы этого потока знаний, его скорость, и стремительность того, насколько быстро устаревают их представления. Ибо если школьные знания порой устарели на десятки лет, то то, что встречается в масс-медиа, может устареть как на годы, так и на столетия. К тому моменту как этот весьма образованный читатель масс-медиа прочтет, осмыслит, и начнет транслировать окружающим некое новое знание, вполне вероятно, что это знание уже базнадежно устарееет, и апдейты к этому знанию если даже будут спешить к читателю со всех ног, рискуют так же устареть, как и это знание, пока будут опубликованы, примечены специалистом, переведены и осмыслены в кругу специалистов, адаптированы и ретранслированы научными журналистами быстрее и громче журналистов желтой прессы, и ухвачены взором того самого читателя в ревущей лавине информации.
Из свежих примеров в нашей области Байду недавно выложила датасет для матирования людей. github.com/aisegmentcn/matting_human_datasets 34к фото, это для матирования очень большой.
Так что положительные примеры есть.
Но массовый тренд, абсолютно согласен, на накопление данных внутри, про это пунктиром выше было.
С нейросетями наверняка то же самое будет: кой-какие вещи будут делаться «всем миром» (и данные будут собираться «со всего мира»), а какие-то — будут «тайной фирмы» (и её «секретным ингридиентом»).
Да, беда-беда…
Но дело в том, что как известно, руководство страны — те еще [censored]. И в компьютерах они разбираются примерно как мартышки. Им невдомек, что word — это вообще проприетарщина и по ГОСТу она не должна использоваться. Они привыкли играть в ворованные игры на ворованных прошивках для игровых приставок. И набирать три строчки текста в ворованном «ворде».
То, что к верстке «ворд» вообще никакого отношения не имеет, этим [censored] невдомек! Но свою «волю» же надо высказать!
И что? Doc и rar никто не запрещает создавать в свободных пакетах (libreoffice, 7zip)
Потому как оффициальная версия умеет Rar только распаковывать, а та, которая из исходников собирается — так и этого не умеет.
А вам зачем? Прочитать его свободным софтом вы сможете? Сможете. Что вам ещё надо?
Прочитать его свободным софтом вы сможете? Сможете.Нет. 7zip умеет распаковывать Rar (причём не последних версий) только за счёт проприетарного модуля, работоспобность которого в будущем не гарантирована (вспоминаем историю с ACE, да?). При этом все способы распаковки последних версий Rar контролируются немецкой компанией (национальность автора в данном случае значения не имеет).
И кто тут говорит об импортозамещении?
Я не совсем понимаю цель вопроса. Кого-то в чем-то обвинить? Намекнуть, что RAR'ы нельзя создавать без разрешения автора WinRAR?
Как минимум, я могу предложить три условно честных варианта
- воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
- воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)
apt install rar
во вполне бесплатной и свободной ubuntu.
Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.
Да, 7zip создавать rar не умеет — это мой промах… неожиданно.
2. воспользовать бесплатной rar for pocket pc (видимо, имелось в виду — Pocket RAR)Вы всерьёз верите, что кто-то в госструктурах пользуется именно этим методом?
1. воспользоваться триальной версии WinRAR (как бы ее не обязательно покупать, но я ее лицензионное соглашение, ес-но, не читал — что там про использовании организациями, но госструктуры ТОЧНО НЕ В КОММЕРЧЕСКИХ ЦЕЛЯХ ПАКУЮТ В РАР).
3. apt install rar во вполне бесплатной и свободной ubuntu.Оба этих метода не дают вам дополнительной лицензии: через 40 дней вы должны либо прекратить использовать Rar, либо купить лицензию. У немецкой фирмы, прошу заметить.
Я уж не говорю о том, что у WinRAR как компании могут быть особые условия для госорганизаций.Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.
Да, 7zip создавать rar не умеет — это мой промах… неожиданно.Почему неожиданно? Рошаль тщательно следит за тем, чтобы никто не мог вот так «запросто» «соскочить с иглы». Отсюда и периодические изменения формата файла и прочее.
Это его право — но это классический пример Lock-In… то есть вот ровно эталон того, что «импортозамещение» должно было извести… прямо в палату мер и весов рядом с лошадью ростом один метр и весом один килограмм.
Я ничего не думаю. Это вредно.
Но если Вы очень хотите — можете написать в компетентные органы с просьбой провести проверку по факту выкладки файла в проприетарном формате на официальном сайте госструктуры.
немецкой фирмы, прошу заметить.
Согласен с тем, что авторы — немецкая фирма — является фактором риска. И в тренде импортозамещения выглядит странно. Реально — лучше бы паковали в ZIP или 7z. Единственное, чем могу объяснить — традиционной любовью к формату РАР у пользователей России в силу исторических причин. Этот формат реально жал файлы лучше, был лучше по безопасности, по избыточности (если надо было таскать данные на ненадежных носителях) + фактор того, что никто не покупал лицензию.
Вот только если, вдруг, немецкое правительство решит ввести санкции — то все эти «особые» условия вдруг испарятся.
Вы априори не знаете куплен ли winrar на госорганизацию. И я тоже не знаю. Но, да, вероятность не очень велика. Но если программа куплена, то вряд ли она превратится в тыкву. Она прекрасно продолжит работу я даже если немцы перекроют поставку новых версий. Тем более, что для нас, как для потребителей данных — никакой проблемы нет. Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю. Поэтому прошу проблему не преувеличивать.
Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.
Но если программа куплена, то вряд ли она превратится в тыквуВсему своё время. Вспоминаем историю с ACE.
Все популярные архиваторы могут рар распаковывать БЕЗ необходимости что-либо платить Рошалю.Все распаковщики Rar — контролируются Рошалем. Никаких других — просто нет.
Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.
Я уж не говорю о том, что в широком смысле в госкомпаниях нет культуры обращения с данными. Это и про хранение, и про структуризацию, и про многое другое.Дык я ж про это в первую очередь. Всё «импортозамещение» — больше фарс и распил, чем полезные телодвижения.
Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.
Вместо этого — какой-то сплошной «цирк с конями».
Тот факт что сегодня он позвляет включить этот модуль в бесплатный 7-zip (и при этом там нет поддержки последних версий формата, заметим) — не обозначает, что там будет всегда.
Последних — это каких? 5-й? Ну, вообще Вы пишете, будто издеваетесь. Ну, уберут из новой версии 7-zip модуль для rar, но историю невозможно повернуть назад и старые версии 7-zip ВСЕ ЕЩЕ БУДУТ доступны для скачивания. Ну, физически невозможно их удалить со всего интернета. И невозможно запретить их использование. Короче, предлагаю закругляться с обсуждением RAR. Т.к. мы так и не придем к единой точке зрения на эту проблему.
Если бы хотели безопасности — то классифицировали бы риски: какие страны с большей вероятностью могут ввести санкции, какие с меньшей, потеря чего важна, а чего можно и пережить.
Дело НЕ только в санкциях.
Вместо этого — какой-то сплошной «цирк с конями».
Да. Все так.
Я недавно открывал 7-zip'ом файл, лежащий внутри zip внутри ext4 внутри vmdk внутри ova (он же tar), а ещё занятно ковырять ресурсы elf'ов и exe, лежащих внутри этого всего. Набор поддерживаемых (пусть и только для чтения) форматов поистине внушителен. Число необходимых для простой архивации и/или обмена файлами форматов гораздо меньше, в 99% достаточно "обычных" zip,rar,7z,tar{gz,bzip,xz}.
Да — 7zip отличная программа, поддерживает «нативно» кучу форматов… а вот Rar — исключение. Его она может поддерживать только за счёт использования бинарного плагина, исходников от которого у них нет.
Ну а дальше — добро пожаловать в ад.
Какое это имеет отношение к истории с Rar'ом?
Я к тому, что форматы приходят и уходят, пока пользователи о них могут и не подозревать, а банальный и неэффективный zip родом из прошлого века жив и будет жить. В большинстве случаев пользователю другого и не нужно. Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы. То же, в принципе, и про новые версии rar'a.
Какая разница, поддерживает ли архиватор последнюю версию cpio, когда используются одни rar'ы или одни zip'ы.В том-то и дело, что они не «одни и те же». Новые версии Rar'а создают файлы, которые «сторонние» архиваторы (7zip, в частности) не открывают.
Через какое-то время соответствующий модуль лицензируетя, на какое-то время наступает идиллия… а потом выходит новая версия Rar'а.
То же, в принципе, и про новые версии rar'a.В том-то и дело, что нет. Новые версии 7-zip выходят сразу с исходниками, их кто угодно может использовать. Zip уже очень давно не менялся. А вот Rar — как я написал выше…
Ну, не откроет у человека архиватор rar — попросит переслать в zip, а в следующий раз ему сразу в zip пришлют. И вроде как проблема нечитаемого формата решена, все почти довольны. Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.
И автор проприетарного модуля будет не в плюсе от такого шага конём.
Ну, не откроет у человека архиватор rar — попросит переслать в zipЭто кого он попросит переслать, извините? Мы тут говорим о документах, многие из которых должны по полвека храниться, говорим.
Когда Rar не откроектся человека, который его создавал, может уже и в живых не быть, а огранизацию может быть расфомирована…
Кроме суровых профессионалов или гиков, которым не плевать на отличия rar и zip.Ну… есть ещё компетентные органы и суды… хотя они же могут являться и решением проблемы: если просто выкидывать из судебых материалов договора, не соотвествующие ГОСТу и, в частности, запакованные в Rar, за счёт чего обанкротить некоторое количество компаний и уволить некоторое количество функционеров — то можно продвинуть импортозамещение куда быстрее и сильнее, чем любыми другими методами.
Мы тут говорим о документах, многие из которых должны по полвека храниться.
Пожалуй, я не копал настолько глубоко… В таком случае должна быть хотя бы спецификация формата архива. Это довольно большой срок.
И для подобных исков, связанных с авторским правом или контрактами, в частности с госсзакупками, 20 летний срок — это, на самом деле, не так и много.
Для некоторых документов и полтора-три года — нормальный срок хранения, потом они выкидываются/удаляются… там и Rar нормально можно использовать… но ведь пакуют в него особо над всеми тонкостями не разбираясь…
А созданный опенофисом docx в «ворде» будет расползаться. В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.
Все-таки, «ворд» — это текстовый редактор с расширенными возможностями, а никак не приложение для ВЕРСТКИ! ВЕРСТКУ делают в латехе, больше не существует приложений, в которых можно удобно научные тексты ВЕРСТАТЬ.
Если нужна верстка, т.е. документ в том виде, в котором он уедет на печать, без возможности редактирования, или с ограниченной возможностью — для ввода печатных форм — идеальный вариант, на мой взгляд, PDF. И вопрос был именно не про научные статьи, а про некий госсайт, которые дает возможность скачать документы.
В принципе, это проблема самого «ворда», т.к. в разных версиях этой чудоподелки мелкомягких файлы тоже по-разному будут отображаться.
+1. Не говоря уже о совместимости между Word Win и ТОТ же Word Mac OS.
LaTeX — Вы правы, это про другое.
Наличие огромного количества идиотов (и прежде всего — на руководящих должностях) — особенность не одной только России, но всего мира в целом!
У нас в биологии (за исключением совсем уж консервативных классических областей — ботаники там какой-нибудь с "флористическими списками такого-то региона") статья пишется либо нормальная, либо на русском. Одно из двух. Русская пишется либо потому что горят дедлайны и отчётность, либо потому что тебя редакция лично вежливо попросила что-нибудь им отправить. Ну или потому что ты в принципе в английский не можешь, но тогда ты и работаешь так себе.
Знаю, что с русскими журналами примерно так же у химиков и физиков (по крайней мере среди моих знакомых). У гуманитариев получше. В CS скорее всего хуже, потому что быть хорошим программистом и не понимать английского — это нонсенс.
А так — да, английский, но это отдельная большая история.
Чтение и написание статьи на английском это совсем разные уровни знания языка, бывает просят помочь перевести части "около ИТ" текстов на русский тех авторов которые считают что они "умеют писать статьи на неродном им языке", увы, понять очень сложно...
Пруфридер практически не помогает. Вопрос именно подачи материала, logical flow. То, что называется creative writing.
Высокорейтинговые журналы и конфы уровня cvpr, iccv это во многом маркетиговая подача материала. Не уверен, что можно найти редактора не из сферы, который так умеет. Мы обычно берём в соавторы нейтива или почти нейтива из сферы.
Очень хорошо весь процесс написания статьи описан здесь — https://billf.mit.edu/sites/default/files/documents/cvprPapers.pdf
Там еще очень хороша пара слайдов "Our image of the research community". Да все хороши)))
А то, что Publish or Perish набирает обороты в России очень хорошо, в Китае очень прижилось. Но в том виде, в котором это сейчас есть в топовых универах — это конечно крайне жестко...
Я так понимаю, это чуть более поздняя версия тех же слайдов.
Вообще, я довольно долго с изрядным скепсисом относился к нейросетям
Ура, ни я один… но почему «относилСЯ», уверовали? Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.
Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
Расскажите ваше представление о мозге нейрохирургам, им будет весело. Вычислительные графы, с пороговой функцией, близко не напоминают работу мозга.
Нейрохирурги досканально знают как работает мозг?
Имхо, в работе им достаточно знать — где можно резать, а где нет, то есть — какая часть за что отвечает в общем, но не на уровне отдельного нейрона.
Нейро хирургов, в основном не интересует как там мозг работает — это я на собственном опыте говорю. Они знают где резать можно, а где не стоит.
То что вы тут пытаетесь описать — это скорее к нейробиологам и нейрофизологам относится.
Трудно быть скептиком нейросетей, будучи в то же время одной из них…Они слишком разные )
* вычисления CNN точные цифровые, а в природе аналоговые, и это важно в первую очередь в плане получения детерминированного результата, а в природе зависит от нейромедиаторов и массы факторов,
* архитектуры, которые делает человек строго детерминированы и постоянны (как обучил веса, так все и фиксируется)
* процедуры трейна и инференса строго разделены, а в природе не так,
* отдельная богатая тема — забывание,
* нетривиальная зависимость работы нейронов как минимум от глюкозы и кислорода
И, думаю, еще много чего )))
Человек, конечно, вдохновился птицами, но авиация, это в первую очередь весьма нетривиальная инженерия, а не биология. Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию. Как-то так, если кратко. )
1. Во-первых не факт что в мозгу аналоговое ибо число рецепторов — натуральное число и спайк стандартизирован по длительности с амплитудой. Но самое главное — это не важно. Если сеть не переобучена то небольшие погрешности в результатах вычислений для нее безразличны. Ну и перцептрон Розенблатта ни как не цифровой.
2. Есть примеры как дообучения в процессе работы у искусственных нейросетей (Дота, Го) так фиксированных естественных (зрительный отдел с которого потырены эти ваши сверточные сети).
3. Это вообще не про нейросети, а про способы их обучения.
4. А именно? RNN, LSTM и Clock Work уже давно есть. Как именно работает память у нейронов пока не известно, но как станет известно — можно будет накодить аналог за пару дней.
5. Вот только организм стремиться поддержать постоянные концентрации того и другого. То что происходит при выходе из диапазона — нюансы реализации, а не фундаментальные отличия.
И, думаю, еще много чего )))
А я знаю что все будет притянуто за уши с разной степенью силы натяжения. Есть разница между типичными архитектурами — в мозгу RNN, а на компах пока слоистые в основном (хотя и рекуррентные есть). Но при конечном времени работы рекуррентной ей соответствует слоистая. Плюс мы не знаем точно какая именно функция активации во всех-всех нейронах. Но в искусственных нейросетях требований к функции нет вообще если используются не-градиентные методы обучения и «лишь бы дифференцировалась» если градиентный спуск.
Точно так же для успеха с нейросетями нужно уметь хорошо программировать и уметь готовить данные, а не знать биохимию.
Для написания моделей в тензорфлоу особых познаний в программировании не требуется. Биохимия нейрофизиологу нужна примерно так же как ява-программисту архитектура микропроцессоров.
2. И там и там синапсы могут быть как положительными, так и отрицательными. В случае с нейробиологией они называются возбуждающими и тормозящими. От того через какие синапсы на нейрон приходит сигнал в обоих случаях зависит величина его отклика.
3. Для решения практических задач и те и другие обучаются путем модификации синапсов.
4. Ультранормальные сигналы бывают у обеих даже на хабре писали.
5. Для распознания изображений мозг использует структуры аналогичные CNN.
We show that these phenomena cannot be explained by standard local filter-based models, but are consistent with multi-layer hierarchical computation, as found in deeper layers of standard convolutional neural networks.
Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.
Первая полная карта соединений в нервной системе животного (того самого червяка) опубликована в Nature в 2019г ( http://dx.doi.org/10.1038/s41586-019-1352-7 )
K. J. Muller, J. G. Nicholls, G. S. Stent (eds.), The Neurobiology of the Leech, 1981
— изучены не вся сеть, но многие отдельные нейроны в нервной сети пиявки. Причем всего нейронов у неё меньше десяти тысяч, собранных в одинаковые ганглии по 400 штук.
Кстати, есть ещё плесень, которая вообще коллектив одноклеточных организмов, тоже может решать "сложные проблемы" и обладает коллективной памятью: https://en.m.wikipedia.org/wiki/Physarum_polycephalum
Но вообще, интересно что червяку этих 302 нейронов хватает чтобы двигатся, искать еду и размножатся и даже чему-то учится.Интересный пример! Походу наши текущие нейросети с миллионами нейронов чудовищно неэффективны, как минимум, которые в управлении задействованы. ))) Ну или есть большие резервы, это более конструктивная постановка вопроса.
Ну и ещё был интересный доклад на neurips 2018, про вычислительные способности организма: https://nips.cc/Conferences/2018/Schedule?showEvent=12487
Там, помимо всего прочего говорилось про плоских червей, топовых которых можно "обучить", потом отрезать бошку и когда она регенерирует, то они своё обучение вспоминают. (7ой слайд, 7:15 на видео)
Я таки влезу в ваш спор со своим мнением.
1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы). По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности. Эта система всяко сложнее, чем искусственные НС, где этого нет. У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.
2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).
3) Когда "суммируются" спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.
По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.
Возможно, мы имеем перед глазами пример схем наших компьютеров (из элементов и-или-не), и пытаемся натянуть эту модель на реальность, а в реальности элементарная база работает, например, с учётом времени или с учётом контекста, а не как простая функция двух аргументов. А как работает — непонятно, ибо мудрено.
1) В естественных НС есть нейромедиаторы — эдакий режим, контекст, изменяемый по не вполне понятным нам правилам при наступлении не вполне понятных нам условий (отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторы).Нейромедиатор — это тупо передатчик сигнала через химический синапс. То что он конечен и его поедание теоретически может улучшить работу мозга (хотя не факт что были нормлаьные клинические исследования) — издержки элементной базы.
отнесу сюда и кислород с глюкозой — это тоже контекст, хоть и не нейромедиаторыЕще раз, когда у вас хоть глюкоза хоть кислород выйдут из физиологического интервала — мозгу будет плохо. Так что в нормальных условиях их влияние — константа.
По отдельности-то нейромедиаторы понять можно, но их рецепторы работают не по отдельности.
Ужос-ужос, как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»? Рецепторы нейромедиаторов ни чем не отличаются от прочих мембранных рецепторов — та же «рука-перчатка» бывшая «ключ-замок».
Эта система всяко сложнее, чем искусственные НС, где этого нет.
Эта система, во-первых, вполне простая и понятная, если в ВУЗе молекулярную биологию хоть немного изучать, во-вторых нужна только для того чтобы изменить число спайков в единицу времени у нейрона.
У этой сложности наверно есть неизвестные нам эффекты, которых нет в современных НС.Еще раз, вся эта система нужна только для того чтобы нейрон решил возбуждаться ему или нет. У искусственных нейронных сетей ту же функцию выполняет взвешенное суммирование.
2) Живой нейрон может внезапно дотянуться дендритом до другого нейрона, тогда как искусственный обычно максимум меняет веса (создавать связи в рантайме — это очень нетипично для искусственных НС, и вообще непонятен механизм, когда это нужно делать. то же с забыванием).«Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.
создавать связи в рантайме — это очень нетипично для искусственных НС
Не типично, но возможно и исследуется. Я вот с такими сейчас работаю.
3) Когда «суммируются» спайки, возможны какие-то темпоральные, динамические эффекты, а не просто вычисление суммы частот спайков. Искусственные НС с детерминированной операцией суммирования как-то попроще — это всё-таки понятные сумматоры.
Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства. А те же нейромедиаторы четко делятся на тормозящие и возбуждающие и частота спайков — функция от концентрации тех и других в синаптической щели.
По этим трём пунктам видно, что искусственные нейроны примитивны и по отдельности не делают ничего непонятного (удивительно даже, что сети на них неплохо работают), а естественные представляют собой непонятную динамически меняющуюся кашу с интеллектом. У них вроде бы общая математическая модель (суммирование), но не факт, что эта модель вообще верна.
О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем. Разрывов у аппроксимируемой функции в данном случае не будет ибо бесконечного числа спайков не бывает. Входные сигналы ограничены конечным интервалом так что в данном случае успешная апроксимация синоним тождественности.
как по вашему современная фармацевтика-то работает если «рецепторы работают по отдельности»?
По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться). Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?
«Поменять вес» можно в том числе занулив его (оборвав синапс), или сделав зануленный вес ненулевым (протянув его). Можно вообще сделать веса тройкой (-1,0,1) но учить придется генетическими алгоритмами со всеми вытекающими.
Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?
Эффекты есть и вполне понятные. У мембраны есть период за который она восстанавливает потенциал действия и не реполяризуется в принципе, но он достаточно короткий. У нейронов сетчатки есть «усталость» — он со временем перестает реагировать на постоянный раздражитель, что используется при сканировании глазом пространства.
Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.
Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.
О теореме Цыбенко в курсе? Искуственый нейрон вообще не обязан иметь ту же передаточную функцию что и естественный — для того чтобы аппроксимировать любое поведение реального нейрона достаточно нейросети прямого распространения с одним скрытым слоем.
Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?
в ВУЗе молекулярную биологию хоть немного изучать
к сожалению, не изучал. Есть чо что почитать (похардкорнее)?
По-моему, современная фармацевтика работает недостаточно хорошо, чтобы полностью излечить какую-нибудь шизофрению (могу ошибаться).
Чтобы полностью излечить шизофрению — нужно знать ее точную первопричину (вирус? мутация?). Если же известно на какие рецепторы воздействовать — препарат синтезируется быстро и решительно в том числе с помощью тех самых нейросетей (для расчетов).
Не потому ли, что полного понимания взаимодействия всех компонентов пока нет?
Нет понимания на совсем другом уровне. Известно что при шизе падает количество синаптических связей, причина этого процесса пока не известна, но она почти наверняка не связана с обработкой информации (иначе психотерапия бы давала радикальную ремиссию).
Убрать связь, занулив вес, легко. А вот обратное — уже сложнее. Наличие связи должно быть предусмотрено в архитектуре ИНС, чтобы можно было задать ненулевой вес. Разве в tensorflow или его аналогах можно просто прокидывать связи между произвольными нейронами различных слоёв, да ещё и в рантайме?
Во-первых в мозге денриты из затылочной доли в лобную не прорастут. Во-вторых даже в тензорфлоу можно делать граф любой желаемой структуры. С прокидыванием в рантайме сложнее — я лично мне для таких экспериментов самописной обучалкой пользуюсь.
Эти ваши описания говорят о том, что нейрон описывается какой-то системой дифференциальных уравнений, но не простым суммированием взвешенных входов с функцией активации. sigmoid(sum(w_i * x_i)) выдаёт своё значение независимо от момента вызова, в отличие от биологических примеров, которые вы привели.
Не говорят. Кулдаун мембраны — около десятка миллисекунд. На порядок меньше даже времени рефлекторной реакции. Усталость в функцию активации (например уменьшая биас) вписать не проблема даже в тензорфлоу — вопрос только нафига и как это учить без возможности гонять генетический алгоритм поколений так миллион да на популяции в миллионы единиц.
Даже если эффекты элементов просты и понятны, суммарный их эффект может быть сложным и неясным.ИНС основаны именно на том что суммарный эффект у стопки последовательных нелинейных регрессий сложен. И у хардкорных не упорядоченных архитектур вроде простого перцептрона или простых рекуррентных еще и не понятно как это работает если вдруг да смогло чему-то научится.
Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно?
Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.
Вы пытаетесь эмулировать один нейрон с помощью целой двуслойной ИНС по Цыбенко? Разве это эффективно? И потом, теорема Цыбенко говорит об аппроксимации функции, а у нейрона — передаточная функция, выражаемая дифурами. Или я что-то понимаю не так, и есть какое-то относительное простое полное описание поведения нейрона, которое точно эмулируется с помощью простой ИНС?
Есть живой нейрон. На входах у него внешние раздражители и, возможно, время, на выходе — частота спайков. Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же взаимно-однозначной связи между частотой спайков и входными сигналами нет — значит нейрон на выход передает шум и мозг из таких нейронов не сможет обрабатывать информацию кроме как Промыслом Божьим. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов. А разрывов у нее быть не может ибо частота спайков не бывает бесконечной. Следовательно, если мы исключаем Промысел Божий, любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС. Кому как а мне лично кажется что это вполне достаточные основание считать мозг нейросетью.
к сожалению, не изучал. Есть чо что почитать (похардкорнее)?
По-хардкорнее нет ибо учил больше 10 лет назад и специализировался на те самые нейросети, причем до того как это стало мейнстримом. А так на вскидку вспоминаются Волькенштейн «Молекулярная Биофизика» и Рубин «Биофизика» — книжки устарели, но базу достаточную для понимания о чем пишут в журналах все еще дают.
Про эффективность расскажите сетчатке у которой между рецепторами и собственно нейроном с доступом к оптическому нерву слой нейронов-прокладок. При том что это чудо является фильтром реагирующим на градиент и в CNN задается одним нейроном.
Если сетчатка менее эффективна, чем CNN, это не значит, что остальные части мозга менее эффективны, чем попытки их эмулировать. По крайней мере, пока нет (более эффективного) эмулятора.
Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей. Если же функция есть, то она гарантировано опишется сетью с одним скрытым слоем если только у нее нет разрывов.
зависит от раздражителей (и, может быть, времени) взаимооднозначно
Ваши же примеры ("У нейронов сетчатки есть «усталость»") это опровергают. Для "усталости" выходное "значение" нейрона должно зависеть от входных сигналов, времени, предыдущего состояния нейрона. А не, как вы говорите, "от раздражителей" (если, конечно, вы не считаете раздражителями время и состояние нейрона, тогда да).
И, кажется, вы всё-таки путаете функцию как модель нейрона и передаточную функцию нейрона (которая — краткая запись диффуров, описывающих поведение во времени). Чтобы аппроксимировать передаточную функцию, нужно на вход ещё и время и состояние передавать. Это у вас всё-таки рекуррентная сеть получится (и довольно большая), а не скрытый слой по Цыбенко.
любое биологически-возможное поведение живого нейрона опишется нейросетью из искусственных нейронов с одним скрытым слоем. А живому мозгу, соответственно, можно поставить в соответствие ИНС
… на порядок-другой более сложную, чем мозг, если использовать ваш подход замены 1 нейрона на ИНС со скрытым слоем. И обучать вашу ИНС, наверно, будет сложнее по причине большего объёма. А если подойти с другой стороны, можно сократить число искусственных нейронов, если использовать более близкую к действительности модель отдельного нейрона. (не пойму, почему вы приравниваете нейрон к ИНС. они не эквивалентны по крайней мере для реализации. возможно, какие-то диффуры будут более адекватны для этой цели)
Если частота спайков зависит от раздражителей (и, может быть, времени) взаимооднозначно значит частота спайков является функцией от раздражителей.
А вообще доказано, что нейроны управляются частотами спайков, а не, скажем, задержками между отдельными спайками или разностью фаз? Просто в последних случаях может иметь значение задержка передачи сигналов по разным путям, а в искусственных нейронах этого принципиально нет — сеть работает как бы мгновенно. Не допускают ли эксперименты других интерпретаций?
Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее. Мозг работает совсем по другому.
Если кратко 5 отличий (хотя очень многое уже перечислили):
- Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.
- Связи в мозгу аналоговые это один момент, второй момент, активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями (afaik). Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.
- Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.
- Современные "хардварные" проекты которые пробуют воспроизвести мозг, это в
первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции. - Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо. Парадокс китайской комнаты, летучей мыши и т.д.
Хотя тем не менее есть хорошие публикации которые проводят некоторые параллели между мозгом и нейростеями. Ближе всего наверное функционирование визуального кортекса, вот например очень крутая статья, одного из основоположников нейрофидбека, — https://link.springer.com/article/10.1007/s00429-019-01828-6
У вас хорошая статья, спасибо! Не со всеми тезисами согласен, но про то, что CS становится экспериментальной наукой, очень верно подмечено. И selective reporting конечно же)))
Про ситуацию в целом в CV и ML после AlexNet-а можно много дискутировать, но сейчас это наиболее быстро развивающаяся сфера. Очень интересно наблюдать например за cite score CVPR, в 2012 году было 3.23, а в 2018 — 37.26, больше чем у Nature. Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно. В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))
Мой комментарий выжимка лекции, я студентам рассказываю, про отличия между нейронками и мозгом, и скоро ли мы придем к сильному ИИ и сингулярности)))
Поэтому проблемы с воспроизводимостью видимо тоже масштабируются кратно.О, да…
В целом, интересно наверное проанализировать текущую ситуацию с точки зрения смены научной парадигмы Томаса Куна))Для отдельных направлений, согласен, изменения тектонические и фундаментальные. А в целом для CS — это скорее появление нового технологического уклада (т.е. не столь фундаментальная вещь, хотя и важная, конечно). У меня про это в следующей статье, непонятно успею ли ее до Нового года. Если не успею — отложится до конца января)
У вас интересные лекции, похоже )
У вас интересные лекции, похоже )
Спасибо за высокую оценку, очень хочется надеяться.
С хорошим курсом, как и с хорошими публикациями есть проблема российской специфики. Хочется сделать хороший курс, и собственно абсолютно понятно, как можно сделать близко к идеалу, ну а может и в чем-то лучше чем, в частности, пресловутый http://cs231n.stanford.edu/
Но ресурсов не хватает от слова совсем… Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.
В итоге лекции по двум курсам deep learning для мастеров, и перспективные информационные технологии для аспирантов еще более-менее, а на хорошие лабораторки и материалы к курсу времени катастрофически не хватает.
Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.
Смотришь на их Instructors+Teaching Assistants — 26 человек, и грустно становится.Да, у нас необходимость Teaching Assistants не осознана, это суровая печальная реальность. Сейчас ситуация будет меняться с МООК (которые вузы 5/100 вводят вполне), поскольку там Teaching Assistants нужны по определению.
Хотя да, есть желание сделать курс Нейроинформатики в котором был бы и deep learning и neuroscience.Очень хорошая богатая тема! Будете хотя бы на youtube что-то класть — присылайте ссылки.
Весь deep learning это просто хорошая универсальная оптимизационная модель, оптимизируемая при помощи стохастического градиентного спуска. Не более и не менее
Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).
Не более и не менее. Мозг работает совсем по другому.
Промыслом божьим? Том же зрительному отделу требуется решать именно задачу классификации. Для решения которого у него есть та самая универсальная оптимизационная модель из простых узлов связанных модифицируемыми синапсами, правда оптимизированная в основном генетическими алгоритмами.
Количественное, в самых глубоких CNN, типа VGG19, порядка 10^8 весов, это примерно мозг мушки дрозофилы. В мозгу человека порядка 10^11 связей.
Если ваш тезис «мозг работает совсем по-другому» то к чему количественные отличия вообще приводить?
Связи в мозгу аналоговые
Что такое по вашему «аналоговая связь», почему в мозгу именно она (какая из трех, кстати?) и чем она принципиально отличается от умножения на синапс?
активационная функция максимально близко, на сегодня, моделируется импульсными нейросетями
Давным-давно доказано что активационная функция может быть любая нелинейная.
Для них алгоритм обратного распространения ошибки не работает, ну и SGD тоже.
Вот только к тезису «мозг — не нейросеть» это отношения не имеет. Нейросеть — это вычислительный граф в узлах которого происходит взвешенное суммирование входных сигналов, добавление смещения и взятие не-линейной функции. Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.
Принципиальное отличие в способности к обобщению информации, мозг умеет в single-shot learning, нейросетки — не очень, и это одна из фундаментальных проблем на сегодня.
Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС. Следовательно формального доказательства невозможности решения проблемы с помощью ИНС нет.
Современные «хардварные» проекты которые пробуют воспроизвести мозг, это в
первую очередь blue brain и spiNNaker всегда делают оговорку, что модель больше про физиологию, а не когнитивные функции.
Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят. При этом проводится куча не нужных для собственно моделирования когнитивных свойств мозга вычислений вроде работы калий-натриевого насоса.
Ну и нельзя забывать про принципиальные проблемы воспроизведения сознания, про которые очень хорошо сказано, что вся современная наука это про третье лицо, а сознание — это первое лицо.
Это вообще не про биологию с математикой, а про философию.
Ну во-первых deep learning — частный случай нейросетей, причем их обучения (внезапно).
deep learning это примерно как "нейропроцессор", по большей части маркетинговый термин. Я его употребил как обобщение всех нейросетевых подходов, которые умеют переваривать большие выборки. Вы расширили мой тезис, с чем я совершенно согласен — все нейронные сети, не только глубокие, это универсальный аппроксиматор, согласно Цыбенко))) Т.е. все это — просто очень хороший метод оптимизации.
То, что мозг обучается на основе однокритериальной оптимизации — маловероятно, слишком неэффективно. Если есть пруфы, что это действительно так — приводите.
Давным-давно доказано что активационная функция может быть любая нелинейная.
Ну строго говоря, не любая. Если я я правильно помню, теорема Цыбенко доказана для сигмоиды))), есть требование не полиномиальности, 95 года по-моему. И все теоремы не конструктивны, не дают ответа как эффективно подобрать параметры модели, а SGD дает. Теоремы обосновывают модель, а SGD и его производные — относительно эффективный метод оптимизации.
Требования оптимизировать этот граф только градиентным спуском, а не генетическими алгоритмами я как-то не припомню.
Можно хоть перебором, вопрос в скорости сходимости.
Вот только проблему обобщения пытаются решить именно в рамках все тех же ИНС.
Проблема few-shot learning не решается в лоб при помощи классических CNN, пока что ее решают разными хаками, специфичными для разных задач.
Эта проблема сложная, но подходы к ее решению вроде как есть. Тот же самый reinforcement.
Они там именно изучают физиологию кусочка коры, а не мозг воспроизводят.
Все так, исходный тезис был в том, что моделей когнитивных функций мозга на сегодня нет)))
Это вообще не про биологию с математикой, а про философию.
Это к сожалению не про философию, а про методологию, на основе которой можно создать сильный ИИ. Если мы не знаем, как физическая система порождает субъективный опыт, мы не сможем построить такую систему))) И в отличие от проблемы few-shot learning тут даже примерно подходы не прослеживаются. Ну кроме полного перебора)))
Ура, ни я один… но почему «относилСЯ», уверовали?))) Я же выше пишу. Сети развились до состояния, когда они реально начали бить state-of-the-art алгоритмы в нашей области. Реально — значит на очень больших наборах данных, а не только на том, на чем точился автор, когда писал статью )))
Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.Имеется ввиду в работе, когда переобучились?
Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».Это характерная черта любого хайпа. Ровно 10 лет назад я наблюдал хайп 3D стерео. Все то же самое. В область ринулось огромное число людей (по масштабам области) с крайне начальными знаниями предметной области. И это был кошмар. Они же 3D и убили. Впрочем, как я уже подробно писал — всем бы областям такую смерть (развитие идет очень бодро). А так — да, время хайпа. Большая волна. Много пены и брызг)
Невоспроизводимость, по нейросетям, это полбеды. Алгоритмы усложняются и воспроизвести окружение становится сложнее, но все таки можно. Принципиальная беда нейросетей — абсолютная непредсказуемость, отсутствие стабильности.
В нейросетях есть довольно много проблем, но с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.
Ажиотаж с машинленингом мне напоминает времена алхимии: все кинулись в как бы «ресеч», смешивая разные методы и фреймворки, не сильно углубляясь в предметную область творить «чудеса».
Действительно, современная алхимия. Но от алхимии нейросети отличаются тем, что в ряде случаев они работают. Даже не знаю, хорошо это или плохо.
с помощью них можно решить задачи, которые слишком сложны для того, чтобы взять и просто решить их алгоритмически.
Детерминированные алгоритмы -> рандомизированные алгоритмы -> нейросети. Интересно, как может выглядеть следующий пункт списка?
Но от алхимии нейросети отличаются тем, что в ряде случаев они работают.А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете? Вот в астрологии — вообще ничего такого, чтобы кто-то что-то сделал, а потом кто-то другой — это повторил. Сплошная магия.
А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…
А кто вам сказал, что алхимия никогда не работала? Вы с астрологией не путаете?
Читаю статью на вики и совсем не вижу разницы. Всё наподобие "Золото как совершенный металл образуется, только если вполне чистые сера и ртуть взяты в наиболее благоприятных соотношениях." Какие-то философские камни, эфиры, бессмертие, нумерология… Из работающего только дистилляция.
Из работающего только дистилляция.То есть золото в «царской водке» начало только после Менделеева растворяться? Фильтры в химии больше не нужны? Или фарфоровые чашки стали «ненастоящими» из-за того, что у людей, которые разработали процесс была каша в голове?
Теоретические «труды» алимиков из сегодняшняго для смотрятся смешно… но вот практическая полезность того, что они наделали — несомненна.
Примерно как и с современной наукой и нейронными сетями, на самом деле…
А алхимия — она как раз постепенно «доросла» до повторяемости и превратилась, со временем, в химию…
Карно, судя по ряду источников, вывел свой цикл исходя из теории флогистона. И ряд других законов термодинамики выведена с его же помощью.
Но это не мешает им работать до сих пор.
Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на друга. Не могу найти ссылку, но вроде бы таким образом удавалось задрать до небес индекс Хирша по версии Google Scholar (а это отнюдь non penis canina est) для несуществующего учёного.
"Горло" на входе в журнал делает очень важную штуку — отделяет действительно научные работы от фричества, откровенно косячных исследований, рандомного спама, повторов ранее опубликованного и прочего такого. Не уверен насчёт arxiv, но в его биологическом аналоге biorxiv фильтр гораздо менее строгий. Живые редакторы там есть, но они только проверяют, что публикуемое более-менее похоже на научный текст (а не рекламу, пиратские художественные книги и т.п.). Контроля качества нет.
Тогда бы было слишком легко хакнуть наукометрию, нагенерировав сто тысяч корчевателей со ссылками друг на другаАбсолютно так. Тема прокопана довольно хорошо и даже русских примеров полно:
- akvobr.ru/problemy_citiruemosti.html — кратко и хорошо по теме
- www.mk.ru/science/2016/06/05/skandal-v-nauchnom-mire-uchenyy-nakruchival-sebe-indeks-citiruemosti.html — реальный эпичный пример
- www.socialcompas.com/2016/07/26/tehnologii-uvelicheniya-indeksa-hirsha-i-razvitie-imitatsionnoj-nauki — хорошая статья, описывающая как прокачка Хирша в лучшем случае приводит к имитации науки
У меня вся папка спама забита предложениями опубликоваться от сомнительных контор. Очевидно, раз они столько шлют, то кто-то на это идет и платит.
А потом удивляются что госфинансирование направляется условному Петрику.
Хотя все сделано точно по рецептам ученых: финансируются поровну все кто назвался ученым.
это очень непроизводительная проверка и неформализованная. В результате масса хороших статей не может пробиться через это узкое сито. Не потому что плохие, просто не влезли
артефактами интерполяции байеровского паттерна и прочими радостями субпиксельного уровня (посмотрите в википедии толщину волоса)Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?
Вот кстати, а монитор в качестве фона вам эти радости не даёт? Не стоило хотя бы бумажный лист — рассеиватель применить?Там видно, что снималось на неплохой фотоаппарат, у него глубина фокуса, естественно, настраивалась и поэтому проблем не было (фоновый экран был чуть уведен из резкой области, а манекен был полностью в фокусе). Бумажный лист бы не сработал, там важна была шахматка. Таки напишу, наверное, пост… Явно детали интересны)
Если артефакты — ОК, то чем вам помешал ветер?
Если артефакты — ОК, то чем вам помешал ветер?Есть врожденные артефакты камеры (которые есть у всех камер), а есть — у датасета. Снималось видео методом stop-motion, когда каждый кадр состоял из 5 кадров с разным фоновым освещением. Получается фактически 15-канальное изображение, из которого можно было «близко к идеалу» выделить маску прозрачности (независимо от цвета объекта) и маску отражения (важный бонус 15-канальности). Потоки воздуха колыхали волосы и на разных каналах из этих 15-ти они получались чуть-чуть в разном месте. Это полный непорядок (кадр шел в брак), который устранил короб).
У меня была когда томысль, что Facebook в первую очередь это датасет тегированных фото (в основном людей), и чисто с этого он может жить не так важно что именно они будут обучать, важно что они могут сделать просто идеальную распознавалку людей по фото
Спасибо за статью, интересный взгляд.
Но мне кажется, что кризис жанра несколько в другом. Я не спорю, что статьи ужасны. Но это в том же ComputerVision было сильно до нейронных сетей. Я эту тему с 2008 года где-то пилю — и всегда всё одинаково. Результаты «неточны»/«не воспроизводимы»/«не имеют смысла»/" раздуты". Просто раньше это было значительно сложнее поймать (я помню сколько времени занимала сборка и установка OpenCV году в 2010...). Но вот, например, моя статья на Хабре за 2014 год, когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы. Сегодня тестировать сильно быстрее статьи в 90% случаях при наличии исходников. Есть некоторые сформировавшиеся правила приличия.
На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи. Взять ту же медицину. Ну нет сегодня в ней задачи «найти рак по маммографии». Нет таких ответов в терминологии современных врачей. Она куда шире/богаче/неоднозначнее. И именно оттуда идёт неоднозначность датасетов/неоднозначность применения и понимания.
Нейронки это очень тонкий инструмент, которым можно очень круто решать некоторые задачи в ограниченной постановке. Но эту постановку надо сначала создать/оттестировать/понять. А это могут единицы. Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.
И уже из этой проблемы неоднозначности + навязанного статьями мнения «всё хорошо работает» — прут все дальнейшие проблемы…
когда я показываю что алгоритм усиления движений работает на реальных данных сильно хуже чем приводят авторы.Это тот самый Selective reporting и этого в статьях кошмар как много. Если массу брать, то 50% статей минимум.
На мой взгляд текущий кризис скорее про неоднозначность постановки целевой задачи.Тут скорее возможна дискуссия из разряда «а чем еще болен наш пациент»), ибо список недугов обширен и печален.
Это не могут инвесторы. Не могут большинство руководителей проектов. И тем более не может младое поколение нейроучёных.Однозначно.
Мне первым делом приходится объяснять студентам: «Сразу исходите из того, что 97% статей — мусор». Это жесткая постановка вопроса, но она сразу нацеливает искать, причем зачастую не под фонарем, а в стороне от мейнстрима (заточенного на сверхрезультат на очередном узком датасете или типа того).
Отличная статья! Узнал текущее состояние дел. Теперь какие нибудь товарищи перепишут её более простым языком на более мелкие статьи и прославятся. Представляю жёлтые заголовки — "скоро нас будут лечить лекарствами которые никто не проверял", "наука больше не работает" и т. п.
Пользуясь случаем поделюсь своим проектом о воспроизводимости. Идея — сделать так, чтобы воспроизвести результат работы распределённой задачи можно было с помощью одной не очень длинной команды. Например, такой:
mpiexec_docker alexbers/mpiexec-docker-example:exp0 -np 2 /root/hello
Внутри используется докер, который умеет интегрироваться с популярными технологиями, используемыми на кластерах: MPI, самой популярной технологией распараллеливания, и Slurm'ом, одним из самых популярных менеджеров ресурсов.
https://github.com/alexbers/mpiexec-docker.
У себя на кластере мы используем Podman вместо Docker'а, в нём есть киллер-фича — rootless-mode.
Только вот тэги в докер-реестре можно перезаписывать, и нет никакой гарантии что то что сегодня называется exp0, через год останется тем же самым.
Для вопроизводимости важно получить те же выходные результаты на тех же самых входных данных. Если тег переписан так чтобы это свойство сохранялось — проблем нет. В ином случае автору научной статьи не выгодно переписывать теги — результаты работ могут быть подвергнуты сомнению из-за того, что не получается воспроизвести.
В результате получается — или пиши статью по «сырым» данным и пытайся «проскочить по-быстрому» рецензирование, или трать кучу времени на подробное описание методологии, что все равно не гарантирует прохождения рецензирования.
В естественно-научных дисциплинах при рецензировании много внимания уделяется оценке методологии, но не пытаются повторить эксперимент, так как слишком дорого. Вероятно из-за этого процент экспериментов, которые невозможно воспроизвести ниже, хотя на мой взгляд он наоборот должен быть выше, так как часто стоимость экспериментов очень высока.
Закон лаборатории Фетта. Никогда не пытайтесь повторить удачный эксперимент.
Ну и непосредственно мошенничество как причину указывают в 40% случаев, т.е. довольно часто. Недавно я общался с китайским профессоромКличка?)
По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.
А какой это был университет?
По моему опыту это очень сильно зависит от вуза. И даже в относительно «слабых» вузах встречаются люди на уровне с хорошими публикациями и хорошими работающими результатами. Часто они разрываются между компаниями и интересной им наукой, правда.
Полагаю, что в любом ВУЗе так.
Одно другому не противоречит. Из того, что много «фейковых» диссертаций, не следует, что все до единой фейковые в слабых ВУЗах.
Полагаю, что в любом ВУЗе так.К счастью из того, что я вижу, все не так плохо.
Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).
Я даже не согласен с вами, что много фейковых диссертаций, наоборот, с прискорбием наблюдаю, как недоделанные диссертации с руками и человеком отрывают компании, что очень печально для университета (поскольку этот человек не защищается).
Всё дело в отрасли.
То, что наблюдали вы — наверняка очень прикладная отрасль, где сравнительно быстрый доход для бизнеса. Строго говоря, такие специалисты должны работать или в заводских лабораториях или в университете, но непосредственно по контрактам бизнеса.
А вот с фундаментальными науками, где в результатах исследований нет быстрой выгоды для бизнеса, где доступность каких-то результатов исследований для внедрения даже в течении десятков лет в будущем не гарантирована — это не так.
Ну а уж с таким как литература или история, чьи результаты вообще бизнесу не нужны — тем более не так.
Ноам Хомский некогда жаловался, что с новой волной увлечения ИИ наука всё больше занимается сбором статистики и всё меньше — поиском фундаментальных законов.
Ну за этим ИИ и создавался.
Вообще цель создания компьютеров — заставить технику работать на нас самостоятельно, с минимумом человеческого участия, заменить автоматикой мозги людей в каких-то сферах.
К слову так не только в науке.
Например, если ранее в автомобилях больше полагались на просчитанную/проверенную механику — то сейчас все больше доверяют компьютерам управлять двигателями (фактически это с прошлого века, с отказа от карбюраторов), тормозами (АБС и более мудрые системы), коробками передач и даже рулевым управлением (Тесла).
Что позволяет, в свою очередь, упрощать механическую составляющую. Современные дизельные двигателя проще, чем старые с механическими топливными насосами высокого давления (что были довольно сложными устройствами, фактические механические ТНВД были устройствами почти что сложности арифмометра).
Я к тому — что компьютеры изменили все то, чему мы теперь уделяем больше внимания, а чему меньше. И при проектировании изделий и при использовании методов познания мира.
Ученые прежних поколений занимались не редко по современным меркам ерундой, с которой справляется банальный Excel. Не умоляя их работу — она и нужна и полезна и другого способа тогда не было. Но зачем это делать сейчас? Зачем лично перелапачивать огромные массивы данных?
Строго говоря, довольно значительная часть науки — это просто систематизация огромной горы наблюдений, и не всегда при этом выявляются сверхумные закономерности. Зачастую все же закономерность проста и выявить может и компьютер. А уж с обработной массивов данных все же лучше справляются они, а не люди.
Так что публиковать смысл есть, особенно если нет давления сверху и можно честно рассказать про недостатки.
Ну и сделать ликбез для тех, кто не в теме — кратко рассказать про область в целом и аналогичные приборы/исследования (те самые ненавистные актуальность и анализ литературы). На Хабре с этим должно быть попроще — надо не воду лить, а писать просто и понятно, как в курилке коллегам из смежных областей.
Уместный юмор приветствуется, смотрим на статьи Milfgard :)
Статьи в журналах обычно от 4 до 10 страниц. Больше — это уже редкость. Но это очень мало. Еще страница на ввод в курс дела, страница на заключение, страница на список источников — в итоге для описания сути предлагаемого метода остается хорошо если страницы 3, в которые надо суметь впихнуть все подряд — картинки, таблицы, алгоритм, описание данных и т.п.
Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею. В итоге по такой статье воспроизвести результат в принципе не выйдет — ну или надо будет самому повторить не меньше половины работы, пройти тем же путем проб и ошибок что и автор.
Естественно, резать приходится по живому, опуская многие нюансы, чтобы впихнуть хотя бы основную идею.
В чём проблема оставить подробное объяснение? Размер appendix'а вроде особо не ограничивается, и казуальному читателю не помешает — он его просто читать не будет.
Другое дело, что мотивации настолько подробно описывать методику нет.
С появлением нейросетей появилась ещё одна проблема: невозможно распространить код, не раскрывая исходников. Например, если проект выполнен в рамках коммерческого контракта, и права на код принадлежат фирме. Или же если автор просто хочет придержать конкретную реализацию алгоритма, чтобы продать её в будущем.
Раньше было проще: вот статья, в статье описан алгоритм, а на сайте лежит exe-шник, скомпилированный из плюсового код. Хочешь попробовать повторить результат — запускай и повторяй сколько влезет.
В случае же нейросетей основную ценность представляет собой уже не исходный код, а обученная нейросеть. Но без предоставления модели в общий доступ результат повторить уже не получится. Что в этом случае делать — непонятно. Можно реализовать веб-сервис, но это сложно, долго, затратно — у учёного на такое нет времени. Поэтому приходится отвечать, что коэффициентам нейросети мы не поделимся, но готовы просто обработать ваши данные.
И еще — по факту часто нужна не сама сеть, а скрипты обучения (это таки похоже на исходники). Особенно если у тебя большой приватный массив данных и ты хочешь проверить показавший себя на публичном датасете неплохо подход.
Но вы правы, с точки зрения раскрытия ценности — да, с сетью раскрывается больше (можно дообучить выложенную сеть, чего с exe никак не сделать))). И это тоже влияет на нежелание выкладывать, вы правы.
А из плюсов — сегодня можно довольно быстро запилить сервис, куда заказчик может скормить свои данные и получить результат через n секунд. Мы так делаем, когда хотим, чтобы не было завышенных ожиданий относительно результата работы сети, а заказчик хочет потестить (его право!). При этом мы ничего не отдаем вообще. Аналогично та же NVIDIA демки со своими сетями делает не раскрывая самой сети. Сегодня поднять небольшой сервис аспиранту — в общем-то недолго (10 лет назад это была бы большая история).
Так что выше нос, все не так плохо! )))
Справедливости ради — с алгоритмами на шейдерах такая проблема уже очень давно.
Ну у шейдеров вроде бы только opengl остался без возможности использовать напрямую байткод шейдера без его текстовых исходников (и то вроде в экстеншенах opengl есть spir-v). Можно текстовые исходники не распространять. Остается правда проблема с тем, что гпушный байткод на порядки проще реверсить чем плюсовый, даже после проходов оптимизатора.
Отличная статья! Пишите еще! Утащил в закладки, и показал дружественным DS-DE
Несколько лет назад я посетил одну IT-конференцию. В «обычных» секциях (back, front, etc) всё было как обычно: мы сделали вот так-то и получили вот это, мы молодцы, вы тоже можете попробовать и у вас, скорее всего, получится.
Но была на той конференции ещё одна секция — «околонаучная». Там рассказывали про придуманные или модифицированные алгоритмы, внутреннее устройство БД, было что-то про data-science. В основном, выступали программисты, но на темы, которые не укладывались в тематику секции backend, например.
И был один доклад человека из университета о вычислениях в гетерогенных средах. Тема действительно была очень интересная, докладчик рассказывал, как
Может, в академической среде действительно так принято, как выше отметил stilic?
Наверное, выступление на конференции можно приравнять к публикации в журнале.
Не совсем. Научные конференции — это больше work in progress. А в журналы идут уже более-менее законченные работы.
Может, в академической среде действительно так принято, как выше отметил stilic?Я бы все в одну кучу не мешал. У stilic, очень похоже, опыт среднего университета, такого, где у преподавателей основная цель — дать линейную алгебру и т.п. И, собственно, исследованиями мало кто занимается с очевидными последствиями для дипломов, диссертаций и т.п. В таких местах те, кто реально гребет, исследует, публикуется, делает что-то интересное, нередко чувствуют себя белыми воронами. Хорошо это знаю по разговорам с коллегами. С другой стороны даже в таких вузах гребущих людей довольно много. И в последние годы, когда после 25 лет плохого времени для университетов публикации внезапно стали вдруг важны они вполне на коне.
По поводу докладов — ключевая тема — финансирование. Когда в индустрии рядом в той же теме крутятся серьезные деньги, компании переманивают аспирантов и с порога платят им 250, ученые продавать не умеют, а грантовых денег у нас в стране заметно меньше даже чем в Польше (в пересчете на сотрудника), я уж молчу про более богатые страны… Это сильно накладывает, безусловно.
Конференция CVPR и так круче большинства журналов в области computer vision, за исключением пожалуй IEEE PAMI. И попасть в core CVPR сложнее чем во многие Q1 журналы. Хотя в журналах проработка более детальная.
Дмитрий, мне все-таки кажется, что пустой репозитарий для CVPR скорее исключение. За такие вещи рецензенты обязательно пожурят, это очень же просто проверяется по ссылке. Нас с подобным отправляли на resubmit в журнальной статье. Код и данные был приложены к статье архивом, с обещанием сделать репозитарий публичным после выхода статьи.
В вашем случае, возможно код закрыли после приема работы, так иногда бывает. Ну либо на core CVPR в этом году совсем вал и некому рецензировать…
А вот с воспроизводимостью работоспособности кода — это да, далеко не всегда.
В вашем случае, возможно код закрыли после приема работы, так иногда бывает.Ссылка на картинку в начале статьи кликабельная.
github.com/kwanyeelin/HIQA/commits/master — вот все коммиты, они не клали код
Список Issues показательный )
github.com/kwanyeelin/HIQA/issues
Ну либо на core CVPR в этом году совсем вал и некому рецензировать…Как вариант. Мы копаем довольно узкую тему, поэтому по ней стараемся все статьи найти. Статьи без кода, увы, норма.
Я постарался в 20 тысяч знаков уложиться (ибо иначе совсем лонгрид), а так за кадром остались эпичные истории про то, как мы не могли воспроизвести результат на своих данных даже в контакте с авторами.
Да, гитхаб показательный, это китайцы явно сжулили, и прокатило, но тем не менее 27 ссылок есть в школяре. И статья кстати интересная, тема наша, и качество и ган сетки.
У нас в целом довольно близкая тема —http://openaccess.thecvf.com/content_ICCVW_2019/papers/LCI/Nikonorov_Deep_Learning-Based_Imaging_using_Single-Lens_and_Multi-Aperture_Diffractive_Optical_Systems_ICCVW_2019_paper.pdf
китайцы явно сжулили, и прокатило, но тем не менее 27 ссылок есть в школяреБыло бы 270, если был бы код, но судя по всему совсем не работало. Других причин не класть не вижу.
А качеством в каком ключе занимаетесь? Я смотрю, вы ближе к физике.
Этот конкретно проект по реконструкции изображений для плоской оптики, на стыке оптики и обработки изображений, computational imaging. Наша команда как раз со стороны обработки изображений — деконволюция, цветовая коррекция, вот сквозная нейросетевая технология реконструкции вроде прорисовалась.
Метрика качества тут как раз интересный вопрос. Используем PSNR/SSIM, для сопоставимости результатов реконструкции с другими работами, в том числе с single image super resolution. Но понятно, что голые "X дБ PSNR" малоинформативны для конкретного приклада, плюс требуется сопоставление с эталоном, здесь тоже не до конца все прозрачно. Есть мысль сделать специализированные метрики для типовых задач технического зрения, на основе которых можно понять, достаточное качество реконструкции для этого кейса или нет.
А так есть разные проекты, в medical imaging вопрос качества тоже до конца не решенный. Мне кажется, blind image quality estimation вечный вопрос, как обратная свертка))))
Есть мысль сделать специализированные метрики для типовых задач технического зренияЭто вполне в тренде тема. Будьте только аккуратны с ML метриками. Из-за проблем с интерпретируемостью (и не только) у них разные приколы вылезают. Например:
«Hacking VMAF with Video Color and Contrast Distortion»
и «Barriers Towards No-reference Metrics Application to Compressed Video Quality Analysis: on the Example of No-reference Metric NIQE»
и это еще не все, что накопали, опубликовали. Т.е. пока использовали классику — все ок, а с ML метриками — начинается веселье… )
Да мы как раз именно ml метрики не рассматривали пока. Хотя они сейчас повсюду, рецензировал недавно статью которая предлагала сетку для слепой оценки GSD в ДЗЗ. Там как раз после эмбединга стоит дерево регрессии, и с интерпретируемостью все ок.
Это примерно как с анализом текстов. Десятки лет профессиональные переписчики строчили диссертации за деньги чиновникам разного уровня, компилируя тексты из библиотек, а потом р-р-р-раз… И «Диссернет». И у лавочки возникли крупные проблемы. Аналогично с корчевателем. ) В общем скоро будет интересно! )
Ещё скажите, что массовые расстрелы спасут страну. Хотите воспроизведения результата в нескольких лабораториях и качество статей вместо их количества? Так это надо бороться не с учёными, а с самой системой финансирования исследований.
Так что с этим ещё предстоит разобраться.
Лет 15 назад о исходниках можно было только мечтать. Сейчас их выкладывают. Поэтому воспроизводимость стала лучше. Собственно лет 10 я удачно переждал и сейчас по новой вхожу в эту область.
Так вот NLP есть направление «Word Embeddings» если упростить, то это набор разных алгоритмов которые делают одно и тоже. Так что есть легко можно сравнить результаты.
В деревьях решений у меня результаты сильно плавают от эпохи к эпохи. При удачном «броске костей» может выпасть 97% результат, а в худшем 23%. Но это легко устраняется несколькими независимыми прогонами(вехами).
И знаете скорость обучения компьютера за 15 лет выросла в разы. Что позволяет устранить случайные ошибки.
В совокупности эти 3 фактора позволяют хорошо воспроизводить результаты.
Да был у меня случай когда от разрешения монитора зависел результат. Но это уже ошибки реализации, а вернее где-то не учли устойчивость. Откуда можно и метод усовершенствовать. Методики по степенно всё усложняются. Тем самым снижается число факторов которые влиять или могут повлиять на эксперимент. Но вот эксперимент становится дольше ставить и описывать.
Да от датасета всё ещё многое зависит. На самом деле мы в ML используем далеко не полные датасеты, а следовательно они врят-ли могут быть репрезентативными. Но раз так нам остаётся одно совершенствовать наши методы познания. Разделять то что мы познали, а то что ещё предстоит познать.
Датасеты увеличиваются. А следовательно прикладной охват результатов тоже увеличивается. Хотя он и не является окончательным. Но для прикладного применения этого хватает. Вот фундаментальные или теоретические выводы они труднее.
Так что с этим ещё предстоит разобраться.
Лет 15 назад о исходниках можно было только мечтать. Сейчас их выкладывают. Поэтому воспроизводимость стала лучше. Собственно лет 10 я удачно переждал и сейчас по новой вхожу в эту область.
Так вот NLP есть направление «Word Embeddings» если упростить, то это набор разных алгоритмов которые делают одно и тоже. Так что есть легко можно сравнить результаты.
В деревьях решений у меня результаты сильно плавают от эпохи к эпохи. При удачном «броске костей» может выпасть 97% результат, а в худшем 23%. Но это легко устраняется несколькими независимыми прогонами(вехами).
И знаете скорость обучения компьютера за 15 лет выросла в разы. Что позволяет устранить случайные ошибки.
В совокупности эти 3 фактора позволяют хорошо воспроизводить результаты.
Да был у меня случай когда от разрешения монитора зависел результат. Но это уже ошибки реализации, а вернее где-то не учли устойчивость. Откуда можно и метод усовершенствовать. Методики по степенно всё усложняются. Тем самым снижается число факторов которые влиять или могут повлиять на эксперимент. Но вот эксперимент становится дольше ставить и описывать.
Да от датасета всё ещё многое зависит. На самом деле мы в ML используем далеко не полные датасеты, а следовательно они врят-ли могут быть репрезентативными. Но раз так нам остаётся одно совершенствовать наши методы познания. Разделять то что мы познали, а то что ещё предстоит познать.
Датасеты увеличиваются. А следовательно прикладной охват результатов тоже увеличивается. Хотя он и не является окончательным. Но для прикладного применения этого хватает. Вот фундаментальные или теоретические выводы они труднее.
Я обалдел, когда один большой Российский ВУЗ устроил курс удаленный по Data Science для школьников. Мой племянник(десятикласник) туда попал. Это просто жесть. Я не знаю как оно там должно было быть в итоге, т.к. племянника оттуда мы выдернули буквально через месяц, но началось там всё с питона и обучении нейронок. Вообще без базы. Без объяснения что такое нейронная сеть, какие есть проблемы обучения и как они решаются.
Вот тебе питон, вот тебе датасет, вот тебе команда чтобы скормить датасет нейронке, дерзай…
Я бы с этим поспорил. Не каждому будет интересно погружаться в математику саму по себе. Но если условный школьник смог импортировать tf, набросать простую нейросеть, а потом с её помощью распознать что-то, то есть большой шанс, что ему это понравится и он начнёт изучать тему всё глубже с каждой итерацией. И кто знает, до чего он дойдёт через десяток лет.
А те, кому интересна наука сама по себе, они и без этих ремесленных курсов справятся.
Любой научный журнал должен проверять этот критерий перед публикацией
Но так как вместо фанатиков чистой науки там сидят фанатики денежных знаков, то маемо шо маемо.
Рецензирование в большинстве научных журналов и конференций бесплатно. В крутых народ идет рецензировать, поскольку быть там в программном комитете — круто. А дальше просто. У реально продвинутых людей реально нет времени. Понятно, что все делегируется аспирантам и прочим подчиненным чтобы хоть как-то, но повторять времени точно нет. И дальше идет оценка из разряда «верю/не верю», но вполне разумная. По умолчанию ревьювер не верит, задает массу вопросов и просит доказать. Автор статьи ему отвечает, присылает ссылки на примеры, данные и прочее. И если все ок — оно заходит. Так что барьер есть, другое дело, что в условиях перегрузки лучших он сильно не идеален.
Последнее время в некоторых известных журналах взяли за моду открывать open access версию и передавать туда всё что «не соответсвует основной тематике журнала», за денюжку.
Многие исследователи поступают так (пока не опубликуют) отправить статью в престижный журнал -> перенаправить в менее престижных журнал -> перенаправить в open access журнал типа plos one / frontiers in
Ну и рецензент, конечно ничего не получает, но зато получает журнал, которому на самом деле выгодно печатать как можно больше статей за которые платит автор.
Ну я тоже не биолог, но насколько я представляю, примерно как сферические кони в вакууме.
Спасибо за статью! я примерно с точки зрения neurocience откомментил про различия между мозгом и нейронками.
Возможно в будущем в CS тоже до чего-то такого дайдут.
это создание достаточно крупных датасетов и бенчмарков3Dvideo, а Вам не кажеца, именно в этом и проблема? Ежели указанный приём требует в обучении огромных объёмов примеров, он изначально неэффективен!
Человеку можно показать изображение кошки 1 раз и он узнает в любой кошке именно кошку в высокой вероятностью (причём в объёмном меняющемся или анимированном изображении, и именно в них человек наиболее эффективен)! А указанным приёмам нужны миллионы кошек, и всё равно очень легко найти рисунок кошки, который они не опозна.т как кошку (не говоря уже об анимации).
Возможно, лучше изучить и копировать распознавание сигналов вообще (ибо мозг очень легко переучивает зоны распознавания изображений на звук или обоняние) в человеческом мозге? Ибо возникает ощущение попытки решения очень сложной проблемы — а распознавание произвольных образов — в целом сложная проблема — при помощи нейросетей менее мощных, чем мозг у насекомого.
И вообще, многими учёными высказана (в целом, наверное, правильная) мысль, что невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания.
Человеку можно показать изображение кошки 1 раз и он узнает в любой кошке именно кошку в высокой вероятностьюНоворожденному? Ага. Щаз. Человек годами учится «распознавать кошку» — а кой-чего в него вообще встроено на «железном уровне».
Вот научившись опознавать кошку, мышку, посмотрев на них с разных сторон и кой-чего ещё и пощупав… вот после этого — можно иногда кого-то с одной фотографии узнавать.
Современные нейросети опознают лица уже лучше, чем большинство «сторонних людей» (хотя матери своё чадо могут отлавливать лучше) — с одного предъявления,v так что…
И вообще, многими учёными высказана (в целом, наверное, правильная) мысль, что невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания.Всему своё время. Как вы верно заметили — имеющиеся у нас нейросети пока что менее мощны, чем мозг насекомого. А насекомых с сознанием — в природе не наблюдается, как бы.
Так что… всё будет. Своевременно или несколько позже.
Вот научившись опознавать кошку, мышку, посмотрев на них с разных сторон и кой-чего ещё и пощупавЕщё раз — человеку нужен намного меньший обучающий набор, чем нейросети ;-)
Как вы верно заметили — имеющиеся у нас нейросети пока что менее мощны, чем мозг насекомого. А насекомых с сознанием — в природе не наблюдается, как бы.Все еще интереснее. Человек научил нейросети играть в шахматы и го лучше, чем играет сам. Вряд ли можно считать эти задачи простыми. На данный момент удается научить нейросети решать многие (в том числе очень сложные) задачи лучше человека (и даже лучше лучшего человека))), но пока только в узких областях. И скорость прогресса поражает. Вам спасибо за содержательные комментарии! )
Это очень неблагодарное занятие — переубеждать. Для кого-то это ящик Пандоры и море возможностей, для кого-то тупик. Почему бы нет? )
ибо программа не играет осозанно, а перебирает разлиные варианты ;-)
А человек не перебирает варианты? И перебор в компьютерах совсем не тупой.
Количество связей в VGG19 ~10^8, это мушка дрозофила. У человека ~10^11.
Для опознавания лиц с нескольких примеров требуется трюк с введением метрики в пространстве ембединга, после этого начинает работать few-shot-lerning. Трюк этот придуман человеком. Так же как трюк с АльфаГо, т.е. мы умеем докрутить нейронку до уровня слабого ИИ в разных приложениях. Но от этого мы не на шаг не приближаемся к сильному ИИ или сознанию.
Очень хорошо иллюстрируется это тем, что вся наша наука это исследования от первого лица, а сознание — от первого лица, и как к этой "трудной проблеме сознания" подступиться, пока не понятно. Количественное увеличение количества связей в нейронке, даже на три порядка, вряд ли даст переход от третьего лица к первому...
Не кажетсяНо разве наши цели не в получении по меньшему — и порой неполному — набору как можно больше полезной информации?
Там ОЧЕНЬ хорошо видно, какие метрики оптимизируются в каждой области.
Ваш подход «невозможно проектирование сколь-либо сложного и полезного ИИ без эмуляции сознания», а подход ИИ исследователей — можно кратно уменьшить количество ошибок в распознавании рукописного текста, номеров домов, устной речи, объектов на фото (и далее по длинному списку) с новыми подходами, основанными на ML/DL.
Вам совершенно необязательно принимать точку зрения, что это хоть сколько-нибудь сложные и полезные вещи )
Обратите внимание, что у меня в статье ИИ не упомянут ни разу и первым про него заговорили вы)
И, кстати, у него забавный дрейф значения. В 80-х ИИ называли простейшую (по нынешним меркам) генерацию голоса, в 90-х разпознавание текста, в 2000-е — игру в шахматы, причем в каждое следующее поколение общественность и журналисты (которые в основном любят этот термин) дружно решали — нет, что было раньше, это не ИИ, а ИИ это… В этом плане ваши мысли абсолютно в тренде)
В этом случае ИИ невозможен в принципе, просто по определению.
P.S. Даже если всё пойдёт по «плану Б» Курцвейла: мы так никогда и не сможем разработать исскуственный интереллект, который сможет проходить Тест Тьюринга… но сможем перенести сознания человека в кремний (или там ареснид галлия… неважно) — даже тогда можно будет утверждать что ИИ невозможен.
Интервью с одним из организаторов NeurIPS на тему воспроизводимости: https://www.nature.com/articles/d41586-019-03895-5
И я про rescience.github.io ранее не слышал. Спасибо, короче!
Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории