Там операционной единицей является не нейрон, а синапс, у вас может быть, например слой всего с 3 нейронами, и какому-нибудь одному из них достаточно трёх синапсов и не понять как решать сколько синапсов данному конкретному новому нейрону нужно.
Нет, не голография.
В своей статье habr.com/ru/post/249031 я чётко показал, что в сети можно выделить структурные элементы хранения отдельных признаков, и они очень ограничены, остальная сеть практически не влияет. Вот только этими структурными единицами оказались не нейроны, как казалось исходя из теории «нейрона бабушки», а группы синапсов.
В статье описанно. Решает синтетическую задачу запоминания сложного рельефа опираясь на всего две входные переменные. Чтобы сделать то же самое с той же точностью обычной полносвязанной сетью потрбовалось бы в разы большее количество нейронов и синапсов.
Тут нужно внимательно смотреть оригинал. Как правильно заметил комментатор выше, дополнительные синапсы облегчают прохождение мелкоямчатого рельефа в котором много маленьких локальных минимумов. Соответственно нужно смотреть какие задачи они использовали, в одних задачах такая «стиральная доска» естествнным образом возникает, в других функция потерь относительно равномернеькая. Второй важный момент — какой они алгоритм используовали для обучения. Потому что Стохастический спуск или обучение небольшими батчами, например по 5-10% от учебной выборки и меньше, уже сами по себе имеют мощные механизмы проскакивания микрорельефа.
Если бы они обнаружили такой результат на задаче с сильно пересечённым рельефом и при обучении батчами по четверь выборки например, и получили такой результат я бы ему очень сильно удивился.
Ну на самом деле, из моих исследований исходя, они в первом обучении, до регуляризации и резни — определяют оптимальную архитектуру слоёв и количества синапсов под задачу. А на втором проходе убеждаются, что именно такая архитектура минимально достаточна. О полной независимости результата от, например, стартовой точки обучения, речь, я надеюсь, не идёт. Это не только не очевидно, но и является некоторым преувеличением.
Сдаётся мне, они хотят повторить мой результат 4 летней давности.
habr.com/ru/post/249031 Использованная мной в этой статье разряженная нейросеть содержала всего 36 нейронов примерно в десятке слоёв. Только они задачу для себя неправильно сформулировали. Нужно не до начала обучения это определять, а на самом первом этапе обучения. Но если они будут сасредоточенно искать решение именно этой задачи, то то или иное решение, я полагаю, найдут.
Вы не поняли главный посыл. Если удалить из архитектуры сети все ненужное, после этого сбросить веса и научить снова с нуля, то сеть будет столь же эффективна. Хотя с нуля училась будучи малюсенькой.
На самом деле оценка про «в 10 раз» ещё очень консервативная. Было исследование, где показывали сжатие сети в 100 раз без заметной потери результата.
Честно то говоря, «уделывать на светофорах» занятие в случае москвы почти совершенно бесполезное. У меня, например, гибридный лексус, и хотя он вроде как типа маленького внедорожника, я на старте не уделываю в основном откровенно приспортивленные машины. За время вождения выявил только одну ситуацию когда это пригождается — когда выезжаешь на МКАД и надо быстро набрать скорость потока. В остальных случая бессмысленно.
Все фичи электромобиля на малой скорости, типа плавной езды с выключенным двигателем я на гибриде имею точно так же, только на порядок дешевле. А ещё у меня запас хода не падает в несколько раз когда на улице холодно и заправляюсь за две минуты. Вывод отсюда простой: Если вам не для понтов и баловства, берите Тоётовский RAV-4 гибрид и не парьте мозг. Это на много более автомобиль будущего чем тесла, пока по крайней мере.
Использовать распознование по текстуре как предобучение распознованию по форме? Идея прикольная. :)
Нужная оговорка — преимущественное использование текстуры СВЁРТОЧНОЙ нейросетью. Да, сейчас приличные результаты дают только свёрточные сети, но без это оговорки все не являющиеся упёртыми професионалами будут думать, что это свойство сети вообще, а не свойство того, что в соревнованиях на неподвижных фотках выигрывают сети со свёрточными первыми слоями.
На самом деле идея Картечи как раз не очень. Потому что требует тащить на борту автоматику с запасом прочности на 10000 выстрелов способный прицельно стрелять на сто метров. Довольно таки не мало всё это весит. Когда вот это вот действительно станет массовым, вооружать его будут какими-нибудь одноразовыми системами типа Metal Storm, по одному картриджу на ворону. Максимум металические стволики для усиления как НУРС-ы вертолётные. Но для опробирования идеи и сойдёт и вепрь.
Это не один ролик. Это ИГИЛ-овцы выкладывали отчёты о своей бомбардировочной авиации, и у них атаки этих дронов были под сотню за месяц. Весьма неплохо отрабатывали и всё с подтверждением. Особенно когда американцы их из Мосула выбамбливали эта их малая авиация наделала дел. Подробнее можно поискать в ЖЖ Эль-Мюрида, он некоторые их месячные отчёты репостил. Весьма поучительно для тех, кто собирается с партизанщиной бороться, а также для тех, кто собирается партизанщиной заниматься.
Я собственно делаю более сильно утверждение.
Не нельзя проверить, что ощущения такие же, а можно уверенно утверждать, что ощущения другие. Ровно на том примере, который привёл автор самой проблемы.
Как мы можем знать, что мои ощущения от синего цвета такие же, как у вас?
Если у вас есть хоть один друг дальтоник — спросите у него когда он узнал, что он дальтоник. Многие впервые узнают об этом факте на медосмотре в военкомате. Чтобы выдавать почти такой же результат, как от вас ожидает социум совершенно не обязательно чувствовать то же самое. Вы можете вообще не видеть или слабо видеть какой-то цвет, например, красный, но просто знать что вот это грязно-тёмное пятно все называют красным и называть его так же.
Да их можно публиковать хоть каждый год пока до некоторых работодателей не дойдёт, что Senior за 200 это не такое же вложение в компанию, как два Junior за 100. Те некоторые, до которых допрёт выиграют в лотерею.
Да нет конечно. Я всего лишь отметил, что вы видели недостаточно разновидностей ситуаций, если думаете, что все они разрешимы без прямого неконструктивного конфликта. Многие разрешимы, некоторые — нет.
Летит как то раз воробей и мёрзнет. Замёрз и упал.
Шла мимо корова, посрала прямо на воробя — он согрелся и зачирикал.
Тут его лисица заметила, вытащила и съела.
Мораль:
1) Не всякий кто на тебя насрал тебе враг.
2) Не всякий, кто тебя из говна вынул тебе друг.
3) Пригрелся — не чирикай.
Как минимум я крепко задумываюсь а почему он стремиться испортить мне жизнь. И в 90% случаев оказывается, что далеко не потому что он от природы плох. Не всегда причины объективны, например у человека мог быть предыдущий травмирующий опыт провальных по счходжим причинам проектов, но это ещё не значит что плоха именно реализация, а не люди, которые её делали. Но это тоже повод для работы.
В своей статье habr.com/ru/post/249031 я чётко показал, что в сети можно выделить структурные элементы хранения отдельных признаков, и они очень ограничены, остальная сеть практически не влияет. Вот только этими структурными единицами оказались не нейроны, как казалось исходя из теории «нейрона бабушки», а группы синапсов.
Если бы они обнаружили такой результат на задаче с сильно пересечённым рельефом и при обучении батчами по четверь выборки например, и получили такой результат я бы ему очень сильно удивился.
Сдаётся мне, они хотят повторить мой результат 4 летней давности.
habr.com/ru/post/249031 Использованная мной в этой статье разряженная нейросеть содержала всего 36 нейронов примерно в десятке слоёв. Только они задачу для себя неправильно сформулировали. Нужно не до начала обучения это определять, а на самом первом этапе обучения. Но если они будут сасредоточенно искать решение именно этой задачи, то то или иное решение, я полагаю, найдут.
На самом деле оценка про «в 10 раз» ещё очень консервативная. Было исследование, где показывали сжатие сети в 100 раз без заметной потери результата.
Все фичи электромобиля на малой скорости, типа плавной езды с выключенным двигателем я на гибриде имею точно так же, только на порядок дешевле. А ещё у меня запас хода не падает в несколько раз когда на улице холодно и заправляюсь за две минуты. Вывод отсюда простой: Если вам не для понтов и баловства, берите Тоётовский RAV-4 гибрид и не парьте мозг. Это на много более автомобиль будущего чем тесла, пока по крайней мере.
Нужная оговорка — преимущественное использование текстуры СВЁРТОЧНОЙ нейросетью. Да, сейчас приличные результаты дают только свёрточные сети, но без это оговорки все не являющиеся упёртыми професионалами будут думать, что это свойство сети вообще, а не свойство того, что в соревнованиях на неподвижных фотках выигрывают сети со свёрточными первыми слоями.
Не нельзя проверить, что ощущения такие же, а можно уверенно утверждать, что ощущения другие. Ровно на том примере, который привёл автор самой проблемы.
Если у вас есть хоть один друг дальтоник — спросите у него когда он узнал, что он дальтоник. Многие впервые узнают об этом факте на медосмотре в военкомате. Чтобы выдавать почти такой же результат, как от вас ожидает социум совершенно не обязательно чувствовать то же самое. Вы можете вообще не видеть или слабо видеть какой-то цвет, например, красный, но просто знать что вот это грязно-тёмное пятно все называют красным и называть его так же.
Шла мимо корова, посрала прямо на воробя — он согрелся и зачирикал.
Тут его лисица заметила, вытащила и съела.
Мораль:
1) Не всякий кто на тебя насрал тебе враг.
2) Не всякий, кто тебя из говна вынул тебе друг.
3) Пригрелся — не чирикай.