Смотрите, стандартная позиция, что миниколонка отвечает за детектирование именно фич. Но есть предположение, что на деле каждая миниколонка — тот еще автоэнкодер, который описывает целое многообразие фич в своем контексте. Нужно еще проводить исследования действительно ли это так. Но моя позиция, что биологическая аналогия — это хорошо, но оставлю это нейрофизиологам, надо делать алгоритмы вне зависимости нашли ли чего они или нет.
ну вот в начале этой работы резюме про селективнсоть зоны V1: http://homepages.inf.ed.ac.uk/jbednar/papers/fischer.ms14.pdf. Это еще годах в 60х нашли (Hubel &Wisel). Там даже интересно то, что кажется не трехмерное пространство разложено на плоскость, а аж пятимерное: позиция, ориентация, масштаб, направление движения.
1) да, действительно плохо описал. Смотрите, каждый контекст — автоэнкодер. Когда на него приходят входные данные, мы можем оценить p(x | этот автоэнкодер описывает сию ситуацию), т.е. правдоподие данного контекста. Оценка этой вероятности должна бы делаться согласно мат.модели, которая описана в первой половине статье, т.е. 1) невяка реконструкции 2) p(z) 3) нормировка 4) апприорная вероятность. Оказалось, что в MNIST 1ый коэффициент дает больший вклад, так что я делал лишь грубую оценку p(x|i), считая lg(p(x|i)) пропорциональным невязке автоэнкодера. Таким образом, «вектор правдопобия контекстов» — это лишь вектор невязок автоэнкодеров в моих примерах. Но в общем случае, расчет там будет сложнее.
а превращается этот вектор в объект уже в следующей области обработки информации (просто «волевым решением», а давайте попробуем и тут найти что полезного). Т.е. гипотеза как раз в том, что сам по себе этот вектор тоже может быть полезен для формирования новых абстрактных понятий. И, оказывается, бывает полезен, да.
2) Ну т.е. пространство контекстов не такое простое и линейное, как в моем примере. Скажем, если есть 10 позиций по X, 10 позиций по Y и 15 ориентаций, то контекстов будет уже 1500, т.е. произведение. Может быть, что у человека в зоне зрительной коры V1 контексты позиции и ориентации для картинки 120х120 пикселей занимает примерно 600 000 миниколонок, и занимается она узнаванием небольших элементов изображений. Если предположить, что каждая миниколонка (структурная единица неокортекса) — это вот такой автоэнкодер ответственный за позицию и ориентацию, то выходит 120х120 позиций и 40 ориентаций. А на весь неокортекс 400млн. миниколонок. Это тоже не слишком много, но, за счет разумной декомпозиции информации, значит, хватит. Т.е. одна область про трактовки в контекстах позиции и ориентации, другая про звуки при условии разной частоты и тембра звука, третья о направлении и скорости движения, четвертая про трактовку событий в различных социальных контекстах и т.п. Должно как-то хватать, архитектура (т.е. кто с чем соединен) оттачивалась эволюцией миллионами лет.
1) а) с непропорциональным разделением — это как раз история про то, что как бы байесов подход хорош, но он не про реальные объекты. Мы можем понять, что объект принадлежит какому-то классу, даже если никакогда не видели на входе такую реализацию. Вот потому что и приходится выдумывать систему «над», такую как общее латентное пространство, чтобы такие неровности в распределении компенсировать.
б) да, просто это уж много выч.мощности и GPU памяти нужно. работаю над этим. Не вижу теоретических пределов, почему бы не взлетело и при огромном количестве контекстов.
в) не понимаю, чем тут с CIFAR может помочь. мелкие картинки, никакой доп.закономерностей оттуда не вытащить, ну кроме аффиных преобрвазоний (а это уже очень много работ было на эту тему, те же Spatial Neural Networks)
г) безусловно.
Ну, да, пример один и в чем-то натянут. Работаю над другими задачами с помощью этого подхода — со временем станет больше.
2) конечно, не пахнет. но множественность трактовок и целеноправленное формирование абстрактных моделей, которые позволяют выбрать лучшую трактовку на нижнем уровне… ну это важная часть, пока что не нашедшая свое отражение в каждом первом ML framework.
3)CNN вообще имеет тут много общего, т.к. позиция на изображении — это тот же самый контекст, а «общее латентное пространство» — аналог общих весов в ядрах. И нет, это не бинарные классификторы, это именно что оценка функции правдопобия модели, описываемой атоэнкодером-контекстом. И да, если backpropogation всесилен и всегда находит отличный оптимум и мы знаем что за лоссы вставить, — то много проблем бы решелись. Но, как-то, это обычно не так. А как начинаются ограничения в размере обучающей выборке, то совсем все плохо. Вот и приходится что-то выдумывать.
4) Да, VAE, GAN — это определенно направления для развития. VAE дает распределение p(z) предсказуемое, а GAN вообще просто крут для формирования моделей автоэнкодеров. Теперь видя сон по ночам, просыпаюсь удовлетворенный, что потренировал свои GAN-ы, заметив пару нестыковок )))
Со стерео зрением все те же вопросы останутся. Это мы из математики умеем ловко умножать на матрицы поворота и знаем, как преобразуются координаты за счет этого. Мозгу нужно точно так же будет учиться и запоминать, как выглядят разные фигуры после поворота. Стерео лишь поможет, но не решит никаких фундаментальных проблем.
но вообще не претендую на то, что «вот так у человека», лишь демонстрация подхода. и да, а может у с рождения одноглазых так? как-то же люди с одним глазом берут объекты, не так ловко, но форму предмета понимают.
«начнёт вникать что там на гранях написано (с поправкой на наклон и перевёрнутость грани» — и вот тут как раз появится проблема трактовки, упускаемая сейчас многими.
«А вы компутеру сразу усложнили задачу дав один глаз и показав плоское изображение 3д объекта.
Сильный ИИ будет сильным когда пройдёт то же взросление и обучение что и человеческий детёныш, а для этого не только софт нужен, но тело, взаимодействующее с реальностью (можно на первых порах виртуальны» — тут полностью согласен
Это в асболютных числах там 30%, а если начальный уровень выровнять, то уже как раз 7-10%:
и это среднее, а есть разброс внутри выборки — и там то совсем не поверю, что эти графики с сигмой 2% друг от друга, чтобы как-то достоверно можно было отличить в какой из выборок принадлежит наблюдаемый.
Да, кажется что-то можно измерить, если одного и того же человека отслеживать каждый день. Но подойти к первому встречному — слишком малы изменения и слишком велики разбросы по популяции должны быть.
ну нет, есть пороговый возраст, если до него не выучить любой актуальный язык, то человек человеком не станет. А сделать другой язык равнородным — это можно и потом. К тому же куча примеров есть, когда дети лет 12-13 переезжая в новую языковую среду, забывают родной язык за десять лет, если нет нужды им пользоваться. А к старости так и вообще только несколько слов вспомнят.
А мне кажется просто наше «высшее образование» не влияет на образование :). Как и достаток, который может вообще обратную корреляцию с образованием иметь
это довольно классическая история. Если есть априорные данные о входном сигнале (в их
«работе» синус), то можно придумать какие-то варианты обработки (на практике, например, бывает, что скорость изменения сигнала ограничена — это поможет избавиться от шума). Есть еще забавная довольно история, что зная одну производную от сигнала, можно использовать половину полосы. А так, автор еще статьи по «сеточкам нейронным» не читывал. Там по итогу больше половины статей ни на чем не основаны, кроме экспериментов на датасете. А на другом датасете уже и не будет работать
Это с точки зрения массы. А еще видимая светимость как коррелирует с количеством/массой звезд. Совсем не в теме, но, я к тому, что тут 2 составляющие вопрос. Масса и светимость сравнивают. А если ошибаться и в том и том в 3 раза :)))
Вот не очень здорово, когда ради использования dotNET приходится углубляться в 45ый framework для deeplearning :(. Лучше обертку для всех существующих, поддерживаемых сообществом, (TF,torch и др.) делали бы и актуальными поддерживали.
А так да, это прямо серьезная проблема: под Windows довольно часто у людей решения крутятся, в которые люди сеточки добавлять хотят. На tensorflow/keras можно быстро соорудить на python скрипт, а дальше начинаются странные архитектурные решения, чтобы с python-ом из dotNET пообщаться
тогда это история про «у нас ОЧЕНЬ мало хороших разработчиков», настолько мало, что бизнесу (малому в конкретном случае, но у корпораций проблемы те же) их не видать :(. Впрочем, как и мало у нас хорошего малого бизнеса…
очень похоже, что потерянный 1млн.р, — это даже несколько меньше, чем стоило бы вложить в отладку и тестирование системы в целом. Зато теперь все проверили и работает. Если не считать репутационных потерь (кажется в модели бизнеса нет нажима на постоянных клиентов, может и не страшно), то это просто история успеха выходит! :)
оттуда же, откуда у Вас про 90 я полагаю :). Я же говорю, весь вопрос в критериях. Опрос ли это (тогда цифра ближе к 90), или по бухгалтерии, или по статистике стартап площадок. (https://blog.capterra.com/small-business-statistics/ — там по ссылкам можно отследиьт при большом желании кто про 50% заявляет, fleximize.com/business-survival — 8 из 10 выживают в первый год). А мой опыт (участие в качестве инженера или консультанта в стартапах), да и просто узок круг революционеров в Москве то, говорит о том, что 90% провалов — это миф. Если дело начинают, то бросить его не так просто :)
а превращается этот вектор в объект уже в следующей области обработки информации (просто «волевым решением», а давайте попробуем и тут найти что полезного). Т.е. гипотеза как раз в том, что сам по себе этот вектор тоже может быть полезен для формирования новых абстрактных понятий. И, оказывается, бывает полезен, да.
2) Ну т.е. пространство контекстов не такое простое и линейное, как в моем примере. Скажем, если есть 10 позиций по X, 10 позиций по Y и 15 ориентаций, то контекстов будет уже 1500, т.е. произведение. Может быть, что у человека в зоне зрительной коры V1 контексты позиции и ориентации для картинки 120х120 пикселей занимает примерно 600 000 миниколонок, и занимается она узнаванием небольших элементов изображений. Если предположить, что каждая миниколонка (структурная единица неокортекса) — это вот такой автоэнкодер ответственный за позицию и ориентацию, то выходит 120х120 позиций и 40 ориентаций. А на весь неокортекс 400млн. миниколонок. Это тоже не слишком много, но, за счет разумной декомпозиции информации, значит, хватит. Т.е. одна область про трактовки в контекстах позиции и ориентации, другая про звуки при условии разной частоты и тембра звука, третья о направлении и скорости движения, четвертая про трактовку событий в различных социальных контекстах и т.п. Должно как-то хватать, архитектура (т.е. кто с чем соединен) оттачивалась эволюцией миллионами лет.
1) а) с непропорциональным разделением — это как раз история про то, что как бы байесов подход хорош, но он не про реальные объекты. Мы можем понять, что объект принадлежит какому-то классу, даже если никакогда не видели на входе такую реализацию. Вот потому что и приходится выдумывать систему «над», такую как общее латентное пространство, чтобы такие неровности в распределении компенсировать.
б) да, просто это уж много выч.мощности и GPU памяти нужно. работаю над этим. Не вижу теоретических пределов, почему бы не взлетело и при огромном количестве контекстов.
в) не понимаю, чем тут с CIFAR может помочь. мелкие картинки, никакой доп.закономерностей оттуда не вытащить, ну кроме аффиных преобрвазоний (а это уже очень много работ было на эту тему, те же Spatial Neural Networks)
г) безусловно.
Ну, да, пример один и в чем-то натянут. Работаю над другими задачами с помощью этого подхода — со временем станет больше.
2) конечно, не пахнет. но множественность трактовок и целеноправленное формирование абстрактных моделей, которые позволяют выбрать лучшую трактовку на нижнем уровне… ну это важная часть, пока что не нашедшая свое отражение в каждом первом ML framework.
3)CNN вообще имеет тут много общего, т.к. позиция на изображении — это тот же самый контекст, а «общее латентное пространство» — аналог общих весов в ядрах. И нет, это не бинарные классификторы, это именно что оценка функции правдопобия модели, описываемой атоэнкодером-контекстом. И да, если backpropogation всесилен и всегда находит отличный оптимум и мы знаем что за лоссы вставить, — то много проблем бы решелись. Но, как-то, это обычно не так. А как начинаются ограничения в размере обучающей выборке, то совсем все плохо. Вот и приходится что-то выдумывать.
4) Да, VAE, GAN — это определенно направления для развития. VAE дает распределение p(z) предсказуемое, а GAN вообще просто крут для формирования моделей автоэнкодеров. Теперь видя сон по ночам, просыпаюсь удовлетворенный, что потренировал свои GAN-ы, заметив пару нестыковок )))
но вообще не претендую на то, что «вот так у человека», лишь демонстрация подхода. и да, а может у с рождения одноглазых так? как-то же люди с одним глазом берут объекты, не так ловко, но форму предмета понимают.
«начнёт вникать что там на гранях написано (с поправкой на наклон и перевёрнутость грани» — и вот тут как раз появится проблема трактовки, упускаемая сейчас многими.
«А вы компутеру сразу усложнили задачу дав один глаз и показав плоское изображение 3д объекта.
Сильный ИИ будет сильным когда пройдёт то же взросление и обучение что и человеческий детёныш, а для этого не только софт нужен, но тело, взаимодействующее с реальностью (можно на первых порах виртуальны» — тут полностью согласен
и это среднее, а есть разброс внутри выборки — и там то совсем не поверю, что эти графики с сигмой 2% друг от друга, чтобы как-то достоверно можно было отличить в какой из выборок принадлежит наблюдаемый.
«работе» синус), то можно придумать какие-то варианты обработки (на практике, например, бывает, что скорость изменения сигнала ограничена — это поможет избавиться от шума). Есть еще забавная довольно история, что зная одну производную от сигнала, можно использовать половину полосы. А так, автор еще статьи по «сеточкам нейронным» не читывал. Там по итогу больше половины статей ни на чем не основаны, кроме экспериментов на датасете. А на другом датасете уже и не будет работать
А так да, это прямо серьезная проблема: под Windows довольно часто у людей решения крутятся, в которые люди сеточки добавлять хотят. На tensorflow/keras можно быстро соорудить на python скрипт, а дальше начинаются странные архитектурные решения, чтобы с python-ом из dotNET пообщаться