Как-то раз в бородатом детстве в 1993-ом кажется году мы решили писать компьютерную игрушку и для этого решили сравнить производительность трёх языков, на которых умели писать. Borland C++ 4.0, Turbo Pascal 7.0 и Fortran 77. Тестировались две нужные нам задачи — Умножение вектора на матрицу и отрисовывание треугольника стандартными инструментами в режиме EGA.
Довольно быстро выяснилось, что рисование у C и Pascal шло с одинаковой скоростью, потому как использовало одну и ту же библиотеку egavga.bgi, Расчёты на С были примерно вдвое быстрее, за счёт разнообразных проверок на переполнение, которые в Паскале по умолчанию были включены, а в C по умолчанию выключены. Но это можно было исправить директивами компилятора. А вот с фортраном началось самое интересное:
Первый замер был про умножение на матрицу. Когда фортран показал результат в 10000 раз быстрее у нас закралось подозрение. Сначала мы пытались найти ошибку, но потом сдались. Дизасемблирование показало, что отимизатор смекнул, что результаты вычислений внутри цикла не используются и посчитал умножения и суммирования только один раз, для значения переменной цикла в последнем цикле.
Тогда вместо того чтобы внутри цикла делать просто умножения и сложения мы заставили его ещё и суммировать переменную цикла. Когда фортран показал результаты в 10000 раз быстрее, мы сразу полезли в дизасемблер и к величайшему нашему удивлению обнаружили, что фортран суммирование переменной цикла в цикле успешно заменил на формулу подсчёта арифметической прогрессии. Сказать, что мы были в шоке — ничего не сказать.
Следующие пол часа ушли на подбор такой формулы для замеров, в которой оптимизатор фортрана ничего не смог бы упростить. Задачка оказалось нетривиальной, потому что на глазах у удивлённых школьников фортран выносил общий множитель за скобку, заранее умножал друг на друга константы и делал ещё несколько не менее интеллектуальных операций потрясая наше воображение. Когда мы таки смогли его обмануть выяснилось, что по скорости он от C по скорости не отличается.
Когда мы заставили фортран нарисовать закрашенный треугольник 256 цветами, и он показал результаты ровно в 16 раз лучше egavga.bgi мы уже даже не удивились. В EGA было всего 16 цветов. Рисование цветом 17 было то же самое, что рисование цветом 1. Уж не знаю как Fortran77 дозрел до этой идеи, но он треугольник перерисовал только 16 раз разными цветами, и на этом покинул цикл. Пришлось каждый следующий треугольник рисовать сдвигая одну из вершин на 1 пиксель. Результаты оказались примерно такие же как у конкурентов.
В общем по результатам всей этой истории у меня осталось два выводы:
1) Нет большой разницы на каком из нормальных компиляторов писать, если не лениться.
2) Оптимизатор в фортране написан сошедшими на землю богами.
В нынешнем проекте мы последовательно вставляли в проект три разные готовые библиотеки твинеров. Пришлось в конечном счёте отказаться от всех трёх и запилить свою. Потому что либо баги, либо ограничения на возможности, которые вам не подходят либо кривая система колбэков, которые для одного из ваших элементов всё ломают. И так каждый раз.
Опять же, еспользовали стандартную C# библиотеку System.Linq — быстро выясняется, что она не работает под iOS. Заменяем её на UniLinq, выясняется, что .ToArray() и .Reverse().TakeWhile() у неё запредельно тормозят В результате вместо этих функций пишутся свои, работающие за осмысленное время.
И такая дребедень каждый раз. Каждый раз ты используешь готовое или даже стандартное решение и выясняется, что в нём баги, причём ловля их в чужом коде занимает в разы больше времени.
В вышке всё ещё учат, что инфляция зависит в основном от ставок рефинансирования. А значит ничего принципиально не изменилось. По специальности вышка чем была, тем и осталась. Хотите расширять кругозор — Какой-нибудь универтв и много других мест позволят вам узнать многое о мире самостоятельно.
Тяговооружённость — не только понты и шум, она ещё определяет и то, на сколько самолёт будет лоялен к ошибкам пилотирования и при нештатных ситуациях на взлёте и посадке. ВОпросы экономии топлива и удобства пассажиров как-то отступают на второй план, если вы видите, что у вас скорость ниже скорости отрыва, а запаса высоты 50 метров осталось.
Кстати, да, у японцев очень своеобразное представление о персонажах. Мы года Робинзонов портировали для Японии по настоянию местных пришлось персов перерисовывать. В результате Робинзон оказался без бороды и всего чуть старше подросткового возраста. Отзывы реально скакнули вверх.
Не в каменный, на уровень расцвета национальных государств, и донефтяного транспорта, то есть в конец 19-ого века. На конец предыдущего фазового перехода. Возможно, наши правнуки будут жить в мире победившего стимпанка и действующих машин Бебриджа, хотя, конечно, не хотелось бы.
ЭДЭ находка для любого, кто в начале навык ремонта взял. Берёшь его сразу же, в первой вылазке, и он прогрессирует вместе с тобой. Первые уровней 8, если совсем уж нагло не нарываться можно вообще не стрелять, или делать это только в исключительных случаях.
Я эпически лоханулся и перепутал планарию с нематодой. Как тут уже все в комментариях заметили, но комментирование у меня раз в день, так что поправиться не мог. Это тоже червяк, но совершенно другого типа. Если вгуглить «моделирование нервной системы нематоды» на вас выпадет куча ссылок, включая и тут на гиктаймсе.
На сколько я слышал потенциалы и знаки связей нейронов уже тоже промеряны, но не помогло. Новосибирцы пытались даже вместе с некоторой моделью тела червяка моделировать. Лично мне кажется наиболее обоснованной попыткой, но нобилевскими лауреатами тоже не стали. Замоделировать поведение увы не получается.
Рассчёт на то, что сеть сделает обобщения. Мало кто понимает как и какие обобщения сеть делает, но она их делает и это вселяет оптимизм. В тех кто не понимает как именно она их делает. Автор всего лишь показал это «как» людям, которые надеялись на магию.
Безусловно обучение на количестве картинок безнадёжно, но большинство людей ещё этого не понимают. Хотя казалось бы очевидно, если вы хотите чтобы сеть разделала кошек по поведению и окружению — предложите ей картинки на которых кошки отличаются в основном поведением и окружением. И вас уверяю, она научится понимать, что гепарды не сидят на деревьях, а леопарды в саванне. Но это ж трудоёмко, а уже размеченые базы картинок есть, давайте на них тренероваться. Результат как бы предсказуем.
И это не отменяет того факта, что у людей всё сильно сложнее, и ребёнок, даже если ему предъявляешь соответствующие примеры до определённого момента не делает из них выводов, пока не включается очередной шаг программы и он не начинает в этих примерах искать смысл. Можно предположить, что такая «программа развёртывания» нужна только для ускорение и упрощения, но и даже без неё результат предсказуем.
Во вконтактике на картинке сделана надпись «Планария удивлена прогрессом в области ИИ». Поржал. :))))
Планария известна среди исследователей ИИ как раз тем, что её малюсенькая нервная система была полностью картирована и сторонники теории коннектома самоуверенно заявляли, что они сейчас все эти нейрончики смоделируют и получится модель поведения червячки. Результат — оглушительное фиаско.
Теперь сторонники коннектома как самого важного в мозге выбивают миллиарды под проекты картирования и симуляции мозгов уже кошек и даже людей. Но планарию так до сих пор и не сумели осилить.
Комментарий о том, что лишний кислород сгорел куда-то не в атмосферу, а куда-то в совсем другое место, набрал почти столько же лайков сколько и коммент с научными данными о том же кислороде. И это всё. что нужно знать о демократии. :) Да и об аудитории Гитхаба заодно…
В красках представляю себе ситуацию. Очень интересно во сколько был взломан аккаунт или сколько готов выплатить Яндекс за сворачивание дискуссии. Хотя могли и просто судом за несанкционированный доступ пригрозить. :) Белое хакерство начинает и получает по зубам от чёрного корпоративного сектора. :)
Ну вот да, экспериментаторы массово игнорируют тот факт, что мозжечёк и спинной мозг консолидируют сигнал, и даже оборудованы другими типами нейронов, и пытаются ловить сигнал выше взяв эту функцию на себя. Довольно самонадеяно. Всё равно что у компа игнорировать порты ввода-вывода и пытаться украсть набираемый пароль непосредственно паля часть шины данных. В каких-то пределах разберётесь, конечно…
Гугл за три секунды подсказал: nt2.shu.ru:9500/natscien/psihogen/lectures/lecture02/text.asp
Дети любят качели — это наследие брахиации у приматов. Дети боятся темноты — наши предки были дневными животными, ночь для них была полна опасностей. Дети пугаются маски леопарда — два желтых горящих кружка с черными зрачками: это был один из самых опасных хищников.
Страшные образы в мультфильмах, сказках, в играх — это игровое узнавание хищников и других опасностей, проверка врожденных реакций на них. Если эти образы мы им не даем, они их сами придумывают.
Хотите более профильно — 1.5 миллиона ссылок вам в помощь.
Дело, конечно, в обучающей выборке. Но не только в ней. Возьмите типичную сеть и накормите её Обычными диванами. Вделите ключевые синапсы, принимающие участие в решении, ну или нейроны хотя бы. Потом возьмите сеть и предложите её кроме предыдущей последовательности ещё и повёрнутые диваны. После чего повторите выделение ключевых синапсов. Ставлю бутылку коньяка, что большая часть синапсов будет другая. То есть ваша сеть научится распознавать не разворот, а отдельно распознавать обычные диваны и отдельно развёрнутые. Не всегда, конечно. Можно в архитектуру сети заложить разворачивающую подсеть, но делать это придётся руками.
Это я к тому что у современных алгоритмов обучения крайне слабые возможности по формированию обобщений высокого уровня.
Кроме того, даже если вы предложите своей сети на вход мульён картинок диванов развёрнутых на самые резные углы Сеть может не справиться, с поиском ключевого признака развёрнутого дивана, потому как на вход сети данные поступают в крайне неудобной для анализа форме. Сеть, например, не может сама без учителя, пользуясь только рекурентными связями отцентровать картинку по приметному признаку, по ножке дивана, например. Задачу распознавания это сильно упрощает, и человеком делается двиганием глаза, эволюционно научившегося делать эту операцию легко.
Конечно, нейронная сеть, пользуясь только несколькими дополнительными слоями может научиться делать центровку самостоятельно используя только штатными возможностями, Но что-то мне подсказывает, что научить сеть этому будет посложнее, чем распознавать леопардов. И Желательно в отдельном учебном цикле с последующим трансфером.
Ну только не в сетчатке, конечно, а в колонках зрительной коры мозга, то есть, в самых первых слоях. Собственно сама концепция свёрточных сетей именно так и работает. Каждая свёртка это составляет как бы один из типов нейронов расположеных в колонке. То есть если из каждой свёртки взять по нейрону и поместить их в один блок как раз колонка как в мозге и получится.
Но у мозга начиная, если не ошибаюсь, сло я стретьего колонки заканчиваются, и начинается сложно организованная зрительная кора, к тому же наделённая обратной связью — двигающая глазное яблоко. А вот у подавляющего большинства свёрточных сетей Этой гораздо более хитрой системы нет.
Именно поэтому свёрточные сети очень хорошо справляются с тем, чем занмаются колонки — распознованием текстур и выделением границ, но почти неспособны к тому, что делает дальнейшая более сложно работающая кора — не могут развернуть картинку на 90 градусов или сказать где именно искажения в текстуре выдают на картинке руку или там ногу, к примеру.
В самом лучшем случае оптическая система светодиода позволит вам получить изображение собственно кристала светодиода — квадратик с тёмным пятнышком контактной площадки, довольно не маленького размера. Школьная линейная оптика подсказывает, что квадратик будет на столько же крупнее реального кисталла, на сколько пол дальше от оптической системы чем диод. Чёта я сильно сомневаюсь, что кошке такой квадратик будет как-то интересен кошке. даже если ставить 5-градусный диод и относить линзу от него на 5-10 см.
На земле бывали огромные периоды, когда кислорода было заметно больше. Содержание кислорода в воздухе жёстко лимитирует максимальные размеры насекомых, у которых система доставки кислорода в разные ткани довольно кривая. Так что если вам рассказывают про ископаемую стрекозу размером пол метра можно быть увереным, что содержание кислорода в атмосфере тогда было больше.
elementy.ru/images/news/the_largest_silurian_vertebrate_2_600.jpg
График например.
Правильнее будет сказать, что на земле такая растительность, которая подозрительно точно устроена чтобы не гореть при таком содержании кислорода. Причём не везде, в Австралии наоборот некоторые приспособилась к регулярным пожарам, и некоторые растения без пожара даже размножаться не могут.
У меня только один простой вопрос. В КАКОМ ЧАСОВОМ ПОЯСЕ? :)
Довольно быстро выяснилось, что рисование у C и Pascal шло с одинаковой скоростью, потому как использовало одну и ту же библиотеку egavga.bgi, Расчёты на С были примерно вдвое быстрее, за счёт разнообразных проверок на переполнение, которые в Паскале по умолчанию были включены, а в C по умолчанию выключены. Но это можно было исправить директивами компилятора. А вот с фортраном началось самое интересное:
Первый замер был про умножение на матрицу. Когда фортран показал результат в 10000 раз быстрее у нас закралось подозрение. Сначала мы пытались найти ошибку, но потом сдались. Дизасемблирование показало, что отимизатор смекнул, что результаты вычислений внутри цикла не используются и посчитал умножения и суммирования только один раз, для значения переменной цикла в последнем цикле.
Тогда вместо того чтобы внутри цикла делать просто умножения и сложения мы заставили его ещё и суммировать переменную цикла. Когда фортран показал результаты в 10000 раз быстрее, мы сразу полезли в дизасемблер и к величайшему нашему удивлению обнаружили, что фортран суммирование переменной цикла в цикле успешно заменил на формулу подсчёта арифметической прогрессии. Сказать, что мы были в шоке — ничего не сказать.
Следующие пол часа ушли на подбор такой формулы для замеров, в которой оптимизатор фортрана ничего не смог бы упростить. Задачка оказалось нетривиальной, потому что на глазах у удивлённых школьников фортран выносил общий множитель за скобку, заранее умножал друг на друга константы и делал ещё несколько не менее интеллектуальных операций потрясая наше воображение. Когда мы таки смогли его обмануть выяснилось, что по скорости он от C по скорости не отличается.
Когда мы заставили фортран нарисовать закрашенный треугольник 256 цветами, и он показал результаты ровно в 16 раз лучше egavga.bgi мы уже даже не удивились. В EGA было всего 16 цветов. Рисование цветом 17 было то же самое, что рисование цветом 1. Уж не знаю как Fortran77 дозрел до этой идеи, но он треугольник перерисовал только 16 раз разными цветами, и на этом покинул цикл. Пришлось каждый следующий треугольник рисовать сдвигая одну из вершин на 1 пиксель. Результаты оказались примерно такие же как у конкурентов.
В общем по результатам всей этой истории у меня осталось два выводы:
1) Нет большой разницы на каком из нормальных компиляторов писать, если не лениться.
2) Оптимизатор в фортране написан сошедшими на землю богами.
Опять же, еспользовали стандартную C# библиотеку System.Linq — быстро выясняется, что она не работает под iOS. Заменяем её на UniLinq, выясняется, что .ToArray() и .Reverse().TakeWhile() у неё запредельно тормозят В результате вместо этих функций пишутся свои, работающие за осмысленное время.
И такая дребедень каждый раз. Каждый раз ты используешь готовое или даже стандартное решение и выясняется, что в нём баги, причём ловля их в чужом коде занимает в разы больше времени.
На сколько я слышал потенциалы и знаки связей нейронов уже тоже промеряны, но не помогло. Новосибирцы пытались даже вместе с некоторой моделью тела червяка моделировать. Лично мне кажется наиболее обоснованной попыткой, но нобилевскими лауреатами тоже не стали. Замоделировать поведение увы не получается.
Безусловно обучение на количестве картинок безнадёжно, но большинство людей ещё этого не понимают. Хотя казалось бы очевидно, если вы хотите чтобы сеть разделала кошек по поведению и окружению — предложите ей картинки на которых кошки отличаются в основном поведением и окружением. И вас уверяю, она научится понимать, что гепарды не сидят на деревьях, а леопарды в саванне. Но это ж трудоёмко, а уже размеченые базы картинок есть, давайте на них тренероваться. Результат как бы предсказуем.
И это не отменяет того факта, что у людей всё сильно сложнее, и ребёнок, даже если ему предъявляешь соответствующие примеры до определённого момента не делает из них выводов, пока не включается очередной шаг программы и он не начинает в этих примерах искать смысл. Можно предположить, что такая «программа развёртывания» нужна только для ускорение и упрощения, но и даже без неё результат предсказуем.
Планария известна среди исследователей ИИ как раз тем, что её малюсенькая нервная система была полностью картирована и сторонники теории коннектома самоуверенно заявляли, что они сейчас все эти нейрончики смоделируют и получится модель поведения червячки. Результат — оглушительное фиаско.
Теперь сторонники коннектома как самого важного в мозге выбивают миллиарды под проекты картирования и симуляции мозгов уже кошек и даже людей. Но планарию так до сих пор и не сумели осилить.
nt2.shu.ru:9500/natscien/psihogen/lectures/lecture02/text.asp
Дети любят качели — это наследие брахиации у приматов. Дети боятся темноты — наши предки были дневными животными, ночь для них была полна опасностей. Дети пугаются маски леопарда — два желтых горящих кружка с черными зрачками: это был один из самых опасных хищников.
Страшные образы в мультфильмах, сказках, в играх — это игровое узнавание хищников и других опасностей, проверка врожденных реакций на них. Если эти образы мы им не даем, они их сами придумывают.
Хотите более профильно — 1.5 миллиона ссылок вам в помощь.
Это я к тому что у современных алгоритмов обучения крайне слабые возможности по формированию обобщений высокого уровня.
Кроме того, даже если вы предложите своей сети на вход мульён картинок диванов развёрнутых на самые резные углы Сеть может не справиться, с поиском ключевого признака развёрнутого дивана, потому как на вход сети данные поступают в крайне неудобной для анализа форме. Сеть, например, не может сама без учителя, пользуясь только рекурентными связями отцентровать картинку по приметному признаку, по ножке дивана, например. Задачу распознавания это сильно упрощает, и человеком делается двиганием глаза, эволюционно научившегося делать эту операцию легко.
Конечно, нейронная сеть, пользуясь только несколькими дополнительными слоями может научиться делать центровку самостоятельно используя только штатными возможностями, Но что-то мне подсказывает, что научить сеть этому будет посложнее, чем распознавать леопардов. И Желательно в отдельном учебном цикле с последующим трансфером.
Но у мозга начиная, если не ошибаюсь, сло я стретьего колонки заканчиваются, и начинается сложно организованная зрительная кора, к тому же наделённая обратной связью — двигающая глазное яблоко. А вот у подавляющего большинства свёрточных сетей Этой гораздо более хитрой системы нет.
Именно поэтому свёрточные сети очень хорошо справляются с тем, чем занмаются колонки — распознованием текстур и выделением границ, но почти неспособны к тому, что делает дальнейшая более сложно работающая кора — не могут развернуть картинку на 90 градусов или сказать где именно искажения в текстуре выдают на картинке руку или там ногу, к примеру.
elementy.ru/images/news/the_largest_silurian_vertebrate_2_600.jpg
График например.
Правильнее будет сказать, что на земле такая растительность, которая подозрительно точно устроена чтобы не гореть при таком содержании кислорода. Причём не везде, в Австралии наоборот некоторые приспособилась к регулярным пожарам, и некоторые растения без пожара даже размножаться не могут.