• Распознавание смысла — зачем это делать и какие подходы лежат в основе

      Небольшое введение



      image

      Sense Cognition — это инновационный стартап, основанный лишь в конце сентября 2013 года. Но в основе производимых разработок лежат более чем 15-летние исследования в области сильного искусственного интеллекта.

      В области распознавания делается все больше успехов, но, увы, компьютеры все еще не понимают что и зачем распознают.
      Сегодня уже, пожалуй, все, кто интересуется распознаванием образов слышал про «нейрон бабушки» и трудно найти человека в теме, который бы не знал про задачу обобщения и каких-то подходах к ее решению.

      В рамках данной статьи не предполагается рассматривать существующие подходы, а будет предложен лишь авторский подход.
      Читать дальше →
    • Как воссоздать изображение всего по нескольким пикселям

      • Перевод
      • Tutorial
      Эта статья дает возможность познакомиться с такой методикой получения и восстановления сигнала, как Compressive Sensing.

      image
      Множество всех возможных изображений 2 на 2 с цветами, закодированными одним битом

      Пространство изображений огромно, невероятно огромно, но при этом очень мало. Задумайтесь об этом на минуту. Из сетки размером всего 8 на 8 пикселей можно создать 18 446 744 073 709 551 616 различных чёрно-белых изображений. Однако из этих 18 квинтиллионов изображений очень немногие покажутся осмысленными человеческому взгляду. Большинство изображений, по сути, выглядит как QR-коды. Те, которые покажутся человеку осмысленными, принадлежат к тому множеству, которое я называю естественными изображениями. Они представляют крошечную долю пространства изображений 8 на 8. Если мы рассмотрим мегапиксельные изображения, то доля естественных изображений становится ещё меньше, почти ничтожной, однако содержит любое изображение, которое можно придумать. Так чем же эти естественные изображения так уникальны? И можем ли мы использовать эту фундаментальную разницу в собственных интересах?
      Читать дальше →
    • Детская сказка программисту на ночь

        Есть интересная тема, на первый взгляд мало относящаяся к алгоритмам. Она "сказочная" с одной стороны, а со стороны другой в ней есть созвучие с насущными проблемами начинающего свой профессиональный путь программиста.


        Репка - медаль

        Давайте попробуем разобраться и немного развлечься, рассматривая эти стороны древней алгоритмической медали...

        Читать дальше →
        • +13
        • 6,6k
        • 1
      • Сэмплирование Томпсона

        • Перевод

        Маленький Робот потерялся в торговом центре. С помощью обучения с подкреплением мы хотим помочь ему найти свою маму. Но прежде чем он начнёт её искать, ему нужно подзарядиться от набора розеток, каждая из которых даёт разное количество энергии.

        С помощью стратегий из задачи про многорукого бандита нам нужно найти лучшую розетку в кратчайшие сроки, чтобы Маленький Робот подзарядился и отправился в путь. Сэмплирование Томпсона — это один из самых сложных и интересных способов решения задачи «многорукого бандита».

        Читать далее
      • Математик-пенсионер, «хакнувший» лотерею


          Любитель головоломок


          Джеральд Селби всегда любил загадки: там, где другие видели лишь шум, он стремился найти порядок и гармонию. Работая на фабрике Kellogg's по производству овсяных хлопьев, он занимался анализом материалов для увеличения срока годности продукции. Однажды, изучая хлопья других компаний, Джерри наткнулся на странную последовательность символов на обороте коробки General Mills. Вместо даты и фабрики-производителя там был отпечатан загадочный код. Джерри решил расшифровать его: взяв несколько коробок завтраков Kellogg's и General Mills, он начал сравнивать их влажность, сообразив, что хлопья с примерно одинаковой влажностью должны иметь близкие даты производства. Делая записи на бумаге, он выявил некоторые закономерности. Вскоре ему удалось расшифровать всё, что позволило определить место, дату и время изготовления. В более агрессивной сфере бизнеса «взлом» секретов конкурентов мог бы обернуться огромной выгодой, но не в производстве овсяных хлопьев, поэтому руководство восприняло его открытие без энтузиазма.
          Читать дальше →
        • Обывательская реализация Искусственного Интеллекта

          Сразу сделаю отступление: я тот самый обыватель которому интересно и непонятно. Моя профессиональная деятельность связана с конструированием оборудования для нефтегазового комплекса. С нейронными сетями и машинным обучением сталкиваюсь только в научно-популярных статьях и роликах популяризаторов.

          Как выглядит для такого обывателя принцип, лежащий в основе Искусственного Интеллекта, я постарался описать в предыдущей статье. И продолжая раскрывать тему, мне бы хотелось поделиться самой моделью на основании которой писалась статья.

          Но прежде, необходимо оговорить ряд важных моментов:

          Первое с чем требуется определиться - какие данные будут поступать на вход модели. В моём случае, такими данными являются образцы рукописного текста, из наиболее простой базы, которую я смог найти. Базы данных MNIST, предложенной институтом стандартов и технологий США.

          Остальное ниже
        • Парадокс Ферми: где все инопланетяне?

          • Перевод

          Первая статья из серии, где подробно изучается известный «парадокс Ферми» — отсутствие видимых следов деятельности инопланетных цивилизаций, которые должны были бы расселиться по всей Вселенной за миллиарды лет её развития




          «Одна из основных тем, на которой мы сконцентрировались – это понятие экзистенциального риска, и представление о вероятности вымирания человечества», — писал Эндрю Снайдер-Битти в материале "Великий фильтр", опубликованном в журнале Ars Technica. Материал рассказывал об открытии экзопланеты Кеплер-186f, находящейся в "зоне обитаемости".

          "Великий фильтр" – это ответ на вопрос о том, почему мы до сих пор не увидели признаков деятельности инопланетных цивилизаций. «Великий фильтр» решает те же вопросы, что и уравнение Дрейка, определяющее вероятность связаться с внеземной цивилизацией, и парадокс Ферми, который спрашивает, а где все цивилизации.
          Читать дальше →
        • Алгоритм обучения нейронных сетей с помощью нового вида чисел

            Приветствую читатель. Когда я был ребёнком и учился в школе, моим любимым предметом была математика, любимым предметом она была из-за того, что я очень люблю решать задачи, в какой-то момент своей жизни я начал составлять сам для себя заведомо нерешаемые задачи и пытался их решить, по полной напрягая свой разум в продумывании подхода для решения нерешаемой задачи, иногда оказывалось, что нерешаемая задача только казалась таковой из-за упущения некоторых неочевидных моментов. Любовь к решению задач сильно повлияла на меня, из-за чего я у себя в голове постоянно решаю какие-либо задачи, не только математические, но и из других сфер. За жизнь у меня накопилось множество идей (решений), от 3d принтера печатающего сталью до способа решения проблемы утилизации радиоактивных отходов атомных электростанций. Наверняка многие идеи на самом деле не реализуемы, по тем или иным причинам, а некоторые наверняка были придуманы до меня, а я просто о них не знал (так уже бывало). В прошлой моей статье я упомянул (сам не знаю зачем) о том, что я придумал новый вид чисел с помощью которых можно обучать нейронные сети. Я хотел открыть сервис по обучению нейронных сетей с помощью этих чисел, но с учётом пандемии и моего плохого состояния здоровья, я подумал, что вдруг я реально первый кто додумался до этих чисел и будет крайне плохо если я умру и знания о этих числах уйдут со мной. Поэтому я и решил написать эту статью, в которой расскажу подробно о этих числах и как их использовать для обучения нейронных сетей. Сразу скажу, что я не прорабатывал все необходимые формулы для работы с такими числами, так как был занят своим языком программирования, это лишь идея, а не готовая реализация.

            Читать далее
          • DDR для головы, или как работает наша память.


                   Несколько лет назад зарубежные ученые в результате анализа результатов инструментальных исследований работы головного мозга создали новую модель работы человеческой памяти, с которой согласились большинство специалистов. Но языковый барьер стал преградой на пути распространения этой информации, и переводов и упоминаний об этом на русском практически нет.
                   Из этой модели следует, что термин «кратковременная память» является всего лишь удобной научной абстракцией, не имеющей физиологических эквивалентов.  Он признан устаревшим, а теория Миллера (1956) о ее емкости 7+\-2 элемента считается просто абстрактной теоретической моделью для удобного объяснения результатов  его экспериментов.
                    Новые исследования дали результаты,  позволившие создать модель для  ранее введенного термина  «рабочая память» - по аналогии с оперативной памятью компьютера.
              Читать дальше →
            • Ретроэлектричка «Яхрома» (ЭР2К-980) — перезапуск «Лыжной стрелы» 1972 года



                В Советском Союзе спорт был в почёте. В зимний день многие семьи предпочитали проводить время за городом, катаясь на беговых и горных лыжах. А добраться до мест катания им помогали специальные электрички – «Лыжные стрелы». В последние годы традиция стала возрождаться – появились похожие поезда для любителей прогулок по лесу в Ленинградской области, специальные электрички и поезда в Апатиты (Кировск), на Розу Хутор, в Чугунаш (Шерегеш), Губаху и другие горнолыжные курорты страны.

                В Москве восстановили и направление, и сам поезд — ретроэлектричку. Да-да, именно «ретро» – взяли старый состав и попытались восстановить атмосферу, царившую в советских поездах. Тут почти всё как в 80-х, включая меню, сахар и форму машиниста. Поедет поезд в Яхрому — это час с четвертью от Москвы, место, где можно на «Икарусе» доехать до одного из четырёх местных лыжных курортов. «Икарусы» тоже восстановили. При наличии билета на ретроэлектричку проезд в «Икарусах» бесплатный.

                Мы поучаствовали в технической обкатке этой ретроэлектрички из 8 вагонов (в боевой версии планируется уже 10) и поговорили с теми, кто этот поезд делал. А поговорить было о чём, потому что это на самом деле совсем даже не чудом сохранившийся «круглоголовый» поезд 1972 года, который ждал своего часа в Петербурге. Это реконструкция из нескольких поездов (часть вагонов доставали аж в Сибири) и элементов интерьера со всей страны.

                Читать дальше →
              • COVID-19. Выпадающее из объяснений

                • Перевод
                Волны, рябь и всплески.

                Давайте рассмотрим характерные особенности вспышки типового инфекционного заболевания. Согласно определению американского Центра по Контролю и Предотвращения Болезней (US CDC): [1]
                «Вспышка болезни из единого общего источника — это такая вспышка, при которой группа людей подвергается воздействию инфекционного агента или токсина из одного и того же источника. Если число случаев заболевания нанести на график с абсциссой по времени эпидемии, то получившаяся кривая имеет… обычно крутой подъем и менее резкий постепенный спуск (так называемое „логарифмически нормальное распределение“). Распространение и развитие вспышки заболевания происходит в результате передачи инфекции от одного человека к другому [обычно] при непосредственном контакте человека с человеком.. » Вспышки распространения обычно демонстрируют несколько пиков с интервалами в одну или две недели. Эпидемия в типовом случае затухает после нескольких подобных циклов.
                Читать дальше →
              • Выбираем лучшее приложение для заметок, ускорения производительности и управления задачами

                • Перевод
                Прошлую неделю я провёл в поиске приложения для заметок, которое было бы идеально для использования каждый день. После некоторого обширного исследования я нашёл на рынке множество хороших вариантов. Задача свелась к анализу различных параметров приложений, чтобы найти подходящее.

                Каждое приложение имеет свои недостатки и преимущества. Некоторые параметры, от которых зависит качество приложений, — это синхронизация в реальном времени, возможность совместной работы, поддержка Markdown, возможность писать быстро, поиск по тексту, аннотирование изображений, безопасность и приватность, небольшая стоимость и другие параметры. Присмотримся к 8 лучшим приложениям для заметок, которые помогут найти идеальное для вас решение.

                Приятного чтения
              • Электронная амеба и задача коммивояжера



                  Какой самый ценный ресурс на планете? Нефть, вода или может чистый воздух? Самый ценный ресурс, по мнению многих, это время. Его всегда не хватает, люди постоянно куда-то спешат, а любая деятельность так или иначе связана с временем: сколько баррелей нефти добывает одна нефтяная платформа в единицу времени, сколько клиентов обслуживает ресторан в единицу времени, сколько строк кода пишет программист в единицу времени и т.д. Правильное распределение задач по времени играет важную роль не только в промышленных или корпоративных масштабах, но и в быту. Мы всегда стараемся распределить свой день так, чтобы он прошел максимально эффективно и без лишних проблем. Можно сказать, что мы каждый день, сами того не подозревая, решаем свою собственную версию задачи коммивояжера. Ученые из университета Хоккайдо, вдохновившись одноклеточными амебами, решили создать аналоговый компьютер по их подобию, который может предложить самый эффективный метод решения знаменитой задачи комбинаторной оптимизации. Почему именно амебы стали вдохновителями этого труда, по какому принципу работала созданная система, и насколько эффективно она решала задачу коммивояжера? Об этом мы узнаем из доклада ученых. Поехали.
                  Читать дальше →
                  • +13
                  • 2,1k
                  • 3
                • Нейрофизиология осознанности: как медитация влияет на наш мозг (на этот раз по делу)

                    В этом году здесь уже была статья с таким названием, но по странной иронии она не раскрывала содержание своего заголовка. Я постараюсь это исправить, ведь сама тема интересная и полезная.

                    Есть так называемая практика осознанности, иногда полностью состоящая из наблюдения за своим дыханием, и есть множество положительных эффектов, которые с ней коррелируют — стрессоустойчивость, уменьшение тревожности, повышение обучаемости и другие, вплоть до полного прекращения страдания. Но почему это происходит? Как связано монотонное скучное внимание к дыханию c улучшением мозговой деятельности и почему именно это всё называется осознанностью (mindfulness)?
                    Читать дальше →
                  • Переобученные нейросети в дикой природе и у человека

                      Представьте, что вы проектируете птенца чайки. ТЗ такое — у него довольно плохое зрение, маленький мозг, но ему нужно как можно больше есть, а то сдохнет. Еду ему приносит мама-чайка. Основная задача — распознать маму-чайку и получить у неё еды. Во входной поток зрения поступает, скажем, 320х200 px, и дальше 10 сантиметров от глаза он не умеет фокусироваться. Природа решила так — надо разметить клюв чайки ярким оранжевым округлым пятном. Вот таким:



                      В ходе реверс-инжиниринга чайки в 1950-х Нико Тинберген провёл 2431 опыт с 503 птенцами (часть его коллега Рита Вейдманн высидела сама). Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки. Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.

                      Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе.

                      Если вы думаете, что мы с вами не забагованы, то ошибаетесь. У нас, людей, есть примерно такой же пример переобучения, хорошо известный анимешникам.
                      Читать дальше →
                    • Даже у роботов хаос в голове: учёные создали ИИ со “спонтанным” поведением

                        Вы идёте к автобусной остановке и понимаете, что забыли ключи. Вы внезапно разворачиваетесь и бежите домой. Такие спонтанные действия являются отличительными чертами поведения животных. Стремясь уловить суть человеческого мозга, робототехники пытались имитировать подобные действия. Это непростая задача. Но недавнее исследование японских учёных предлагает простой подход к овладению этим навыком, заставляя компьютеризированную нейронную сеть самопроизвольно переключаться между несколькими действиями с использованием алгоритмов, имитирующих управляемый хаос мозга животных.

                        image
                        Читать дальше →
                      • Реконструкция нейронных карт по данным электронной микроскопии с помощью глубокого обучения

                        • Перевод
                        Ручная многоракурсная стереореконструкция биологической нейронной сети занимает десятки тысяч часов. Специально к старту нового потока продвинутого курса «Machine Learning Pro + Deep Learning» делимся материалом, в котором рассказывается о том, как исследователи института Макса Планка значительно (от 10 до 25 раз) повысили эффективность работы с помощью искусственного интеллекта, об опровергающих некоторые предположения результатах исследования и о дальнейших планах исследователей. Ссылку на исходный код автоматизированного рабочего процесса вы найдёте внутри статьи.


                        Приятного чтения!
                        • +12
                        • 1,6k
                        • 1
                      • Всё, что вы хотели знать о перцептронах Розенблатта, но боялись спросить



                          Вы, наверно, знаете, что перцептрон Розенблатта, изобретённый в середине XX-го века, стал прообразом современных нейронных сетей. Однако многое из того, что известно нам о нём и его создателе, не соответствует действительности. В продолжение серии статей об историческом развитии искусственного интеллекта попробуем разобраться, что является искажением фактов в рассказах об одном из основоположников машинного обучения, и почему он — действительно важная фигура в истории ИИ.
                          Читать дальше →
                          • +15
                          • 3,8k
                          • 2
                        • Сверхэффективная нейронная сеть или гиперсеть



                            Что нужно чтобы создать искусственный интеллект? По какому пути идти до этой цели? Многие с уверенностью ответят, что научное сообщество уже полным ходом движется на этом пути. Что со следующими нейросетевыми моделями с еще большим количеством параметров, с еще более мощными нейроморфными компьютерами, и еще более масштабными датасетами на все случаи жизни, мы ворвёмся в эпоху мыслящих машин. На мой взгляд, это похоже на гонку за морковкой и скорее очевидным для всех такое положение дел станет тогда когда количество настраиваемых параметров в моделях, станет больше чем связей в человеческом мозгу, но ожидаемого эффекта не будет достигнуто.
                            В этой статья я обозначу путь выхода из порочного бега за морковкой, и расскажу о своём пути и наработках в своих исследованиях.
                            Читать дальше →
                          • Трехмерный движок в коде… ДНК

                            • Tutorial
                            UPD 29 ноября: Репозиторий с кодом ДНК выложен на GitHub.
                            github.com/pallada-92/dna-3d-engine

                            UPD 30 ноября:
                            В англоязычном твиттере заметили проект
                            Новость попала в топ-10 на HackerNews!






                            Меня всегда интересовало, на что может быть похоже программирование внутриклеточных процессов. Как выглядят переменные, условия и циклы? Как вообще можно управлять молекулами, которые просто свободно перемещаются в цитоплазме?

                            Ответ довольно неожиданный — lingua franca для моделирования сложных процессов в клетках является реакции вида
                            Эти реакции моделируются при помощи закона действующих масс, который одинаково работает и в химии, и в молекулярной биологии.

                            — Неужели при помощи этих примитивных реакций можно что-то программировать?
                            — Да, а то, что написано выше, вычисляет $B = \sqrt{A}$.

                            В этом пошаговом туториале мы вместе взорвем себе мозг, чтобы получить 10 таких реакций, которые производят рендер трехмерного куба.

                            Потом я расскажу, как полученные реакции скомпилировать в код ДНК, который можно синтезировать в лаборатории и (если очень повезет) получить трехмерный куб из двумерного массива пробирок.

                            Как обычно, я сделал веб-приложение с эмулятором таких реакций, в котором можно поупражняться в «реактивном» программировании. Вы сможете удивлять химиков способностью вычисления конечных концентраций в сложных системах реакций методом пристального взгляда.

                            Для понимания статьи никаких предварительных знаний не требуется, необходимые сведения из школьной программы по биологии мы повторим в начале статьи. Также мы разберем типичные паттерны, которые использует эволюция для достижения сложного поведения в живых клетках.
                            Читать дальше →