Распознавание паттернов в любом наборе данных

    У людей есть прирождённая способность находить закономерности в массивах информации. В любом на первый взгляд бессмысленном наборе цифр, слов, действий или людей мы способны найти какую-то систему или даже создать (выдумать) её. Феномен автоматического формирования иерархий и других паттернов в обществе хорошо известен социологам. Как наш мозг делает это — до конца непонятно, вот почему мы до сих пор не можем создать компьютерные системы, которые обладали такими же универсальными способностями по анализу данных. Напротив, каждую систему дата-майнинга приходится программировать на поиск определённого, чётко описанного вида паттернов.

    Специалисты по когнитивным наукам и психологии из Массачусетского технологического института заявляют, что они впервые в мире создали универсальный инструмент такого рода. Их программа способна распознавать абсолютно любые закономерности тем же способом, как это делает человеческий мозг. На входе она получает абсолютно любой поток неструктурированных данных, после чего выдаёт, какая конструкция наиболее подходит для организации этих данных — иерархия, линейный порядок, дерево, кластер или что-то ещё.

    Вся наша жизнь и вся природа основана на чётких классификациях: начиная от периодической системы химических элементов и заканчивая деревом эволюции и социальными сетями. Поэтому ИИ обязательно должен научиться работать с такими объектами.

    Получив набор данных, программа структурирует их тем способом, который наиболее подходит для данного случая. Именно так подходит к решению наш мозг: мы держим в уме все возможные паттерны и сравниваем их с набором цифр перед глазами. Собственно, такие способности являются одним из главных мерил при прохождении тестов на интеллект.

    Результаты исследований MIT опубликованы в последнем номере журнала Proceedings of the National Academy of Science. Эта разработка может стать фундаментом для набора специализированных систем, которые будут работать в одной связке и распознавать паттерны любого вида, образуя ядро систем искусственного интеллекта нового поколения.
    Поддержать автора
    Поделиться публикацией

    Комментарии 40

      +4
      Это называется Data Mining.
      Имхо, очереднная утка. Закономерности в данных можно искать до бесконечности. Например, система может выдать, что каждый миллионный байт потока за исключением предпоследнего — чётный. Другой вопрос — нужны ли нам такие закономерности? Система должна обладать интеллектом чтобы отсеять явные «мусорные» закономерности. Для этого и нужен человек.
        0
        Почитал то, что они пишут у себя на сайте. Может, я плохо читал, но пока о самом Data Mining там ничего особо не пишут. Их система, как я понял, умеет приглядываться к неструктурированным текстам и определять структуру удобного представления/хранения данных из этих текстов. Про семантический анализ массачусетские прохвессоры пока молчат =)
      • НЛО прилетело и опубликовало эту надпись здесь
        • НЛО прилетело и опубликовало эту надпись здесь
            0
            Я полагаю что речь идет о данных, изначально удобных для восприятия этим софтом. Капчу хоть и можно отнести сюда, но мне кажется что это как бы мета уровень информации. То есть, софт искал бы закономерности в последовательностях пикселей, но никак не тог что они из себя представляют. Для этого и проводятся настройки майнинг систем. Да зачем далеко ходить — мы сами читать умеем отнюдь не с рождения. Несмотря на всю мощь мозга, неграмотный человек сможет лишь найти графически похожие элементы. Взять те же иероглифы к примеру…
          0
          Правильно сконструированная нейронная сеть легко решает задачи классификации и выявление паттернов. Этот факт, кстати, уже давно известен и вовсю эксплуатируется.
            +1
            А факт, что любую искуственную нейронку надо обучить классификации на примере предъявления достоверных объектов, от вас ускользнул? :)

            МИТ заявил что он создал нейронку без учителя. А на самом деле просто в саму нейронку имплантировал критерии выделения всего лишь четырех организаций данных — иерархия, линейный порядок, дерево, кластер. Найти другой вид организации данных, отличный от этих четырех, ей известных, эта нейронка не способна.
              0
              Нейронные сети без учителя тоже были давно созданы, и давно применяются в задачах классификации/кластеризации. Вообщем, довольно непонятно, что же такого революционного они там создали.
                  0
                  ART-1, ART-2, неокогнитрон…
                  С другой стороны, должен признать, инс Кохонена до сих пор весьма сильный инструмент. Сам сейчас работаю над одной штучкой, которая будет искать «похожести» в подаваемых данных — картинках или музыке, например.
                    0
                    Если Вам интересно могу посоветовать очень неплохой курс по нейронным сетям, который преподается в моем институте. Может быть найдете для себя что-то новое.

                    А тут лежат дополнения к matlab, в которых реализованы сети Хемминга, Хопфилда и карты Кохонена.
                  0
                  А внутре у ней нейронка! :)
                0
                кстати для любой последовательности чисел можно найти алгоритм (формулу последовательности)
                • НЛО прилетело и опубликовало эту надпись здесь
                    +1
                    а єтот как оставил? :)
                    • НЛО прилетело и опубликовало эту надпись здесь
                        0
                        Нажимаешь обновить и пробуешь еще раз.
                        • НЛО прилетело и опубликовало эту надпись здесь
                    +3
                    Вспомнил фильм «Игры разума». Математик такие паттерны находил, что диву даешься.
                    Мы все ближе к открытию ящика Пандоры во многих отраслях науки. Что будет завтра?
                    Не скушает ли искусственный интеллект человечество на завтрак новой кибер-эры? Хочется верить, что нет.
                      +1
                      Не успеет. БАК раньше.
                      • НЛО прилетело и опубликовало эту надпись здесь
                        +2
                        Отечественные разработки впереди — существует сложная технология, позволяющая из набора эмпирических данных получать знания ( в виде, близком к онтологиям предметной области). Причем она уже не на зачаточном уровне, а уже вполне успешно применяется в бизнесе и производстве. Это не совсем то, но к искусственному интеллекту несравнимо ближе.
                          +7
                          А можно поподробнее?
                            +1
                            Целый пост не напишу, скажу вкратце. Эта технология названа «Метод системных реконструкций». И к нейронным сетям она не имеет ни малейшего отношения.
                            Метод построен на достижениях науки под названиям «cистемология», близкой к синергетике (почитать можно труды Дж.Клира — основателя этого направления). Главная ее задача — поиск общих закономерностей самоорганизации систем, например эволюции. На самом деле, там используется несколько технологий, среди них есть data mining, автоматическое онтологическое моделирование и др.

                            Этой штукой сильно заинтересовались американцы, а также одна контора, о которой можно часто услышать в разговоре о социальных сетях (: Технологию кстати будут использовать для анализа преступности в России.
                              +1
                              Анализ преступности? В итоге может получится как в «Особом мнении», да? Будущее здесь.
                                +1
                                вполне возможно, но надеюсь это произойдет не в самом ближайшем будущем и не столько радикально
                                  0
                                  Я так понял, что это целый комплекс, куда как отдельная подсистема входит система data mining?
                                  Если так, то data mining, опирающийся на использование онтологий, автоматическое онтологическое моделирование и т.д. не будут развиваться так быстро, как хотелось бы. Пока нет инструментария для автоматического пополнения этих самых онтологий. Составить приемлемую таксономию для 100 понятий вручную еще можно. А если их на порядок-другой больше? =)

                                  Но всё равно, по мне, так для построения механизма анализа и принятия решений такая технология по потенциалу превосходит голые нейронные сети.
                                    0
                                    На самом деле там не совсем онтологии, а система хранения знаний немного на них похожая. В том-то все и дело, что они составляются не вручную. Люди участвуют только при формализации входных данных(обычно структурированный набор чисел) и при переводе выходных на язык предметной области.
                                    Даже примерно не представляю себе как это реализовано. И, будучи немного в теме инженерии знаний, счел бы это уткой, если бы не знал о практическом применении и о научном признании метода.
                          +1
                          Наверное, тут как раз и имеется в виду нейронная сеть. Нейронная сеть позволяет из набора эмпирических данных получать знания. Нейронная сеть является разделом искусственного интеллекта. Нейронные сеть используется в бизнесе и производстве.

                          И, кстати, отечественные разработки в плане нейронных сетей ничем таким особенным перед западным похвастаться не могут — все как и везде.
                            0
                            Скорее всего Вы правы, это нейронная сеть, причем построенная на так называемом персептроне Розенблатта, с которого собственно и начали изучать распознавание образов.
                            0
                            Напомнило фильм «Игры разума» — где математик искал паттерн в зашифрованном послании
                              0
                              Круто! Идея понятная, но жалко, что подробности только в журнале, да ещё и амерканском… (
                                  0
                                  Требуется комментарий Левенчука :)
                                    0
                                    Проблема такого софта — это сложность так сказать «задать нужный вопрос/запрос»
                                    Считается, что любой алгоритм сможет справиться с задачей рассортировать информацию, но вот как: это задача )
                                    Я тестил одну программу, делющую срезы по определенным массивам данных. Выдает потрясающие результаты.
                                    Но стоимость софта пока заоблачная для простых аналит.агенств (от 70000 евро).

                                    Мне очень хотелось бы увидеть нечто подобное, только в виде гибрида с SEO-ботом. Чтобы работала в сети, как бы в real time

                                    Найти паттерн в структуре снежинок — это действительно уже киберпанк.
                                      +2
                                      Ответ: 42
                                        0
                                        Ну если быть точным, то снежинка это шестисторонний паттерн =) или 12, если обобщенный.
                                        Только он не способен объяснить все снежинки, т.к. показывает лишь паттерн кристализации воды.
                                      +1
                                      > Вся наша жизнь и вся природа основана на чётких классификациях:

                                      А еще много классификаций нечетких, нечетких правил и логик. Не надо так уж прямолинейничать.
                                        +4
                                        при небольшом гуглении обнаруживается страничка этого исследователя
                                        www.psy.cmu.edu/~ckemp/
                                        и собственно сама публикация
                                        www.psy.cmu.edu/~ckemp/papers/kempt08.pdf
                                        Там же можно и скачать пробные данные и прогу которая делает классификацию

                                        при поверхностном чтении я понял что ничего революционно нового товарищи не придумали:
                                        Here, we present a computational model that learns structures of many different forms and that discovers which form is best for a given dataset.
                                        The model makes probabilistic inferences over a space of graph grammars representing trees, linear orders, multidimensional
                                        spaces, rings, dominance hierarchies, cliques, and other forms and successfully discovers the underlying structure of a variety of physical, biological, and social domains.

                                        Т.е. в кратце, они применяют несколько моделей к входным данным и находят ту, которая лучше подходит. революция отменяется
                                          0
                                          На проверку окажеться регекспом :)

                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                          Самое читаемое