Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 99
Здесь вот что не ясно, как эта сеть, определила «что это кошка?» если в ее концепциях о мироздании не было самой идеи о кошке? Это как в случае с ребенком, пока ему не скажут что это нечто пушистое с лапками и ушками, называется кошка…
Я думаю, она просто может идентифицировать различные образы, то есть может из шума выделить лицо человека и кошки, и отнесет эти два образа к разным категориям. Разумеется, эта сеть не имеет ни малейшего понятия о том, что есть кошка, как она мяукает и что ест.
Да, примерно так и предполагал. А вообще, это все напоминает будущую «Алису» из 
Мне ближе Червь и Червь 2, авторства Александра Лазаревича.
technocosm.narod.ru/
technocosm.narod.ru/
Насколько я понял, сети целенаправленно скармливали разные кадры с ютуба, ставя перед ней задачу «классифицируй это как-нибудь». В результате сеть научилась распознавать кошек на кадрах. Это довольно странно — почему не людей? Чую, нам предстоит узнать много интересного не только о природе разума, но и о кошках.
на что, есть цитата
тынц
«Дело в том, что в процессе работы система не получала какой-либо помощи от человека в плане идентификации объектов. „
тынц
Вот это и странно. Почему именно кошки?
Может быть, она получала какую-то помощь в плане идентификации объектов от любимого кота разработчика проекта?
Может быть, она получала какую-то помощь в плане идентификации объектов от любимого кота разработчика проекта?
Для лица людей и силуэта тоже появились свои признаки. Подробности предлагаю читать в оригинальной статье: static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/unsupervised_icml2012.pdf
Скорее всего там алгоритм был направлен на выделение объектов с наиболее часто встречающимися признаками или что-то в таком духе. Видимо роликов про кошек очень много)
Кошка — всего лишь название категории объектов, ничего более. Заставь сеть классифицировать людей, кошек и собак — она отнесет их к трем разным категориям, пусть и называться они будут 0xfhac, 0x1cch и 0x99bh. Суть сети в классификации и выявлению закономерностей. А это вполне под силу современным сетям, пусть и с низким уровнем детализации.
Всё это полная фигня пока есть бесконечность пространства и отсутствие начала и конца времени. Даже гуголы нейронов не прольют ни капли света на действительно важные вещи.
Все это напоминает мне мем про ИИ пентагона, когда его учили распознавать танки противника по фотографиям в пустыне. В результате ИИ научился идеально распознавать… пустыню.
Интересное видео о нейронных сетях от Дмитрия Дзюбы с конференции TEDx. Рекомендую посмотреть.
Есть вероятность, что когда сделают правильный работающий ИИ, окажется, что мы не можем понять, о чём он сейчас думает и по каким правилам принимает решения.
А здесь пишут, что результаты пока неутешительные: система от Google научилась распознавать кота только в 15% случаев.
«Совсем другое дело, если у нас есть модель нейрона. Очень простая»
Модель, да, простая
А нейрон головного мозга это очень сложная вещь, на работу которой влияют различные нелинейности и даже квантовые эффекты, о воздействии которых мы можем только догадываться
Когда снимают энцефалограмму головного мозга, то ее показатели Ляпунова больше 0 — ~6-12
А это значит, что система сильно хаотична с точки зрения нелинейной динамики, соответственно мы можем более менее точно предсказать состояние системы на характерное время ~1/6, зная ТОЧНО начальное значение.
Но, так как на систему в целом влияют квантовые эффекты в основу которых положена случайность, то предсказать мы можем… ничего. И это одна из самых больших проблем. Ничтожно мало возмущение даст нам принципиально непредсказуемый результат.
Я думаю, что с развитием компьютеров, появятся системы, которые моделируют нервную систему животных и может даже человека
Но в этом смысле заменить мозг человека они не смогут. Как то так)
Модель, да, простая
А нейрон головного мозга это очень сложная вещь, на работу которой влияют различные нелинейности и даже квантовые эффекты, о воздействии которых мы можем только догадываться
Когда снимают энцефалограмму головного мозга, то ее показатели Ляпунова больше 0 — ~6-12
А это значит, что система сильно хаотична с точки зрения нелинейной динамики, соответственно мы можем более менее точно предсказать состояние системы на характерное время ~1/6, зная ТОЧНО начальное значение.
Но, так как на систему в целом влияют квантовые эффекты в основу которых положена случайность, то предсказать мы можем… ничего. И это одна из самых больших проблем. Ничтожно мало возмущение даст нам принципиально непредсказуемый результат.
Я думаю, что с развитием компьютеров, появятся системы, которые моделируют нервную систему животных и может даже человека
Но в этом смысле заменить мозг человека они не смогут. Как то так)
Создание подробных моделей сейчас, в будущем будет точкой, от которой можно начать создавать уже реальную систему с синтетическими нейронами. Некий blueprint. А что думаете о Blue Brain Project и подобных?
Я только радуюсь, когда появляются подобные проекты, так как они позволяют еще глубже изучить те процессы, что протекают в головном мозге.
Но проявляю долю скептиса по причинам озвученным мною в предыдущем посте
Кстати, что радует в результате таких амбициозных проектов появляются иногда целые разделы науки
как это было в свое время с егнитическими алгоритмами и нейронными сетями
Но проявляю долю скептиса по причинам озвученным мною в предыдущем посте
Кстати, что радует в результате таких амбициозных проектов появляются иногда целые разделы науки
как это было в свое время с егнитическими алгоритмами и нейронными сетями
Кстати, квантовые эффекты нейронов наверняка можно моделировать и на серверах. Исползовать обычный тру рандомайзер — один из сотрудников будет сидеть и безпристанно двигать мышкой.
Совсем другое дело, если у нас есть модель нейрона. Очень простая. Вот вход, вот выход, вот функция преобразования, вот функция самообучения. Дайте мне ресурсы на сто миллиардов таких, я повожусь с архитектурой и сделаю вам человечка.Отдельные нейроны достаточно хорошо исследованы, кроме, разве что, «функции самообучения». А главная проблема при строительстве искуственного мозга, на мой взгляд, в том, чтобы «повозиться с архитектурой».
Ресурсы, необходимые на синтез схемы из ста миллиардов нейронов, на много порядков превосходят те, что требуются для симуляции уже готовой схемы. Даже взять готовый
Нет, синтез — это процедурная операция, достаточно задать правила и запустить процесс. Симуляция же, не говоря уж о воссоздании, требует полностью описать систему, что значительно сложнее и вообще слабопредставимо на данный момент
Функция самообучения — самое интересное же.
Речь, на самом деле о том, что после того, как мы определили модель нейрона, решение основной задачи становится технически возможным. Понятно, что познание архитектуры мозга в любом случае потребует тысячи человеколет. Но те, кто будет эти человекогода тратить, будут знать, что задача решаема за полиномиальное время, то есть то, что рано или поздно они ее решат.
Речь, на самом деле о том, что после того, как мы определили модель нейрона, решение основной задачи становится технически возможным. Понятно, что познание архитектуры мозга в любом случае потребует тысячи человеколет. Но те, кто будет эти человекогода тратить, будут знать, что задача решаема за полиномиальное время, то есть то, что рано или поздно они ее решат.
Забавно, что вспомнили именно про кошек. У ИИ-специалистов есть страшная байка на ночь, что мало есть задач сложнее, чем научить машину отличать кошек и собак. В общем виде задача вообще, похоже, нерешаемая.
Что же до общего посыла, то у меня есть любимое определение ИИ: «Искусственный интеллект — это то, что ещё не сделано». В том смысле, что машины уже вполне, даже более, чем успешно справляются со многими задачами, доселе считавшимися исключительно интеллектуальными. Однако парадокс в том, что как только машины начинают с ними справляться, задача тут же перестаёт быть интеллектуальной. Отчасти, кстати, это присуще и биологическим открытиям: скажем, орудия тут же перестали признаком разума, когда обнаружилось, что ими пользуется масса животных, хотя до этого были столпом понятия разумности. Видимо, людям важнее сохранить свой уникальный статус разумных существ, чем действительно понять, что такое интеллект.
Впрочем, я тоже уверен, что любая система сопостовимой с мозгом сложности, получая сопоставимое количество информации на протяжении столь же долгого срока продемонстрирует нам многие черты «сильного ИИ». Это, вероятно, сильно изменит нашу жизнь, но в общественном сознании, боюсь, мало что изменит — просто концепция «сильного ИИ» опять поменяется, и он опять отодвинется в светлое будущее. Думаю, машины раньше получат равные юридические права с людьми, чем люди действительно поверят, что они равны интеллектуально.
Что же до общего посыла, то у меня есть любимое определение ИИ: «Искусственный интеллект — это то, что ещё не сделано». В том смысле, что машины уже вполне, даже более, чем успешно справляются со многими задачами, доселе считавшимися исключительно интеллектуальными. Однако парадокс в том, что как только машины начинают с ними справляться, задача тут же перестаёт быть интеллектуальной. Отчасти, кстати, это присуще и биологическим открытиям: скажем, орудия тут же перестали признаком разума, когда обнаружилось, что ими пользуется масса животных, хотя до этого были столпом понятия разумности. Видимо, людям важнее сохранить свой уникальный статус разумных существ, чем действительно понять, что такое интеллект.
Впрочем, я тоже уверен, что любая система сопостовимой с мозгом сложности, получая сопоставимое количество информации на протяжении столь же долгого срока продемонстрирует нам многие черты «сильного ИИ». Это, вероятно, сильно изменит нашу жизнь, но в общественном сознании, боюсь, мало что изменит — просто концепция «сильного ИИ» опять поменяется, и он опять отодвинется в светлое будущее. Думаю, машины раньше получат равные юридические права с людьми, чем люди действительно поверят, что они равны интеллектуально.
Поражает ваш оптимизм. Какая-то программа научилась распознавать кошек на ютюбе. И из этого следует, что искусственный интеллект не за горами?..
Лично я придерживаюсь мнения, что для познания некоей системы необходима система на порядок сложнее. В связи с этим разум работу самого себя не может познать в принципе. А во-вторых, программу можно написать какую угодно, но нельзя заставить компьютер что-то понять. Компьютер — устройство сложное, но устройство, и работает по программе, какие бы мы данные в него не запихивали.
Но это моё личное мнение. Верить во что угодно, например в то, что когда-нибудь появится по-настоящему искусственный интеллект, а не его имитация — это неотъемлемое право каждого.
Лично я придерживаюсь мнения, что для познания некоей системы необходима система на порядок сложнее. В связи с этим разум работу самого себя не может познать в принципе. А во-вторых, программу можно написать какую угодно, но нельзя заставить компьютер что-то понять. Компьютер — устройство сложное, но устройство, и работает по программе, какие бы мы данные в него не запихивали.
Но это моё личное мнение. Верить во что угодно, например в то, что когда-нибудь появится по-настоящему искусственный интеллект, а не его имитация — это неотъемлемое право каждого.
Вы так говорите «программа», будто это что-то заведомо более примитивное, чем физический объект реального мира. Возможно, сегодняшние программы еще не настолько сложны, как человеческий мозг. Однако для любого сколь угодно сложного объекта реального мира, в том числе и мозга, потенциально можно построить программируемую систему еще большей мощности так, что вся сложность моделируемого объекта будет в ней реализована программно. Никаких фундаментальных физических законов, которые бы запрещали подобное моделирование, не существует. Есть спекулятивная гипотеза Пенроуза о задействовании мозгом квантовых эффектов (ничем практически не подтвержденная), но и она всего лишь утверждает, что моделирующий мозг компьютер должен быть квантовым, а не что его построить невозможно.
Кроме того, вы сейчас отталкиваетесь от субъективных и весьма нечетких определений «познание» и «понимание». Человеческое познание — это прежде всего процесс сопоставления информации о каком-либо объекте реального мира с теми или иными уже известными человеку моделями. Процесс этот по сути дела бесконечный, поскольку таких моделей может быть сколько угодно. Но для того, чтобы функционально воспроизвести тот или иной объект, достаточно только такой модели, которая охватит все его релевантные свойства. Например, для воспроизведения музыкального произведения, неотличимого человеком от оригинала, достаточно его сэмплировать с определенной частотой и записать в виде единиц и нулей. «Познавать» его бесконечно с эстетических позиций для этого не нужно.
Что касается «понимания», это опять же вопрос определения: понимание бывает разным и на разных уровнях, процесс этот бесконечен, а нам нужна только та часть, которая относится к делу. Если робот устроен так, что ответ «понял» будет для нас достаточно надежным в плане взаимодействия с ним, нас это устроит, и философский вопрос «понял ли он это на самом деле» не будет иметь никакого практического смысла. Более того, он и для человека имеет смысл всегда относительно той или иной задачи. Определения истинного человеческого понимания по объективным критериям не существует, это просто удобная мыслительная модель, подходящая в одних случаях и дающая сбой в других. Так на каком основании нам требовать от компа то, чего и у нас не существует? Идеалистический, абсолютно совершенный интеллект — фикция. Интеллект — это динамическая, эволюционирующая система, время от времени совершающая ошибки и способная на них учиться. Но если эта система делает ошибки на порядки реже, чем мы (например, при вождении автомобиля), то этого уже достаточно, чтобы говорить о ее превосходстве в конкретной сфере, и ничего позорного для нас в этом нет.
Кроме того, вы сейчас отталкиваетесь от субъективных и весьма нечетких определений «познание» и «понимание». Человеческое познание — это прежде всего процесс сопоставления информации о каком-либо объекте реального мира с теми или иными уже известными человеку моделями. Процесс этот по сути дела бесконечный, поскольку таких моделей может быть сколько угодно. Но для того, чтобы функционально воспроизвести тот или иной объект, достаточно только такой модели, которая охватит все его релевантные свойства. Например, для воспроизведения музыкального произведения, неотличимого человеком от оригинала, достаточно его сэмплировать с определенной частотой и записать в виде единиц и нулей. «Познавать» его бесконечно с эстетических позиций для этого не нужно.
Что касается «понимания», это опять же вопрос определения: понимание бывает разным и на разных уровнях, процесс этот бесконечен, а нам нужна только та часть, которая относится к делу. Если робот устроен так, что ответ «понял» будет для нас достаточно надежным в плане взаимодействия с ним, нас это устроит, и философский вопрос «понял ли он это на самом деле» не будет иметь никакого практического смысла. Более того, он и для человека имеет смысл всегда относительно той или иной задачи. Определения истинного человеческого понимания по объективным критериям не существует, это просто удобная мыслительная модель, подходящая в одних случаях и дающая сбой в других. Так на каком основании нам требовать от компа то, чего и у нас не существует? Идеалистический, абсолютно совершенный интеллект — фикция. Интеллект — это динамическая, эволюционирующая система, время от времени совершающая ошибки и способная на них учиться. Но если эта система делает ошибки на порядки реже, чем мы (например, при вождении автомобиля), то этого уже достаточно, чтобы говорить о ее превосходстве в конкретной сфере, и ничего позорного для нас в этом нет.
Все эти рассуждения хорошо выстроены, но я боюсь, что спорить о возможности сделать искусственный интеллект — всё равно, что спорить о религии или международной политике. Никто ничего наверняка сказать не может, спорить о том, во что ты веришь — бессмысленно, по-моему.
Поскольку никто на сегодняшний день не может чётко сказать, что есть разум, и что есть интеллект — все разговоры об искусственном интеллекте не имеют смысла. Нельзя сделать то, в чём не разбираешься.
Лет через 50 посмотрим с вами, если доживём, насколько впечатляющих успехов достигнут программы. Сейчас о чём спорить?..
Ни о каком позоре я не думал. Я не считаю позором, что компьютер меня в шахматы может обыграть. Считать компьютеры могут гораздо быстрее, и что с того. Автомобиль быстрее человека двигается, но это машина.
Я не оспариваю, что у программ богатый потенциал. Мне не нравится, когда что-то называют не своим именем. ИИ — это просто красивое словосочетание, постоянно проговаривая которое, человек привыкает к нему и начинает относиться как к чему-то, что само собой разумеется. На деле никаких искусственных интеллектов нет. Есть имитации интеллекта, так их было бы правильнее назвать. Имитации интеллектуальной деятельности.
Поскольку никто на сегодняшний день не может чётко сказать, что есть разум, и что есть интеллект — все разговоры об искусственном интеллекте не имеют смысла. Нельзя сделать то, в чём не разбираешься.
Лет через 50 посмотрим с вами, если доживём, насколько впечатляющих успехов достигнут программы. Сейчас о чём спорить?..
Ни о каком позоре я не думал. Я не считаю позором, что компьютер меня в шахматы может обыграть. Считать компьютеры могут гораздо быстрее, и что с того. Автомобиль быстрее человека двигается, но это машина.
Я не оспариваю, что у программ богатый потенциал. Мне не нравится, когда что-то называют не своим именем. ИИ — это просто красивое словосочетание, постоянно проговаривая которое, человек привыкает к нему и начинает относиться как к чему-то, что само собой разумеется. На деле никаких искусственных интеллектов нет. Есть имитации интеллекта, так их было бы правильнее назвать. Имитации интеллектуальной деятельности.
Может быть, Вы это «откровение» еще и подкрепите точным и всеобъемлющим определением сущности интеллекта, хотя бы естественного, и укажете объективно, где именно имитация, а где интеллект?:)
ИИ — это общепринятый термин для отрасли компьютерной науки, разрабатывающей сложные системы для решения задач, которые до этого мог решать только человек или даже он решал их плохо. И в таком использовании термина есть своя логика, поскольку интеллект — это процесс моделирования интеллектуальным агентом реального мира и своего поведения в нем, а не нечто заданное раз и навсегда. Интеллект постоянно эволюционирует, равно как и наука о его моделировании. Лично я скорее придерживаюсь идеи Курцвейла об эволюции интеграции человеческого интеллекта с машинным, т. е. по сути сам процесс разработки ИИ делает наш ЕИ еще мощнее и грань между ними все больше размывается.
ИИ — это общепринятый термин для отрасли компьютерной науки, разрабатывающей сложные системы для решения задач, которые до этого мог решать только человек или даже он решал их плохо. И в таком использовании термина есть своя логика, поскольку интеллект — это процесс моделирования интеллектуальным агентом реального мира и своего поведения в нем, а не нечто заданное раз и навсегда. Интеллект постоянно эволюционирует, равно как и наука о его моделировании. Лично я скорее придерживаюсь идеи Курцвейла об эволюции интеграции человеческого интеллекта с машинным, т. е. по сути сам процесс разработки ИИ делает наш ЕИ еще мощнее и грань между ними все больше размывается.
Для начала вам необходимо подкрепить вашу уверенность в том, что программа может превзойти интеллект. Для этого всего-то надо определить, что есть «интеллект», и написать такую программу. Желаю удачи.
Для начала Вам необходимо перестать троллить. Разработка ИИ идет своим чередом, и с каждым годом искусственные интеллектуальные системы получают все новые возможности, которые раньше были присущи только человеку. Дальше этот процесс будет только ускоряться с той важной особенностью, что система «человек + ИИ» по определению будет иметь больше возможностей, чем просто человек или просто ИИ, по той причине, что человеческий интеллект сам находится в процессе эволюции и развитие ИИ подстегнет ее еще больше.
А троллить — это высказывать мнение, отличное от вашего?
Извините, но я имею такое же право на своё мнение, как и вы.
Вы верите, что возможно создать искусственный интеллект, и основываете это на экстраполяции прогресса, достигнутого к данному моменту.
Я же рассуждаю по-другому, только и всего, в этом нет ничего крамольного…
Извините, но я имею такое же право на своё мнение, как и вы.
Вы верите, что возможно создать искусственный интеллект, и основываете это на экстраполяции прогресса, достигнутого к данному моменту.
Я же рассуждаю по-другому, только и всего, в этом нет ничего крамольного…
Троллинг не в том, что высказывается, а в том, как. У Вас почему-то в каждом комменте речь идет о какой-то «вере». Верованию в науке места нет. Я допускаю возможность построения сильного ИИ, поскольку она ничем не противоречит всему тому, что мы на данный момент знаем. Вы же почему-то пытаетесь критиковать это, требуя доказательств уже сейчас. Доказательства будут, когда сильный ИИ будет создан, и отсутствие доказательств не означает отсутствия прогресса в его создании. Эволюции не нужен целостный замысел с самого начала: когда протообезьяны эволюционировали в обезьян, они понятия не имели, что когда-нибудь появится человек. В данном случае речь идет о потенциальной возможности создания сильного ИИ через 30-50 лет на основании того, что тренды развития ИТ идут к возможности моделирования объектов такого уровня сложности, который сопоставим с реальным человеческим мозгом для моделирования его сначала нейрон за нейроном, а еще через пару десятков лет и атом за атомом. Это не говоря уже о других подходах к созданию ИИ (кроме моделирования действующих живых образцов).
> Поскольку никто на сегодняшний день не может чётко сказать, что есть разум, и что есть интеллект — все разговоры об искусственном интеллекте не имеют смысла. Нельзя сделать то, в чём не разбираешься.
Лет через 50 посмотрим с вами, если доживём, насколько впечатляющих успехов достигнут программы. Сейчас о чём спорить?..
Чтобы программы достигли успехов, их нужно кому-то создавать. И как-то я замечаю, что среди разработчиков ИИ вроде сабжа и других нетривиальных решений, отличающихся от кодинга сайтов и прочей рутины, как-то больше ИИ-оптимистов — без шапкозакидательства, но с осторожными прогнозами, что через 30-50 лет мы в принципе можем достигнуть в ИИ человеческого уровня и превзойти его.
Собственно, это касается любой технологии. Оптимизм, подкрепленный знаниями, даже при наличии в них ошибок рано или поздно приведет к более быстрому их исправлению и достижению больших результатов, чем базирующийся на этих ошибках и общем несовершенстве скепсис. Какой-нибудь Пол Аллен может сколько угодно разглагольствовать о возрастающей неконтролируемой сложности ПО, но почему-то такое ПО выходит как раз из его Майкрософта, а более качественные интеллектуальные решения — из Google и других представителей технооптимистического (про-сингулярного) лагеря.
Лет через 50 посмотрим с вами, если доживём, насколько впечатляющих успехов достигнут программы. Сейчас о чём спорить?..
Чтобы программы достигли успехов, их нужно кому-то создавать. И как-то я замечаю, что среди разработчиков ИИ вроде сабжа и других нетривиальных решений, отличающихся от кодинга сайтов и прочей рутины, как-то больше ИИ-оптимистов — без шапкозакидательства, но с осторожными прогнозами, что через 30-50 лет мы в принципе можем достигнуть в ИИ человеческого уровня и превзойти его.
Собственно, это касается любой технологии. Оптимизм, подкрепленный знаниями, даже при наличии в них ошибок рано или поздно приведет к более быстрому их исправлению и достижению больших результатов, чем базирующийся на этих ошибках и общем несовершенстве скепсис. Какой-нибудь Пол Аллен может сколько угодно разглагольствовать о возрастающей неконтролируемой сложности ПО, но почему-то такое ПО выходит как раз из его Майкрософта, а более качественные интеллектуальные решения — из Google и других представителей технооптимистического (про-сингулярного) лагеря.
Насколько я знаю в сфере ИИ всё сильнее становится мнение, что создание настоящего искусственного интеллекта, как бы не были неопределенны слова «интеллект» и «настоящий» — невозможно алгоритмически. Любой алгоритм будет всего лишь эмуляцией, где точность этой эмуляции будет прямо пропорционально зависима от сложности алгоритма. При сложности алгоритма стремящейся к бесконечности, точность тоже будет стремится к бесконечности, хотя, конечно, на практике поведение такого алгоритма будет невозможно отличить от человеческого куда раньше.
Но это все равно будет только эмуляция, которая будет только следовать изначальному алгоритму.
Впрочем, да, никто не может сказать как устроен человек и не является ли человек точно такой же «эмуляцией» и что вообще такое этот интеллект. По этой причине теоретизирование о том, возможен ли искусственный интеллект или не возможен — не имеет смысла.
Но это все равно будет только эмуляция, которая будет только следовать изначальному алгоритму.
Впрочем, да, никто не может сказать как устроен человек и не является ли человек точно такой же «эмуляцией» и что вообще такое этот интеллект. По этой причине теоретизирование о том, возможен ли искусственный интеллект или не возможен — не имеет смысла.
Про это совсем недавно была статья: Алгоритмическая неразрешимость – это не препятствие для алгоритмического ИИ.
Насчет «все сильнее становится мнение» — никакого подобного эффекта среди людей, которые занимаются ИИ, в настоящее время не замечаю. Был всплеск ИИ-скепсиса еще во второй половине прошлого века по стандартной схеме хайпа-антихайпа, из-за первоначальных необоснованных прогнозов на 5-10 лет, вызванных новизной самой темы. После этого где-то чуть ли не до 00-х тянулся застой, когда повылезали пенроузы с китайскими комнатами (там логическая ошибка в самом определении). Сегодня ИИ-скепсис могут реплицировать разве что неспециалисты, напуганные перспективами скайнета и т. п. х. и рассуждающие с использованием аргументов про «душу», произвольные определения «человека» и «машины» и т. п. Среди наиболее известных специалистов же преобладают умеренно-оптимистические оценки «возможно, лет через 30-40». Вот еще видео от 3d6 по теме: habrahabr.ru/post/146197/
Насчет «все сильнее становится мнение» — никакого подобного эффекта среди людей, которые занимаются ИИ, в настоящее время не замечаю. Был всплеск ИИ-скепсиса еще во второй половине прошлого века по стандартной схеме хайпа-антихайпа, из-за первоначальных необоснованных прогнозов на 5-10 лет, вызванных новизной самой темы. После этого где-то чуть ли не до 00-х тянулся застой, когда повылезали пенроузы с китайскими комнатами (там логическая ошибка в самом определении). Сегодня ИИ-скепсис могут реплицировать разве что неспециалисты, напуганные перспективами скайнета и т. п. х. и рассуждающие с использованием аргументов про «душу», произвольные определения «человека» и «машины» и т. п. Среди наиболее известных специалистов же преобладают умеренно-оптимистические оценки «возможно, лет через 30-40». Вот еще видео от 3d6 по теме: habrahabr.ru/post/146197/
Я ничего не говорил про ИИ-скепсис. ИИ практически наверняка возможен и будет реализован. Просто для этого, вероятно, нужна другая архитектура.
А насчет 30-40 лет… Есть хорошая цитата насчет этого:
А насчет 30-40 лет… Есть хорошая цитата насчет этого:
Как-то руководителя английской термоядерной программы лауреата Нобелевской премии Джона Кокрофта спросили, когда термоядерный реактор даст промышленный ток. Крокрофт ответил: «Через 20 лет». Это же вопрос ему задали через 7 лет. Ответ был прежним: «Через 20 лет». Журналисты не преминули припомнить Кокрофту его слова семилетней давности, но невозмутимы англичанин отрезал: «Вы видите, я не меняю своей точки зрения».
Термояд — известная и давняя тема. Но процесс разработки термояда отличается от процесса разработки технологий, необходимых для создания ИИ, тем, что последние самоускоряются. Для начала можно оценить, через сколько лет мощности суперкомпьютера, а через сколько — обычного компьютера будет достаточно для моделирования такого-то количества нейронов с такой-то точностью. То есть, 30-40 лет это моделирование «в лоб» именно такого интеллекта, который похож на человеческий. Но поскольку это будет означать и дальнейшее повышение точности исследований реального мозга, и увеличение их сложности с каждым из предыдущих, более слабых этапов, то по ходу дела мы наверняка подберемся к интеллекту и с другой стороны.
А кто сказал, что для создания ИИ нужно его познание? Человечество как-то создаёт постоянно ЕИ, толком не сознавая что оно собственно создаёт. А во-вторых, что значит «понять»? Простейшая программа заставляет компьютер понимать, что если А=2 и A=B, то B = 2.
В том-то и дело, компьютер понимает, что он сравнивает числа, не более, чем телега понимает, что она едет в Астрахань.
Уж точно более. У телеги от приезда в Астрахань внутреннее состояние не изменяется, а у компьютера, скажем, устанавливается Z-флаг. И основной вопрос что значит «понять»? Как вы определяете понимает что-то субъект (человек, животное, компьютер — не суть) или нет?
Я никак не могу определить, что значит «понять», и никто не может, в этом вся засада. Интеллект — это свойство человека понимать что-либо. Пока кто-то не даст чёткого, непротиворечивого определения понятий «интеллект» и «понимать», нельзя вести разговоры об искусственном интеллекте! Это выдача желаемого за действительное.
Пока вы пытаетесь тут дать определения понятиям, люди разрабатывают решения, которые работают. И между делом еще и анализируют, почему подобные вашим требования нерелевантны, и как стоит ставить задачи вместо этого — на каждом следующем этапе.
Поддерживаю Вас, коллега!
А можно вести речи об естественном интеллекте, не давая его чёткого, непротиворечивого определения? По-вашему выходит, что нельзя, и говорить о наличии интеллекта у человека — это выдавать желаемое за действительное :)
Именно так и есть. Вести речь об интеллекте, не давая его чёткого и непротиворечивого определения — абсолютно бессмысленно. Мы просто не знаем, что такое «разум» и «интеллект». И да, говорить с уверенностью, что человек обладает этими качествами — нельзя, так как, напомню, мы понятия не имеем что это за качества.
Чёткое и непротиворечивое определение чего угодно дать, имхо, в принципе невозможно без каких-то атомарных понятий, определения которым давать не нужно. Это «что угодно» можно назвать, но нельзя определить не скатываясь в рекурсию или не привязываясь к реально существующим объектам и их отношениям.
Субъективно (субъект — всё человечество) наше поведение отличается от поведения других животных, причины этих отличий назвали разумом (если оставаться в рамках материализма), одну из них — интеллектом, стараясь (не всегда удачно) отделить от других проявлений разума. Более-менее формализовав названия различных проявлений разума (то есть попытавшись дать им чёткие однозначные определения) заметили их проявления у животных, что как бы должно говорить о некорректности терминов, но решили их оставить. И такая нечёткая формулировка свойственна не только таким возможно непознаваемым в принципе вещам как разум и интеллект, но и как бы более ощущаемых. Например, нам в детстве проводят линию карандашом на бумаге и говорят «это прямая линия», потом ещё одну и говорят «это тоже», и ещё, и ещё, и ещё до тех пор пока мы не выделим общие свойства всех прямых линий. А потом нам объясняют, что это не прямая линия на самом деле, а её отрезок конечной длины, а потом что прямой линии в принципе не существует, это абстракция, а нарисованный отрезок это лишь неточная имплементация этой абстракции, для некоторых задач практически полезная, а для некоторых уводящая в сторону от решения.
Субъективно (субъект — всё человечество) наше поведение отличается от поведения других животных, причины этих отличий назвали разумом (если оставаться в рамках материализма), одну из них — интеллектом, стараясь (не всегда удачно) отделить от других проявлений разума. Более-менее формализовав названия различных проявлений разума (то есть попытавшись дать им чёткие однозначные определения) заметили их проявления у животных, что как бы должно говорить о некорректности терминов, но решили их оставить. И такая нечёткая формулировка свойственна не только таким возможно непознаваемым в принципе вещам как разум и интеллект, но и как бы более ощущаемых. Например, нам в детстве проводят линию карандашом на бумаге и говорят «это прямая линия», потом ещё одну и говорят «это тоже», и ещё, и ещё, и ещё до тех пор пока мы не выделим общие свойства всех прямых линий. А потом нам объясняют, что это не прямая линия на самом деле, а её отрезок конечной длины, а потом что прямой линии в принципе не существует, это абстракция, а нарисованный отрезок это лишь неточная имплементация этой абстракции, для некоторых задач практически полезная, а для некоторых уводящая в сторону от решения.
Не без «каких-то» атомарных понятий, а без аксиоматики. Теорию множеств помните? Так, в общем то, работает любая научная теория. Принимается набор базовых аксиом на основе которых строится система, даются определения и так далее.
Проблема с разумом и интеллектом в том, что мы не просто не можем дать четкого определения. Мы просто не понимаем что это вообще такое, хотя бы на чисто умозрительном уровне. Например точной уверенности, что наше поведение вообще чем то отличается от животных, а не является просто экстенсивным развитием — нет. А если отличается — то в чем именно? И как? И почему? Ответить на эти вопросы, пока мы не знаем как работаем мы и как животные — можно только очень очень неточно и с большой вероятностью ошибки.
Кстати дать чёткое и непротиворечивое определение прямой линии не так уж сложно.
Проблема с разумом и интеллектом в том, что мы не просто не можем дать четкого определения. Мы просто не понимаем что это вообще такое, хотя бы на чисто умозрительном уровне. Например точной уверенности, что наше поведение вообще чем то отличается от животных, а не является просто экстенсивным развитием — нет. А если отличается — то в чем именно? И как? И почему? Ответить на эти вопросы, пока мы не знаем как работаем мы и как животные — можно только очень очень неточно и с большой вероятностью ошибки.
Кстати дать чёткое и непротиворечивое определение прямой линии не так уж сложно.
Аксиоматику нужно как-то выразить (дайте чёткое и непротиворечивое определение прямой, понятное человеку выросшему в полной изоляции, не знающего ни одного языка). Средствами языка (любого, естественного, искусственного типа ЯП или языка математики) нельзя, имхо, выразить все его понятия, нужны какие-то априорные знания, понимание соответствия между своими ощущениями и терминами языка, не случайно в букварях или учебниках языков используются визуальные образы.
Далее, история показывает, что ответы на вопросы «как», «почему» и т. п. вовсе не обязательны для практического применения. Скажем, не имея понятия о ядерных реакциях в недрах звёзд, ньютоновской и эйнштейновский механике, можно прогнозировать их наблюдаемое поведение, ориентироваться по ним, измерять промежутки времени и т. п. Не понимая почему звезды ведут себя так или иначе, и что это такое вообще можно их использовать, главное понять закономерности между своими ощущениями.
Возвращаясь к компьютерам, по-моему, совсем необязательно чтобы компьютер понимал равенство двух чисел как понимаем его мы, ориентируясь, прежде всего, на зрительные образы. Он может понимать их ориентируясь на свои «ощущения», ту же установку Z-флага, а когда он сможет спрогнозировать как флаг установится при сравнении двух чисел, не выполняя их фактического сравнения, то мы можем сказать что он понял что такое равенство, может не до конца, может в теории абсолютно неверно (как абсолютно неверна ньютоновская механика), но практически применимо, с вероятностью большей 50%, грубо говоря.
Далее, история показывает, что ответы на вопросы «как», «почему» и т. п. вовсе не обязательны для практического применения. Скажем, не имея понятия о ядерных реакциях в недрах звёзд, ньютоновской и эйнштейновский механике, можно прогнозировать их наблюдаемое поведение, ориентироваться по ним, измерять промежутки времени и т. п. Не понимая почему звезды ведут себя так или иначе, и что это такое вообще можно их использовать, главное понять закономерности между своими ощущениями.
Возвращаясь к компьютерам, по-моему, совсем необязательно чтобы компьютер понимал равенство двух чисел как понимаем его мы, ориентируясь, прежде всего, на зрительные образы. Он может понимать их ориентируясь на свои «ощущения», ту же установку Z-флага, а когда он сможет спрогнозировать как флаг установится при сравнении двух чисел, не выполняя их фактического сравнения, то мы можем сказать что он понял что такое равенство, может не до конца, может в теории абсолютно неверно (как абсолютно неверна ньютоновская механика), но практически применимо, с вероятностью большей 50%, грубо говоря.
Мне иногда кажется, что я непроизвольно перехожу на другой язык при письме.
Вроде бы я всё описал просто.
Попробую ещё раз.
Мы принимаем, что у человека есть интеллект. Что это и как работает — неизвестно, но оно есть.
Потом мы пишем программу на компьютере. И называем её «искусственный интеллект», тем самым сразу заявляя, что эта программа — такой же интеллект, только сделанный искусственно. Как синтетическое машинное масло или ткань.
Потом мы привыкаем называть программы «ии», и в результате у нас вырабатывается знак равенства между программой, которая эмулирует некоторые аспекты интеллекта и интеллектом человека. Что неверно в корне.
Dixi.
Вроде бы я всё описал просто.
Попробую ещё раз.
Мы принимаем, что у человека есть интеллект. Что это и как работает — неизвестно, но оно есть.
Потом мы пишем программу на компьютере. И называем её «искусственный интеллект», тем самым сразу заявляя, что эта программа — такой же интеллект, только сделанный искусственно. Как синтетическое машинное масло или ткань.
Потом мы привыкаем называть программы «ии», и в результате у нас вырабатывается знак равенства между программой, которая эмулирует некоторые аспекты интеллекта и интеллектом человека. Что неверно в корне.
Dixi.
тем самым сразу заявляя, что эта программа — такой же интеллект, только сделанный искусственно.
Вот с эти в корне не согласен. Зачастую слово «искусственный» означает не только и не столько «происхождение», сколько общность лишь по некоторым практически значимым свойствам, но не полную идентичность. Какие-то свойства могут быть хуже, какие-то лучше, иногда слово «искусственный» становится необязательным в речи и естественность и натуральность подчеркивается отдельно. Сравните «алмаз» и «каучук». А иногда важными становятся свойства у естественных «оригиналов» отсутствующие в принципе — «спутник» давно воспринимается как космический аппарат, несущий полезную нагрузку, прежде всего, а не нечто просто обращающееся по орбите вокруг небесного тела.
В общем под искусственным интеллектом я имею в виду программу (девайс, программно-аппаратный комплекс), у которой есть нечто общее с человеческим интеллектом, но не заведомо ему идентичное. Полная эмуляция человеческого интеллекта это лишь подзадача создания ИИ вообще, причём не самая важная практически. Как близкий ИИ пример — робототехника: деньги вкладываются и вкладывались прежде всего не в андроидов, а в другие типы конструкций с человеком мало чего имеющие общего, и не потому что андроиды слишком уж так сложны или непонятны, просто не стоит такая задача, вернее её решение было лишь побочным эффектом развития робототехники, как (теле)управляемых или полуавтономных аппаратов, вообще.
Вот с эти в корне не согласен. Зачастую слово «искусственный» означает не только и не столько «происхождение», сколько общность лишь по некоторым практически значимым свойствам, но не полную идентичность. Какие-то свойства могут быть хуже, какие-то лучше, иногда слово «искусственный» становится необязательным в речи и естественность и натуральность подчеркивается отдельно. Сравните «алмаз» и «каучук». А иногда важными становятся свойства у естественных «оригиналов» отсутствующие в принципе — «спутник» давно воспринимается как космический аппарат, несущий полезную нагрузку, прежде всего, а не нечто просто обращающееся по орбите вокруг небесного тела.
В общем под искусственным интеллектом я имею в виду программу (девайс, программно-аппаратный комплекс), у которой есть нечто общее с человеческим интеллектом, но не заведомо ему идентичное. Полная эмуляция человеческого интеллекта это лишь подзадача создания ИИ вообще, причём не самая важная практически. Как близкий ИИ пример — робототехника: деньги вкладываются и вкладывались прежде всего не в андроидов, а в другие типы конструкций с человеком мало чего имеющие общего, и не потому что андроиды слишком уж так сложны или непонятны, просто не стоит такая задача, вернее её решение было лишь побочным эффектом развития робототехники, как (теле)управляемых или полуавтономных аппаратов, вообще.
www.youtube.com/watch?v=qZCQu4xlFRA
Мое личное мнение: возможно удастся создать «мыслящую» систему, которая будет распознавать все что потребуется (что человек в состоянии распознать) и, может быть, проходить тест Тьюринга, но сознанием обладать не будет. Т.е. не получится создать «наблюдателя», получится очень продвинутый самообучающийся компьютер/система.
Мое личное мнение: возможно удастся создать «мыслящую» систему, которая будет распознавать все что потребуется (что человек в состоянии распознать) и, может быть, проходить тест Тьюринга, но сознанием обладать не будет. Т.е. не получится создать «наблюдателя», получится очень продвинутый самообучающийся компьютер/система.
Гм, ну да. Наш разум приводят в движение инстинкты. Разум — инструмент машины для выживания (генов), а не самостоятельный независимый субъект.
Разум — да. Что приводит «в наблюдение» «наблюдателя»?
Инстинкты? Да нет, вообще-то.
А чем человек не продвинутая самообучающаяся система? Что вы имеете в виду под «наблюдателем»?
Словом «наблюдатель» я назвал тот факт что мы:
1) осознаем сами себя
2) осознаем внешний мир
3) осознаем процесс осознавания
Сложно подбирать слова (я не философ, терминов не знаю) чтобы описать это снаружи, да и зачем, когда все и так знают это изнутри. Я думаю, у вас не возникает сомнений в том что вы наблюдаете этот мир и наблюдаете себя. Думаю что это, а также, свобода воли есть нечто нематериальное. Т.е. опять же можно сказать душа или дух. То что получает те самые результаты обработки, проделанные миллиардами нейронов. Я не утверждаю что мозг лишь приемник, а все мыслительные функции находятся вне головы, но начальная и конечная точка мыслительных процессов (физиология сюда не входит, т.е. мысли «кушать», «какать», т.п. имеют чисто материальную природу) это и есть душа/дух. Нейронная сеть образует информационное пространство в котором мы оперируем.
1) осознаем сами себя
2) осознаем внешний мир
3) осознаем процесс осознавания
Сложно подбирать слова (я не философ, терминов не знаю) чтобы описать это снаружи, да и зачем, когда все и так знают это изнутри. Я думаю, у вас не возникает сомнений в том что вы наблюдаете этот мир и наблюдаете себя. Думаю что это, а также, свобода воли есть нечто нематериальное. Т.е. опять же можно сказать душа или дух. То что получает те самые результаты обработки, проделанные миллиардами нейронов. Я не утверждаю что мозг лишь приемник, а все мыслительные функции находятся вне головы, но начальная и конечная точка мыслительных процессов (физиология сюда не входит, т.е. мысли «кушать», «какать», т.п. имеют чисто материальную природу) это и есть душа/дух. Нейронная сеть образует информационное пространство в котором мы оперируем.
Берите, воспитывайте. Только не говорите, что не слышали о таких опытах.
Не знаю, читал ли автор «об интеллетке» Джеффа Хокинса, но в этой книге автор резко отсекает нейронные сети от того, чем является новая кора головного мозга.
Но даже если будет создана искусственная модель новой коры (естественная же существует — мы с Вами), то как же быть с тем, что у нас есть осознание себя и своих чувств.
Где в этой новой системе или где в нас с вами заключено осознание. Что это вообще такое?
А Вы, господин автор, говорите, что «немоделируемая душа» не нужна…
Что же это как ни она?
Но даже если будет создана искусственная модель новой коры (естественная же существует — мы с Вами), то как же быть с тем, что у нас есть осознание себя и своих чувств.
Где в этой новой системе или где в нас с вами заключено осознание. Что это вообще такое?
А Вы, господин автор, говорите, что «немоделируемая душа» не нужна…
Что же это как ни она?
Вы сейчас пытаетесь играть терминами.
Если будет достаточно точная модель новой коры, чтобы вести себя как человеческая, то в ней на каком-то уровне автоматически будет смоделировано и то свойство, которое мы привыкли называть «душой». «Немоделируема» она разве что по отдельности, вне контекста, равно как и чистая информация всегда находится на каком-либо носителе, но это совсем не значит, что ее невозможно переносить с одного типа носителя на другой, или для такого переноса/копирования нужно понимать смысл этой информации с точки зрения человека. Достаточно воспроизвести то представление, в котором она уже находится и о котором мы уже знаем, как его переносить: файл по битам, а мозг — максимум по атомам, а может быть и еще проще.
Если будет достаточно точная модель новой коры, чтобы вести себя как человеческая, то в ней на каком-то уровне автоматически будет смоделировано и то свойство, которое мы привыкли называть «душой». «Немоделируема» она разве что по отдельности, вне контекста, равно как и чистая информация всегда находится на каком-либо носителе, но это совсем не значит, что ее невозможно переносить с одного типа носителя на другой, или для такого переноса/копирования нужно понимать смысл этой информации с точки зрения человека. Достаточно воспроизвести то представление, в котором она уже находится и о котором мы уже знаем, как его переносить: файл по битам, а мозг — максимум по атомам, а может быть и еще проще.
Я пытаюсь объяснить то, что я думаю и ощущаю. Не более того. Был бы я схоластом, я бы затеял холвар про Китайскую крмнату))
>> привыкли называть «душой»
а Вы как ее ощущаете сами? Как вы понимаете себя.
>> информация всегда находится на каком-либо носителе,
Верно замечено: информация мертва. «Живы» лишь машины, которые программируются информацией, материализованной в ее носителе.
Но вы ведь не наделите автоматический датчик температуры душой.
Или, все-таки придется это сделать?
>> привыкли называть «душой»
а Вы как ее ощущаете сами? Как вы понимаете себя.
>> информация всегда находится на каком-либо носителе,
Верно замечено: информация мертва. «Живы» лишь машины, которые программируются информацией, материализованной в ее носителе.
Но вы ведь не наделите автоматический датчик температуры душой.
Или, все-таки придется это сделать?
В философии сознания есть такая идея, которую называют computational theory of mind. Суть ее состоит в том, что сознание является эмерджентным свойством процессов обработки информации, происходящих в нашем мозге. С этой точки зрения если что-то ведет себя как сознающее себя существо и обладает соответствующими свойствами (саморефлексия итд ), то оно обладает сознанием. Т.е. философских зомби не существует. К примеру, так утверждает тот же Деннет.
Интересно, но непознаваемо закрытому сознанию…
Все же мозг, как механизм, веренее всего поддерживает как сознательное, так и бессознательное…
Бессознательное это то, что обеспечивает мое существование, то что вечно прогнозирует, само лишь обучаясь на данных от органов чувств.
Вот такую машину сделал Гугль.
А вот чтобы Кластер вдруг решил написать стихи о напряженной работе по поиску кота на youtube… Поведенчески он может себя так проявить. Но изнутри-то он сам с собой внутренним голосом говорить не бует и не будет слушать свой внутренний голос…
Все же мозг, как механизм, веренее всего поддерживает как сознательное, так и бессознательное…
Бессознательное это то, что обеспечивает мое существование, то что вечно прогнозирует, само лишь обучаясь на данных от органов чувств.
Вот такую машину сделал Гугль.
А вот чтобы Кластер вдруг решил написать стихи о напряженной работе по поиску кота на youtube… Поведенчески он может себя так проявить. Но изнутри-то он сам с собой внутренним голосом говорить не бует и не будет слушать свой внутренний голос…
О нет, если Кластер решит вдруг написать стихи, то внутренний голос совершенно точно будет иметь место. Вы никогда не изучали состояния программ в оперативной памяти в процессе их работы?
Теоризировать можно долго на эту тему. В отличие от многих других идей, эту вполне вероятно смогут проверить в следующие 20-30 лет. И я таки думаю, что кто-нибудь проверит =) Вот что из этого выйдет и будет ли это вообще возможно сделать в ближайшем будущем покажет время.
Хокинс никогда не критиковал саму идею нейрона, и обьединения нейронов, он критиковал лишь относительно примитивную архитектуру многослойного персептрона, утверждая, что если мы будем на этом замыкаться, то дальше никуда не продвинемся. Насколько лучше его идея колонок и слоев, покажет только время.
Недавно попадался на глаза ещё советский учебный фильм.
Микрофотосъёмка нейронов «в жизни».
Жуть как интересно. Они оказывается не сидят на месте отращивая связи, они «ходят», «ищут друзей», «ощупывают друг дружку» синапсами. Вообще больше похожи на бактерий, чем на «свои клетки».
«Свои клетки» — обслуживающий персонал, их на порядок больше, просто обеспечивают нейроны питанием.
Микрофотосъёмка нейронов «в жизни».
Жуть как интересно. Они оказывается не сидят на месте отращивая связи, они «ходят», «ищут друзей», «ощупывают друг дружку» синапсами. Вообще больше похожи на бактерий, чем на «свои клетки».
«Свои клетки» — обслуживающий персонал, их на порядок больше, просто обеспечивают нейроны питанием.
Поделитесь, пожалуйста, ссылкой))!
Кстати, Вы читали про то, кто такие Ксел-Нага во вселенной Starcraft )?
Кстати, Вы читали про то, кто такие Ксел-Нага во вселенной Starcraft )?
Кстати, это очень интересно. Кто?
Заинтересовало про жизнь нейронов.
Нагуглил ссылочку m.youtube.com/watch?v=PyTLGpvI1K0
Нагуглил ссылочку m.youtube.com/watch?v=PyTLGpvI1K0
Непременно поделитесь ссылкой. Я всегда думал, что нейрон это что-то типа блогера такое — сидит около холодильника на унитазе клеток снабжения и утилизации отходов, растопырив щупальца до других нейронов, слушает их и иногда в жжшечку пишет посылает сигнал до тех, кто слушает его, или зафрендито когоновое щупальце отрастит, или старое втянет. Не знал, что он еще и ползать могут)
Разумная жжешечка? O_o Упаси боже!
Что-то типа этого www.youtube.com/watch?v=PyTLGpvI1K0&feature=player_detailpage#t=191s
А «ползают», кстати вообще все клетки в организме.
Когда вы поранитесь, то в заживающей ранке до 50% клеток не «вновь народившиеся», а «переползшие»
Когда вы поранитесь, то в заживающей ранке до 50% клеток не «вновь народившиеся», а «переползшие»
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Количество рождает качество?