Комментарии 36
Статья вроде не переводная, но автор пишет «я бы отобразил данный процесс в следующей диаграмме», а диаграмма — на английском. Но материал на вид авторский — так как оно?
Просто интересно было бы почитать побольше, и, если текст все же переводный, то знать бы исходник.
Просто интересно было бы почитать побольше, и, если текст все же переводный, то знать бы исходник.
И свертку-развёртку изображений свёрточные сети делают без проблем.
Вы не могли бы пояснить, что именно вы называете свёрткой и — что особенно интересно — «развёрткой» изображения?..
На примерах.
Свёртка
«Развёртка»
Свёртка
«Развёртка»
То есть речь о конволюции.
А зачем вы отметили, что CNN делает свёртку без проблем? Это же элементарная операция, которая вообще не требует никаких нейросетей. Какие там могут быть проблемы? Почему в статье оно стоит в одном ряду с распознаванием изображений?
А зачем вы отметили, что CNN делает свёртку без проблем? Это же элементарная операция, которая вообще не требует никаких нейросетей. Какие там могут быть проблемы? Почему в статье оно стоит в одном ряду с распознаванием изображений?
Я не про достижения и не про проблемы.
Я про то, что дальше обработки изображений дело не идёт.
А можно пойти дальше и научиться совершать действия над моделями изображений подобно тому, как можно соединять диаграммы в VISIO и других графических редакторах.
Тогда можно выйти на принципиально иной уровень работы с изображениями.
Близкому к тому, что делает человек.
Я про то, что дальше обработки изображений дело не идёт.
А можно пойти дальше и научиться совершать действия над моделями изображений подобно тому, как можно соединять диаграммы в VISIO и других графических редакторах.
Тогда можно выйти на принципиально иной уровень работы с изображениями.
Близкому к тому, что делает человек.
Есть генетические алгоритмы, до сих пор помню на Хабре была статья, как механические часы такими алгоритмами конструировали. В среде дата-саентистов они (ГА) не особо в почете (хотя про них есть и в «Верхновном алгоритме»:)).
Но я о другом хочу написать.
Если бы вы ознакомились с методами обработки текста, вы бы удивились. Сейчас весьма распространена обработка через embeddings (на русский не буду пытаться перевести — вдруг ошибусь).
Эти методы умеют работать с контекстом. На первом (сентябрь 2018) из DataFest Сибирь, дата саентист из Яндекс.Такси рассказывал о том, что эмбеддинги можно не только в тексты бахать, а историю заказов, историю действий в приложении и т.п.
Ближе к сути — нейросетки умеют векторизовывать (последовательные) входные данные — для этого и нужны эмбеддинги. Векторное пространство — очень хорошая штука, там всё складывается, домножается на скаляры, базисы есть (правда не очень интепретируются человечно они, эти оси), расстояния можно определять.
И сходные по смыслу (текста или любой серии объектов) исходные примеры трансформируются в близкие друг к другу вектора (doc2vec, word2vec, glove...). Ну и неклассическое/классические «математика — мужчина + женщина = ?» (? ~ наука, нейросети после обучения на википедии говорят), «король — мужчина + женщина = королева». От векторов уже учат классификаторы (и регрессоры тоже).
Сверточные же сети могут сворачивать инфу в вектор (массив чисел) и обратно в изображение, но тут исходные фичи не обладают свойствами векторного пространства.
Теперь переходя к диаграммам. Диаграммы — это тоже язык. Визуальный. Любую диаграмму можно изложить текстом, историей, нарративом. UML так вообще имеет четкие стандарты, как и BPMN какой или ARIS, IDEF и т.п. Есть и нейросетки которые генерят тексты к картинкам… все правда упирается в разметку датасетов (ну так всегда в машинном обучении). Иероглифы — вообще сплошные диаграммы.
Возьмите python + keras, спарсите википедию: текст (фичи) -> иллюстрация (таргет), обучите. Потом сетка вам на любой текст будет картинки рисовать :)
Потратить придется правда ресурсов как небольшая майнинг-биржа. Но как-то так. Я знаю что не ответил на вопрос соединения диаграмм как в VISIO. Ответ примерной такой — векторизуйте две диаграммы, сложите, и получите ответ.
Но я о другом хочу написать.
Если бы вы ознакомились с методами обработки текста, вы бы удивились. Сейчас весьма распространена обработка через embeddings (на русский не буду пытаться перевести — вдруг ошибусь).
Эти методы умеют работать с контекстом. На первом (сентябрь 2018) из DataFest Сибирь, дата саентист из Яндекс.Такси рассказывал о том, что эмбеддинги можно не только в тексты бахать, а историю заказов, историю действий в приложении и т.п.
Ближе к сути — нейросетки умеют векторизовывать (последовательные) входные данные — для этого и нужны эмбеддинги. Векторное пространство — очень хорошая штука, там всё складывается, домножается на скаляры, базисы есть (правда не очень интепретируются человечно они, эти оси), расстояния можно определять.
И сходные по смыслу (текста или любой серии объектов) исходные примеры трансформируются в близкие друг к другу вектора (doc2vec, word2vec, glove...). Ну и неклассическое/классические «математика — мужчина + женщина = ?» (? ~ наука, нейросети после обучения на википедии говорят), «король — мужчина + женщина = королева». От векторов уже учат классификаторы (и регрессоры тоже).
Сверточные же сети могут сворачивать инфу в вектор (массив чисел) и обратно в изображение, но тут исходные фичи не обладают свойствами векторного пространства.
Теперь переходя к диаграммам. Диаграммы — это тоже язык. Визуальный. Любую диаграмму можно изложить текстом, историей, нарративом. UML так вообще имеет четкие стандарты, как и BPMN какой или ARIS, IDEF и т.п. Есть и нейросетки которые генерят тексты к картинкам… все правда упирается в разметку датасетов (ну так всегда в машинном обучении). Иероглифы — вообще сплошные диаграммы.
Возьмите python + keras, спарсите википедию: текст (фичи) -> иллюстрация (таргет), обучите. Потом сетка вам на любой текст будет картинки рисовать :)
Потратить придется правда ресурсов как небольшая майнинг-биржа. Но как-то так. Я знаю что не ответил на вопрос соединения диаграмм как в VISIO. Ответ примерной такой — векторизуйте две диаграммы, сложите, и получите ответ.
Итак, мы увидели процесс мышления в его инженерном, изобретательском ключе по шагам.
На самом деле нет, не увидели. Подлодки изобретались не так (первые подводные сооружения были вообще не для войны), никаких подтверждений, что это реальный процесс мышления, в статье не представлено.
никаких подтверждений, что это реальный процесс мышления, в статье не представлено
А вы можете представить реальный процесс мышления? Как пример.
Есть гипотеза, что реальный процесс мышления происходит не словами. Моменты осознавания и когда приходят идеи — уж точно не словесны.
Как я вижу свой процесс мышления (взгляд изнутри может быть крайне не точным, это просто для примера).
- Блин, лодка не защищена. Хорошо, давайте просто броню навести ещё больше. И нужны орудия более скорострельные.
Так, секунду, есть правило не хвататься за первое решение, надо ещё. Тогда спрятаться. Ну лодку мы не закрасим, дурацкая идея, точно надо орудия мощнее. А ещё можно совсем не воевать. Ладно, опять не туда. Надо что-то с лодкой придумать. Можно топить вражеские лодки издалека. Ну точно, орудия. Или снизу, скрытным плавцом. Он притащит взрывчатку и отплывет (в голове картинка взрывающегося врага). Сразу же картинка, что он не доплывет, ему нужно что-то с воздухом, тут картинка с подводной коробкой для поиска затонувших драгоценностей и идея, что к этой коробке надо добавить двигатель и подводные орудия.
Вот только это описание, как я бы придумывал. А вот придумал бы я на самом деле или нет — вопрос крайне спорный.
А приличной математической модели у меня нет. Насколько я понимаю, её вообще нет. Если вы работаете над таковой — это хорошо, но работа должна на что-то опираться. На реальные наблюдения за группой людей, например. Опять же вопрос, что наблюдать. Их собственные рассуждения об их процессе мышления?
Спасибо за мысленный эксперимент. Может быть вы бы и не изобрели новое, но в копилку ьы суой вклад внесли. -)
Есть Генрих Аьтшуллер с очень старой, апробированной и проработанной теорией ТРИЗ.
Там статистика накопленная по изобретениям, по их эволюции, по методикам.
Да, но эта статистика нигде не засвечена (в смысле исходника, т.е. данных).
Засвечена. Он анализировал статистику по патентам на изобретения.
Диаграмма на русском языке
Ок, проблема-противоречие отлично сформулирована: компьютеры плохо умеют делать моделирование, а также анализ-синтез (и эйдетику для этого можно было не изобретать). Но как вы предлагаете теперь эту проблему решать?
это — плохо сформулированное противоречие
Ну ок, предложите формулировку лучше!
Техническим противоречием (ТП) называют ВЗАИМОДЕЙСТВИЕ (заметьте — «взаимодействие») в системе, состоящее, например, в том, что полезное действие вызывает ОДНОВРЕМЕННО полезное и вредное действие.
физическим противоречием (ФП) называют когда требованиями физическому состоянию (параметрам) этой части системы, а затем некоторой ее зоне, предъявляются противоречивые, взаимно противоположные требования. см.: alterozoom.com/documents/10555.html
Поскольку я не знаю, какое противоречие (административное, техническое т.е. функциональное или физическое т.е. параметрическое) вы хотите сформулировать.
```
компьютеры плохо умеют делать моделирование, а также анализ-синтез, для того, чтобы [...] но умеют [...], для тёго, чтобы получить [… функцию]
```
физическим противоречием (ФП) называют когда требованиями физическому состоянию (параметрам) этой части системы, а затем некоторой ее зоне, предъявляются противоречивые, взаимно противоположные требования. см.: alterozoom.com/documents/10555.html
Поскольку я не знаю, какое противоречие (административное, техническое т.е. функциональное или физическое т.е. параметрическое) вы хотите сформулировать.
```
компьютеры плохо умеют делать моделирование, а также анализ-синтез, для того, чтобы [...] но умеют [...], для тёго, чтобы получить [… функцию]
```
Логическое
Насколько я помню, ТРИЗ вообще ни на что, кроме классической инженерии (т.е. направленной на изготовление приборов и агрегатов, решение проблем в физическом мире) не был обобщён, поэтому я не очень понимаю, почему вы на него ссылаетесь таким образом, нарушая один из его очевидных принципов — не выходить за пределы области применения (научных) теорий.
Мы можем пробовать пользоваться частями ТРИЗ, не забывая, что это (лживые) аналогии, или же доопределяя его на нашу предметную область. Я у себя в голове его доопределил, понятие противоречия сохранилось. Вы — не доопределили, у вас виды противоречий, видимо, неполны и соответствуют классической инженерии, или же вы можете, если хотите, записать это противоречие в одну из ваших категорий, обобщив её описание (при этом осознавая, зачем вы это делаете).
Противоречие само по себе сформулировано вполне себе разумно: «плохо умеют» — «хочется, чтобы умели хорошо».
Вывод оттуда очевидный тоже: наиболее типичная система такого рода — конечный автомат с набором правил. Нужно строить правильную систему (или же учить), а также проверять и контролировать.
После этого уже можно следующую задачу-противоречие формулировать:
Строить — долго, хочется учить. И тогда датасет для обучения и контроля нужен, но делать его долго-дорого-сложно.
Решение будет — каким-либо образом воспользоваться имеющимися датасетами или имеющимися способами их генерации, например, автоматической генерацией.
Из кибер-инженерии мы вернулись к программной инженерии: спроектировать и создать нужный датасет, а также спроектировать и создать конечный автомат.
Вперёд ;)
Мы можем пробовать пользоваться частями ТРИЗ, не забывая, что это (лживые) аналогии, или же доопределяя его на нашу предметную область. Я у себя в голове его доопределил, понятие противоречия сохранилось. Вы — не доопределили, у вас виды противоречий, видимо, неполны и соответствуют классической инженерии, или же вы можете, если хотите, записать это противоречие в одну из ваших категорий, обобщив её описание (при этом осознавая, зачем вы это делаете).
Противоречие само по себе сформулировано вполне себе разумно: «плохо умеют» — «хочется, чтобы умели хорошо».
Вывод оттуда очевидный тоже: наиболее типичная система такого рода — конечный автомат с набором правил. Нужно строить правильную систему (или же учить), а также проверять и контролировать.
После этого уже можно следующую задачу-противоречие формулировать:
Строить — долго, хочется учить. И тогда датасет для обучения и контроля нужен, но делать его долго-дорого-сложно.
Решение будет — каким-либо образом воспользоваться имеющимися датасетами или имеющимися способами их генерации, например, автоматической генерацией.
Из кибер-инженерии мы вернулись к программной инженерии: спроектировать и создать нужный датасет, а также спроектировать и создать конечный автомат.
Вперёд ;)
Знакомы ли вы с работами (и результатами), которые уже ведутся, напр.: www.researchgate.net/publication/233869143_Computer-aided_analysis_of_patents_and_search_for_TRIZ_contradictions
Не знаком, но знаю, что новые автоматические патентные анализаторы/конструкторы регулярно пишутся, как на современных технологиях типа нейросетей, так и на эвристических системах, основанных на правилах, и даже как-то работают.
Известен также «гений» компьютера в 3d-моделировании физических ограничений. «Чуйку» у компа тоже можно развить.
А вот с общим моделированием у компьютеров пока проблемы: плохо умеют абстрактные системы моделировать, нужно руками объектам из реального мира свойства задавать, для идей ТРИЗ такое фатально, остаётся только какие-то элементы брать, как в данной работе, не думаю, что за 10 лет (эта работа 2007 года) что-то поменялось.
Известен также «гений» компьютера в 3d-моделировании физических ограничений. «Чуйку» у компа тоже можно развить.
А вот с общим моделированием у компьютеров пока проблемы: плохо умеют абстрактные системы моделировать, нужно руками объектам из реального мира свойства задавать, для идей ТРИЗ такое фатально, остаётся только какие-то элементы брать, как в данной работе, не думаю, что за 10 лет (эта работа 2007 года) что-то поменялось.
А дальше начинается коммерческая сторона вопроса. -)
Но я подумаю как об этом сказать, чтобы не выплеснуть с водой ребёнка.
PLATONIC: Как человек делает изобретения? Почему великим изобретениям часто предшествует видение или сон, как у великого химика Д.Менделеева, изобретателя таблицы периодических элементов?
FAVORITE101: Сколько можно писать эту чушь про Д.Менделеева?!
PLATONIC:… изобретение действительно можно «увидеть». Я рискну утверждать, что его (изобретение) вообще невозможно сделать, не «увидев», т.е не представив идею ясно и в деталях в своём воображении.
FAVORITE101: Названия известных книг по ТРИЗ говорят как раз об обратном — давно существует изобретательство по алгоритму, по правилам, по плану, по заказу:
На самом деле изобретение реализуется не с помощью мифического одномоментного «видения», а шаг за шагом — планомерно и направленно. Решение постепенно проявляется с помощью анализа изобретательской ситуации и т.д.
PLATONIC: Первое, что начинает делать изобретатель – это мозговой штурм, поиск свежих идей. Очень подробно данный механизм разобран в ТРИЗ — теории решения изобретательских задач.
FAVORITE101: Похоже, что о ТРИЗ автор не имеет ни малейшего представления! Именно в ТРИЗ показана неэффективность мозгового штурма, даже невозможность с его помощью решать действительно сложные технические (и не только) задачи.
PLATONIC: Представим себя на месте инженера-изобретателя. Вы живёте в ХIХ-м веке, когда ещё нет подводных лодок и Жюль-Верн ещё не написал свои «20 тысяч лье под водой». Вам поступает заказ от Министерства обороны – придумать истребитель вражеских кораблей.
FAVORITE101: К сведению автора: «Идея подводного судна уходит своими корнями в античные времена. А первым успешно функционирующим подводным судном стала вёсельная подводная лодка голландского механика и физика начала XVII века Корнелиуса Дреббеля, построенная в Лондоне для 12 гребцов и 3 офицеров; хроника говорит, что сам король Иаков I был в числе этих офицеров».
Меня терзают смутные сомнения, что исходная посылка: «… XIX веке еще нет подводных лодок», просто придумана с целью гладкости изложения дальнейших измышлений.
PLATONIC: Поступает заказ от Министерства обороны – придумать истребитель вражеских кораблей.… с такой задачей, кстати, столкнулась Германия во время 2-й мировой войны, когда вынуждена была искать способы борьбы с превосходящим по силам флотом Великобритании.
FAVORITE101: ??? А проверить было трудно? Например, здесь:
Подводные лодки в Первой мировой войне
Вскоре после начала боевых действий на море подводные лодки неожиданно показали себя грозным оружием. За первые два месяца войны пять подводных лодок (три германских и две британских) потопили восемь крейсеров.
Всего за годы войны Германией было построено 360 подводных лодок, а германские подводники потопили суда суммарным водоизмещением более 13 миллионов брутто-регистровых тонн.
PLATONIC: 5.… Можно ли рыбу превратить корабль или корабль уподобить рыбе?
Заметьте: неожиданно инженер поставил вопрос в ключе диалектики Платона: как совместить несовместимое? (здесь и далее курсивом выделены мои комментарии на мысли инженера).
FAVORITE101: Зачем вспоминать Платона? Тем более неожиданно? Где гарантия, что для следующего требующегося изобретения найти объект для совмещения будет так просто?
Все эти вопросы — явная подгонка под ответ. А вот в ТРИЗ подобные вопросы тщательно проработаны и ответы найдены. И безо всяких неожиданностей…
PLATONIC: 9.… рыба регулирует своё всплытие-погружение с помощью специального пузыря. Таким «пузырём» для военной лодки могут служить кингстоны.
FAVORITE101: Вы уверены про кингстоны-пузыри? Тогда человечество уже много-много лет ошибается, считая, что кингстон — это …
Полагаю, что ниже будет про стремительный домкрат…
Что касается Искусственного интеллекта… ИИ действительно будет построен на основе ТРИЗ, ведь и ИИ, и ТРИЗ — инструменты решения проблем.
FAVORITE101: Сколько можно писать эту чушь про Д.Менделеева?!
PLATONIC:… изобретение действительно можно «увидеть». Я рискну утверждать, что его (изобретение) вообще невозможно сделать, не «увидев», т.е не представив идею ясно и в деталях в своём воображении.
FAVORITE101: Названия известных книг по ТРИЗ говорят как раз об обратном — давно существует изобретательство по алгоритму, по правилам, по плану, по заказу:
- Вдохновение по заказу
- Правила игры без правил
- Дерзкие формулы творчества
- Творчество как точная наука
- Поиск новых идей: от озарения к технологии
На самом деле изобретение реализуется не с помощью мифического одномоментного «видения», а шаг за шагом — планомерно и направленно. Решение постепенно проявляется с помощью анализа изобретательской ситуации и т.д.
PLATONIC: Первое, что начинает делать изобретатель – это мозговой штурм, поиск свежих идей. Очень подробно данный механизм разобран в ТРИЗ — теории решения изобретательских задач.
FAVORITE101: Похоже, что о ТРИЗ автор не имеет ни малейшего представления! Именно в ТРИЗ показана неэффективность мозгового штурма, даже невозможность с его помощью решать действительно сложные технические (и не только) задачи.
PLATONIC: Представим себя на месте инженера-изобретателя. Вы живёте в ХIХ-м веке, когда ещё нет подводных лодок и Жюль-Верн ещё не написал свои «20 тысяч лье под водой». Вам поступает заказ от Министерства обороны – придумать истребитель вражеских кораблей.
FAVORITE101: К сведению автора: «Идея подводного судна уходит своими корнями в античные времена. А первым успешно функционирующим подводным судном стала вёсельная подводная лодка голландского механика и физика начала XVII века Корнелиуса Дреббеля, построенная в Лондоне для 12 гребцов и 3 офицеров; хроника говорит, что сам король Иаков I был в числе этих офицеров».
Меня терзают смутные сомнения, что исходная посылка: «… XIX веке еще нет подводных лодок», просто придумана с целью гладкости изложения дальнейших измышлений.
PLATONIC: Поступает заказ от Министерства обороны – придумать истребитель вражеских кораблей.… с такой задачей, кстати, столкнулась Германия во время 2-й мировой войны, когда вынуждена была искать способы борьбы с превосходящим по силам флотом Великобритании.
FAVORITE101: ??? А проверить было трудно? Например, здесь:
Подводные лодки в Первой мировой войне
Вскоре после начала боевых действий на море подводные лодки неожиданно показали себя грозным оружием. За первые два месяца войны пять подводных лодок (три германских и две британских) потопили восемь крейсеров.
Всего за годы войны Германией было построено 360 подводных лодок, а германские подводники потопили суда суммарным водоизмещением более 13 миллионов брутто-регистровых тонн.
PLATONIC: 5.… Можно ли рыбу превратить корабль или корабль уподобить рыбе?
Заметьте: неожиданно инженер поставил вопрос в ключе диалектики Платона: как совместить несовместимое? (здесь и далее курсивом выделены мои комментарии на мысли инженера).
FAVORITE101: Зачем вспоминать Платона? Тем более неожиданно? Где гарантия, что для следующего требующегося изобретения найти объект для совмещения будет так просто?
Все эти вопросы — явная подгонка под ответ. А вот в ТРИЗ подобные вопросы тщательно проработаны и ответы найдены. И безо всяких неожиданностей…
PLATONIC: 9.… рыба регулирует своё всплытие-погружение с помощью специального пузыря. Таким «пузырём» для военной лодки могут служить кингстоны.
FAVORITE101: Вы уверены про кингстоны-пузыри? Тогда человечество уже много-много лет ошибается, считая, что кингстон — это …
Полагаю, что ниже будет про стремительный домкрат…
Что касается Искусственного интеллекта… ИИ действительно будет построен на основе ТРИЗ, ведь и ИИ, и ТРИЗ — инструменты решения проблем.
Фильм Весна:
Как они, значит, работают… Очень просто. Я все их секреты знаю. Вот так: сел, задумался… Открыл! Понимаете? Самое главное — задуматься!
Автор, можно детальнее? Для начала, в каком виде у нас входные данные?
В случае с подводной лодкой, как я понимаю, у ИИ должна быть некоторая база со статистикой, из которой можно узнать, сколько кораблей у какой страны, как сделать корабль, что влияет на производство кораблей. Как корабли одной стороны влияют на корабли другой. Это всё таблицы/таблица, и мне пока не вполне очевидно, как они будут выглядеть. Какие поля? Как их заполнять? Откуда взять массивы данных? По идее, у нас в базе должны быть и производственные цепочки для кораблей (в каком формате?), и история морских боёв (в каком формате?), и какая-то связка, которая позволяет вывести, что корабли, повреждённые в морском бою, влияют на число кораблей во флоте соответствующей страны.
А после этого нужно поставить этому боту цель — что-то типа «какая цепочка ходов приводит к тому, что у противника меньше всего кораблей». Потому что число кораблей — это что-то, что понятно, как измерять. Ну и ИИ уже решит, делать ли подлодку, бомбардировщик или дипломатией натравить на противника какую-то другую страну.
Так вот. Как собираемся хранить данные? Сколько таблиц, какие поля, какие связи, как эти связи реализовать. Как заполнять эти таблицы?
В каком виде ждём решения? В виде нейросети, которая будет выдавать приказ, что делать дальше? В виде жёсткого неадаптивного плана действий? В виде JPEG-файла? Когда reinforcement learning генерирует стратегию, он, например, уже проанализировал множество прошлых стратегий и посмотрел на их последствия, то есть выход алгоритма должен быть какой-то комбинацией из типовых элементов — такой же, как тысячи раз до этого.
Какие будут элементарные действия ИИ? «Построить ещё один крейсер» или «сдвинуть резец на 5 мм»? В первом случае элементарных действий будет очень-очень много. Во втором будут очень длинные и неинтерпретируемые цепочки из низкоуровневых действий
В случае с подводной лодкой, как я понимаю, у ИИ должна быть некоторая база со статистикой, из которой можно узнать, сколько кораблей у какой страны, как сделать корабль, что влияет на производство кораблей. Как корабли одной стороны влияют на корабли другой. Это всё таблицы/таблица, и мне пока не вполне очевидно, как они будут выглядеть. Какие поля? Как их заполнять? Откуда взять массивы данных? По идее, у нас в базе должны быть и производственные цепочки для кораблей (в каком формате?), и история морских боёв (в каком формате?), и какая-то связка, которая позволяет вывести, что корабли, повреждённые в морском бою, влияют на число кораблей во флоте соответствующей страны.
А после этого нужно поставить этому боту цель — что-то типа «какая цепочка ходов приводит к тому, что у противника меньше всего кораблей». Потому что число кораблей — это что-то, что понятно, как измерять. Ну и ИИ уже решит, делать ли подлодку, бомбардировщик или дипломатией натравить на противника какую-то другую страну.
Так вот. Как собираемся хранить данные? Сколько таблиц, какие поля, какие связи, как эти связи реализовать. Как заполнять эти таблицы?
В каком виде ждём решения? В виде нейросети, которая будет выдавать приказ, что делать дальше? В виде жёсткого неадаптивного плана действий? В виде JPEG-файла? Когда reinforcement learning генерирует стратегию, он, например, уже проанализировал множество прошлых стратегий и посмотрел на их последствия, то есть выход алгоритма должен быть какой-то комбинацией из типовых элементов — такой же, как тысячи раз до этого.
Какие будут элементарные действия ИИ? «Построить ещё один крейсер» или «сдвинуть резец на 5 мм»? В первом случае элементарных действий будет очень-очень много. Во втором будут очень длинные и неинтерпретируемые цепочки из низкоуровневых действий
Уважаемый Kilorad,
Вы задаёте вполне логичные вопросы с точки зрения разработки продукта.
Я понимаю, о чём вы.
Но в том то и дело, что стандартными методами эта задача не решается. По крайней мере, ничего подобного мы не видим, только отдельные элементы или весь цикл, но на ограниченных данных.
Возможно, помогла бы многоуровневая архитектура сетей.
Первый модуль отвечает за распознавание.
Второй за поиск похожих образов.
Третий за проверку, решена ли задача (конкурентная сеть?)
И так далее, и тому подобное.
Фактически мы должны воспроизвести архитектуру «разума».
Увидел — понял задачу (или пока хотя бы принял готовую постановку задачи) — нашёл решение — проверил (или на первом этапе — предложил на дальнейшую проверку человеку).
Здесь нужна исследовательская лаборатория для постановки ряда экспериментов в программировании.
Я даже просчитывал подобный проект, но риски слишком высоки. Денег под это не дадут.
Поэтому пока приходится двигаться по крупинкам.
Или по модулям.
Первый модуль, который напрашивается на реализацию — это Универсальное распознавание образов. Надо обучить сеть (сложную архитектуру) отфильтровывать из изображения силуэт. Это и есть образ, модель. Далее — распознавать в нём (из библиотеки) универсальные паттерны — хвосты, лапы, стулья, столы, детали машин, интерьера и т.д. и т п. А уже по распознанному набору паттернов причислять объект у тому или иному классу — человек, машина, животное…
Если это сделать — уже будет прорыв.
Потом пойти дальше — распознавание видов — какое животное? Что за человек (раса, пол, профессия, эпоха (по одежде)).
Надеюсь, ход моих мыслей понятен…
Вы задаёте вполне логичные вопросы с точки зрения разработки продукта.
Я понимаю, о чём вы.
Но в том то и дело, что стандартными методами эта задача не решается. По крайней мере, ничего подобного мы не видим, только отдельные элементы или весь цикл, но на ограниченных данных.
Возможно, помогла бы многоуровневая архитектура сетей.
Первый модуль отвечает за распознавание.
Второй за поиск похожих образов.
Третий за проверку, решена ли задача (конкурентная сеть?)
И так далее, и тому подобное.
Фактически мы должны воспроизвести архитектуру «разума».
Увидел — понял задачу (или пока хотя бы принял готовую постановку задачи) — нашёл решение — проверил (или на первом этапе — предложил на дальнейшую проверку человеку).
Здесь нужна исследовательская лаборатория для постановки ряда экспериментов в программировании.
Я даже просчитывал подобный проект, но риски слишком высоки. Денег под это не дадут.
Поэтому пока приходится двигаться по крупинкам.
Или по модулям.
Первый модуль, который напрашивается на реализацию — это Универсальное распознавание образов. Надо обучить сеть (сложную архитектуру) отфильтровывать из изображения силуэт. Это и есть образ, модель. Далее — распознавать в нём (из библиотеки) универсальные паттерны — хвосты, лапы, стулья, столы, детали машин, интерьера и т.д. и т п. А уже по распознанному набору паттернов причислять объект у тому или иному классу — человек, машина, животное…
Если это сделать — уже будет прорыв.
Потом пойти дальше — распознавание видов — какое животное? Что за человек (раса, пол, профессия, эпоха (по одежде)).
Надеюсь, ход моих мыслей понятен…
Прорывом это не будет, потому как нейросети неплохо всё это и сейчас распознают (очень рекомендую вот эту статью почитать: arxiv.org/abs/1811.12231, если кратко: нейросети умеют распознавать образы, но распознавания текстур достаточно в популярных датасетов, поэтому у текстур «больший вес» по сравнению с силуэтом!), таким образом, на «части тела» нейросетям делить данные не надо (хотя можно, конечно, если делать нечего).
Но вот количество таких вот «модулей» различного назначения у человека — порядка 400.
Поэтому делать и отлаживать каждый модуль сам по себе — очень трудоёмкая задача.
Особенно, когда дело доходит до логики и мышления, где датасетов на миллионы записей нет и не предвидится.
Но вот количество таких вот «модулей» различного назначения у человека — порядка 400.
Поэтому делать и отлаживать каждый модуль сам по себе — очень трудоёмкая задача.
Особенно, когда дело доходит до логики и мышления, где датасетов на миллионы записей нет и не предвидится.
А что за 400 модулей? Просветите пожалуйста! Я например, знаю всего лишь порядка 100 категорий...
100 категорий чего вы знаете? За страх, например, отвечает отдельный участок мозга, за визуальную память (доступ к визуальным воспоминаниям) — сразу несколько разных участков гиппокампа, а за аудиальную память — видимо, другое место в мозге.
В коре больших полушарий исторически выделяется около 60 зон, которые отвечают за сотни различных задач. Речевая зона участвует и в говорении, и в слушании речи, и в ней выделяются несколько различных подзон, аналогично в зоне, отвечающей за слышание. Поэтому люди, которые пытаются это описать, говорят про систему из от 400 до 1000 различных кусочков, решающих разные задачи. Где я конкретно видел эти цифры — уже не помню, извините. Но, я думаю, на любой конференции или тематической группе по General AI вас просветят.
(Но можно посчитать и по-другому. В мозгу порядка 1e10 нейронов, которые организованы в зоны размеров порядка 1e6-2e7. Внутри зон связность выше, чем между окружающими частями. Это даёт нам от 500 до 10к более крупных блоков...)
Подобный метод подсчёта из отечественных исследователей использует Алексей Редозубов, можете посмотреть его видео, он много усилий посвятил моделированию коры головного мозга.
В коре больших полушарий исторически выделяется около 60 зон, которые отвечают за сотни различных задач. Речевая зона участвует и в говорении, и в слушании речи, и в ней выделяются несколько различных подзон, аналогично в зоне, отвечающей за слышание. Поэтому люди, которые пытаются это описать, говорят про систему из от 400 до 1000 различных кусочков, решающих разные задачи. Где я конкретно видел эти цифры — уже не помню, извините. Но, я думаю, на любой конференции или тематической группе по General AI вас просветят.
(Но можно посчитать и по-другому. В мозгу порядка 1e10 нейронов, которые организованы в зоны размеров порядка 1e6-2e7. Внутри зон связность выше, чем между окружающими частями. Это даёт нам от 500 до 10к более крупных блоков...)
Подобный метод подсчёта из отечественных исследователей использует Алексей Редозубов, можете посмотреть его видео, он много усилий посвятил моделированию коры головного мозга.
Или где можно почитать?
Уважаемый Platonic,
задача анализа изображений сейчас довольно хорошо решена — в том смысле, что сейчас можно любую картинку сжать до вектора в 1024 числа, которого достаточно, чтобы ответить на большинство вопросов по картинке. Речь не только о категориях, но и о вопросах вида «кто находится ближе, кот и собака?» или «какое расстояние до ближайшего дорожного знака?» Смысл не в том, что внутри этого вектора есть отдельное число, отвечающее на подобный вопрос — просто поверх этих 1024 числе можно установить решающее дерево или маленькую полносвязную нейросеть, и обучить их отвечать на заданный вопрос.
Привожу цитату:
«Ценность нейронных сетей, обученных на массиве фотографий ImageNet (а теперь и OpenImages V4, COCO, KITTI, BDD100K и другие) вовсе не в факте распознавания котика на фото. А в том, что хранится в предпоследнем слое. Именно там находится набор высокоуровневых features, описывающих наш мир. Вектора в 1024 числа достаточно, чтобы из него получить описание 1000 разных категорий объектов с 80% точностью (и в 95% случаев правильный ответ будет в 5 ближайших вариантах). Только вдумайтесь в это.
Именно поэтому эти features из предпоследнего слоя так успешно используются в совершенно различных задачах по компьютерному зрению. Через Transfer Learning и Fine Tuning. Из этого вектора в 1024 числа можно получить, например, карту глубины по картинке»
habr.com/ru/post/437020
Это касательно распознавания образов-в-смысле-RGB-2Д-изображений, это не относится к анализу аудио, видео, текстов и других временных рядов.
Второй модуль, отвечающий за поиск похожих — по описанию похоже на задачу понижения размерности. Вообще, то, что я описал выше — это уже понижение размерности в чистом виде =) Суть в том, что если у нас есть несколько образов по 1024 float в каждом, то мы можем для них определить метрику близости. Расстояние в 1024-мерном пространстве. Таким образом мы для каждых двух образов можем сказать, насколько они похожи, это будет одномерное число. Наприме, если у нас есть 2-мерные вектора a[0,1], b[0,-1], c[1, 1], то декартово расстояние будет такое: между a и b = 2, между b и c = корень из 5, между a и c равно 1.
Эта идея не будет работать при переходе из домена в домен: если вы сумеете сделать нейросеть, которая сжимает текст (в вектор фиксированной длины) и нейросеть, которая сжимает аудио, то между этими двумя векторами нельзя будет измерить близость.
Рекомендую почитать про автокодировщики, они же автоэнкодеры. Это математическая концепция того, как умно понижать размерность пространства с минимальными потерями. Выходной результат такого понижения размерности называется словом эмбеддинг.
Касательно проверки того, решена ли задача. Тут не совсем понятно. Возможно, это самая важная часть =)
Вообще, как такой вопрос решается в оптимизации стационарных функций (то есть в эволюции)? У нас есть явная метрика качества, определённая для каждого решения. Типа такого: у нас конфигурация корабля описывается вектором из 100 чисел, и есть симуляцию морского боя. Мы задаём эти 100 чисел в симуляцию, а симуляция выдаёт на выходе значение качества — то есть в какой мере наш корабль победил. Например, это может быть формула "(сколько урона он нанёс врагам) — 0.5 * (сколько он получил урона) — 10 * (сколько надо человекодней на производства) — 0.2 * (сколько тонн стали надо производство)". То есть мы можем оценить каждый корабль. И эволюция/градиентный спуск/алгоритм пчелиного роя/random search/любой другой поисковый алгоритм ищет такую конфигурацию корабля, которая выдаст максимальное значение метрики. Количество экспериментов при этом будет проведено просто асторономическое — но это не проблема, пока эксперименты проводятся внутри симуляции. Миллион экспериментов — это фигня, если каждый из них длится секунду, и они хоть чуть-чуть распараллелены по ядрам.
Можно подойти к задаче иначе — если у нас нет симуляции, мы можем обучить нейросеть/решающее дерево/символьную регрессию/другую модель, которые будут по ТЗ на корабль предсказывать результат боя (а так же цену, время производства и прочее). Для этого нужна статистика — ТТХ кораблей и результаты боёв (и параметры техпроцессов). Я упрощённо говорю, потому что влияние одного корабля на бой измерить сложно, и по-хорошему, надо вводить в симуляцию параметры всех кораблей, но подбирать потом только параметры нашего. Это я пока описываю, как бы ИИ мог работать на уровне экономика+сражения, без учёта логистики, политики, комфорта матросов, боевого управления и кучи других факторов.
То есть цепочка такая: определяемся, что для нас будет метрикой качества (reward), что — управляемыми переменными (action), а что — наблюдаемыми переменными (state) -> собираем статистику — таблицу со столбцами вида action, reward, state -> создаём механизм для прогнозирования reward в зависимости от action и state -> перебираем различные конфигурации корабля в поисках той, у которой прогнозирующая система предсказывает максимальное значение reward.
Я описал, как обычно решаются задачи вида «достичь чётко сформулированной цели». Прошу прощения, если я кэп, просто мне неизвестен уровень вашей компетенции в данном вопросе.
Если у нас есть достаточно хорошая нейронка по анализу картинок (ну, как я выше описал), автоэнкодер для сжатия любого конкретного вида данных в вектор для поиска похожести, то как мы будем решать задачу дальше? На примере подводной лодки. Какую мы возьмём метрику качества, если мы работаем в этих терминах, либо что мы возьмём вместо неё. Что мы возьмём в качестве среды для оценки этого качества. Что у нас будет управляемыми, а что — наблюдаемыми переменными? Ну или может, другой пример приведите =)
Если я захожу с концептуально не той стороны, поправьте меня, пожалуйста. Я бы очень дорого дал за алгоритм, который может мне решить задачу на изобретательство =) На базе тех данных, которые я в принципе могу добыть
задача анализа изображений сейчас довольно хорошо решена — в том смысле, что сейчас можно любую картинку сжать до вектора в 1024 числа, которого достаточно, чтобы ответить на большинство вопросов по картинке. Речь не только о категориях, но и о вопросах вида «кто находится ближе, кот и собака?» или «какое расстояние до ближайшего дорожного знака?» Смысл не в том, что внутри этого вектора есть отдельное число, отвечающее на подобный вопрос — просто поверх этих 1024 числе можно установить решающее дерево или маленькую полносвязную нейросеть, и обучить их отвечать на заданный вопрос.
Привожу цитату:
«Ценность нейронных сетей, обученных на массиве фотографий ImageNet (а теперь и OpenImages V4, COCO, KITTI, BDD100K и другие) вовсе не в факте распознавания котика на фото. А в том, что хранится в предпоследнем слое. Именно там находится набор высокоуровневых features, описывающих наш мир. Вектора в 1024 числа достаточно, чтобы из него получить описание 1000 разных категорий объектов с 80% точностью (и в 95% случаев правильный ответ будет в 5 ближайших вариантах). Только вдумайтесь в это.
Именно поэтому эти features из предпоследнего слоя так успешно используются в совершенно различных задачах по компьютерному зрению. Через Transfer Learning и Fine Tuning. Из этого вектора в 1024 числа можно получить, например, карту глубины по картинке»
habr.com/ru/post/437020
Это касательно распознавания образов-в-смысле-RGB-2Д-изображений, это не относится к анализу аудио, видео, текстов и других временных рядов.
Второй модуль, отвечающий за поиск похожих — по описанию похоже на задачу понижения размерности. Вообще, то, что я описал выше — это уже понижение размерности в чистом виде =) Суть в том, что если у нас есть несколько образов по 1024 float в каждом, то мы можем для них определить метрику близости. Расстояние в 1024-мерном пространстве. Таким образом мы для каждых двух образов можем сказать, насколько они похожи, это будет одномерное число. Наприме, если у нас есть 2-мерные вектора a[0,1], b[0,-1], c[1, 1], то декартово расстояние будет такое: между a и b = 2, между b и c = корень из 5, между a и c равно 1.
Эта идея не будет работать при переходе из домена в домен: если вы сумеете сделать нейросеть, которая сжимает текст (в вектор фиксированной длины) и нейросеть, которая сжимает аудио, то между этими двумя векторами нельзя будет измерить близость.
Рекомендую почитать про автокодировщики, они же автоэнкодеры. Это математическая концепция того, как умно понижать размерность пространства с минимальными потерями. Выходной результат такого понижения размерности называется словом эмбеддинг.
Касательно проверки того, решена ли задача. Тут не совсем понятно. Возможно, это самая важная часть =)
Вообще, как такой вопрос решается в оптимизации стационарных функций (то есть в эволюции)? У нас есть явная метрика качества, определённая для каждого решения. Типа такого: у нас конфигурация корабля описывается вектором из 100 чисел, и есть симуляцию морского боя. Мы задаём эти 100 чисел в симуляцию, а симуляция выдаёт на выходе значение качества — то есть в какой мере наш корабль победил. Например, это может быть формула "(сколько урона он нанёс врагам) — 0.5 * (сколько он получил урона) — 10 * (сколько надо человекодней на производства) — 0.2 * (сколько тонн стали надо производство)". То есть мы можем оценить каждый корабль. И эволюция/градиентный спуск/алгоритм пчелиного роя/random search/любой другой поисковый алгоритм ищет такую конфигурацию корабля, которая выдаст максимальное значение метрики. Количество экспериментов при этом будет проведено просто асторономическое — но это не проблема, пока эксперименты проводятся внутри симуляции. Миллион экспериментов — это фигня, если каждый из них длится секунду, и они хоть чуть-чуть распараллелены по ядрам.
Можно подойти к задаче иначе — если у нас нет симуляции, мы можем обучить нейросеть/решающее дерево/символьную регрессию/другую модель, которые будут по ТЗ на корабль предсказывать результат боя (а так же цену, время производства и прочее). Для этого нужна статистика — ТТХ кораблей и результаты боёв (и параметры техпроцессов). Я упрощённо говорю, потому что влияние одного корабля на бой измерить сложно, и по-хорошему, надо вводить в симуляцию параметры всех кораблей, но подбирать потом только параметры нашего. Это я пока описываю, как бы ИИ мог работать на уровне экономика+сражения, без учёта логистики, политики, комфорта матросов, боевого управления и кучи других факторов.
То есть цепочка такая: определяемся, что для нас будет метрикой качества (reward), что — управляемыми переменными (action), а что — наблюдаемыми переменными (state) -> собираем статистику — таблицу со столбцами вида action, reward, state -> создаём механизм для прогнозирования reward в зависимости от action и state -> перебираем различные конфигурации корабля в поисках той, у которой прогнозирующая система предсказывает максимальное значение reward.
Я описал, как обычно решаются задачи вида «достичь чётко сформулированной цели». Прошу прощения, если я кэп, просто мне неизвестен уровень вашей компетенции в данном вопросе.
Если у нас есть достаточно хорошая нейронка по анализу картинок (ну, как я выше описал), автоэнкодер для сжатия любого конкретного вида данных в вектор для поиска похожести, то как мы будем решать задачу дальше? На примере подводной лодки. Какую мы возьмём метрику качества, если мы работаем в этих терминах, либо что мы возьмём вместо неё. Что мы возьмём в качестве среды для оценки этого качества. Что у нас будет управляемыми, а что — наблюдаемыми переменными? Ну или может, другой пример приведите =)
Если я захожу с концептуально не той стороны, поправьте меня, пожалуйста. Я бы очень дорого дал за алгоритм, который может мне решить задачу на изобретательство =) На базе тех данных, которые я в принципе могу добыть
Я пытался сделать что-то вроде «машины изобретений». Упёрся в то, что для того, чтобы ИИ хорошо креативил, надо, чтобы он работал на довольно низком уровне — не на уровне «сделай крейсер класса такого-то», а на уровне «проведи азотирование той детали, которая сейчас находится в станке № 19». Я пытался сделать такую аналитическую систему, чтобы она давала мне какие-то умные советы по жизни (по переговорам, обучению, изобретательству или чему-нибудь ещё). Упёрся в то, что мои действия плохо залогированы. Какой бы я не выбрал перечень элементарных действий, он с одной стороны, оставляет очень большие недосказанности (из-за слишком высокого уровня абстракции), с другой стороны, эти действия тяжело все логировать (из-за слишком низкого уровня абстракции, а значит, слишком большого числа действий).
А вот если есть симуляция, в которой ИИ может тестировать свои идеи — тогда да, он всех дерёт вклочья и вообще эффективен, как Терминатор
А вот если есть симуляция, в которой ИИ может тестировать свои идеи — тогда да, он всех дерёт вклочья и вообще эффективен, как Терминатор
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Искусственный интеллект как машина изобретений