Нейросеть машинного зрения обучают на реалистичных компьютерных играх

[andrzzc]

Теперь при авариях с автопилотом можно будет утверждать «это случилось потому что он слишком много играл в GTA/Carmageddon».

[4dmonster]

Причём в данном случае это будет правдой. :)

[maaGames]

Реально полезным был бы ИИ-антибеспредельщик, обученный уворачиваться от любителей обгонять по встречке ночью в дождь.

[maaGames]

Остановится он, судя по всему. Была тут статья, что гугломобиль «пугался» велосипедиста, стоящего на светофоре и пошатывающегося. Думаю, в любой неожиданной ситуации он будет останавливаться и выжидать.)

[maaGames]

Двигаться задним ходом против движения запрещено же по ПДД? Сам я пешеход, так что имею право не знать.)
Если запрещено, то для движения задним ходом гугломобилю надо разрешить нарушать ПДД. А нарушать ПДД нельзя. Коллизия.

Опять же, позади может быть другая машина или пешеход. И гугломобиль встаёт перед дилеммой, кого бы лучше протаранить.

[maaGames]

Почему он стоит?
1. Красный свет. Если начать движение можно спровоцировать ещё большую аварию.
2. Едет медленнее догоняющего. Сменить полосу движения (он итак должен это сделать), либо ускориться до приемлемого уровня. Если превысить скорость, то это нарушение ПДД и может, опять же, к ещё более плохим последствиям привести.
Т.е. от автомобиля требуется активная защита без нарушения ПДД: начать заполнять салон пеной безопасности за секунду до непосредственного соударения, чтобы повысить вероятность выживания человеков внутри машины.

[maaGames]

1. IOT, светофоры в виде лампочки не нужны — не современно и моветон
2. тоже не нужны.

А вообще, отличный вопрос: умеют ли гугломобили и прочие распознавать жестикуляцию регулировщика или вся надежда на IOT?

[maaGames]

Думаю, весь вопрос в том, есть ли обычные машины на дороге. Если только робомобили, то светофоры не нужны, все знают друг о друге и вообще никаких вопросов нет (пока работает GPS модуль и облако).
Про распознавание жестикуляции вопрос открыт, ждём экспертов.

[maaGames]

Скорее производитель даст взятку «своему» сенатору, чтобы законодательно утвердили удобный конкретному производителю интерфейс взаимодействия робомобилей. 100% будет единый стандартизированный формат взаимодействия, как для самолётов и космических спутников.

[maaGames]

Никакого оптимизма, чистый прагматизм. В одиночку всю инфраструктуру не поднять (это в России по велению могут за счёт налогоплательщиков любые триллиарды вбухать в IOT для каждого светофора, а в цивилизованных странах это невозможно), поэтому производителям придётся объединяться и разрабатывать хотя бы базовый общий протокол. Возможно, «кто-то успеет» и их протокол примут за стандарт.

[Kolonist]

Про распознавание жестикуляции вопрос открыт, ждём экспертов.

Да тут и экспертов не надо, если учитывать то, как сотрудники ГИБДД жестикулируют. Очень часто возникает ощущение, что они сами совершенно не знают специальных жестов и тупо крутят палкой, в надежде, что кто-нибудь разберется, что делать. В итоге, от них на дороге становится только хуже.

[maaGames]

Надо срочно выделить 100 миллионов на обучение сотрудников ГИБДД в игре ГТА.

[DimmiSfai]

А зачем тут эксперты? Есть киннект у иксбокса для распознания твоих движений, например распознает танцевальные движения в Dance central, у сони вроде тоже что-то подобно есть. Другой вопрос, правильно ли сами регулировщики эти жесты показывают.

[maaGames]

Одно дело, когда припадочный скачет строго перед камерой на примерно известном расстоянии и совершенно другое дело, когда человек может быть где-то есть, на гораздо большем расстоянии, повёрнутый совершенно разными сторонами и точность определения жестов которого значит гораздо больше, чем +100 очков за попадание в ритм.

[DimmiSfai]

При чем тут расстояние? Невозможно сделать оптику которая сможет его четко видеть? А то что он повернут разными сторонами, это и есть распознавание движений. Киннект тот же распознает именно движения а не попадание в ритм. Никто не спорит, что для установки на робомобиль технологию нужно отладить, доработать и т.д., но и спорить с тем что такая технология уже есть — странно.

[maaGames]

Вопрос не в оптике, а в направлении взгляда. Полиционера нужно будет отличить от толпы пешеходов, в том числе идущих через дорогу и имеющих махать руками так же, как это делает регулировщик. При том, что полицейского может и не быть или он может стоять на перекрёстке или вдоль дороги. Добавляем абсолютно любую освещённость, затуманенность, дождик… Живой водитель тоже толком не увидит ничего…

[DistortNeo]

Почитайте про «face hidden in coffee beans». Заметить полицейского при наличии большого количества отвлекающих факторов тяжело только для человека.

[EvMard]

Двигаться задним ходом запрещено только в туннелях, на мостах, перекрестках и пешеходных переходов. Во всех остальных местах движение задним ходом разрешено, не создавая помех другим участникам движения.

>Сам я пешеход, так что имею право не знать
Пешеходы также являются участниками движения и должны (по идее) ПДД знать. Незнание не освобождает от ответственности ))

[maaGames]

Я имею право быть на дороге только в зоне пешеходного перехода при моём зелёном (неистово крутя головой во все стороны). В остальных случаях я должен с визгом убегать с тротуара в ближайший лес, чтобы укрыться от водителя, обучавшегося водить в ГТА.)

[maaGames]

«Нет светофора — нет правил»

[Pakos]

Большинство водителей поведёт себя так же, некоторые натворят ещё больше дел в попытках увернуться.

[axifive]

Обучаться на GTA не самая лучшая идея)

Видео

[Darth_Biomech]

Предвосхищаю статьи на сторонних сайтах: «Вы доверите своих детей машине, которая обучалась езде в grand theft auto?!»

Вообще, немного не понятна роль сегментации — это делается для облегчения обучения нейросети, или это функция, которую нейросеть должна в идеале проводить самостоятельно? Сейчас она производится вручную человеком, и если без неё нейросеть водить машину не может, то возникают вопросы.

[maaGames]

Чтобы научиться делать что-то самостоятельно, сперва нужно показать, как это что-то делается. Сперва нейросеть тычут носом в дерево, а потом просят её найти такое же дерево на других картинках. Т.е. сегментация будет в обоих случаях, но при обучении точно известно, к какому типу отнести сегмент, а потом нейросеть уже сама догадывается, что же она такого на сегменте «видит».

[Arutemun]

Перепись школоты прошла успешно. Статья про машинное зрение. При чем здесь обучение езде? При чем здесь гта?

[General_Failure]

Школота школотой, а желтушные статьи примерно такими и будут

[Darth_Biomech]

Перепись школоты прошла успешно.

И вам не хворать.

Статья про машинное зрение. При чем здесь обучение езде? При чем здесь гта?

Переклинило «машинное» в значении «автомобильное». Эта технология может и будет полезна при разработке автопилота, следовательно обучение езде тут притом. А ГТА тут притом что из неё взяты скриншоты, а с причинно-следственной связью у прессы всегда было весьма худо, им этого будет достаточно чтобы начать вопить про изнасилование журналиста и что технику обучают в играх где надо убивать и нарушать закон.

[Darth_Biomech]

А вообще странно, в былые времена, за такой вопиющий ad hominem минусами закидывали, а тут даже коммент даже в плюсе.

[Mad__Max]

При обучении нейронной сети всегда нужно минимум 2 выборки данных (чаще даже 3).

В одной из которых уже имеются все «правильные ответы» — на ней сеть собственно учиться и будет, и 2я содержащая примерно аналогичные(но другие) данные, но уже без «ответов» — которую нейросеть будет обрабатывать полностью самостоятельно и на основе качества этой обработки будет оцениваться качество/эффективность ее тренировки.

Вот самую первую (и обычно самую объемную) выборку должен обработать/подготовить кто-то имеющий выполнять нужную задачу с «эталонным» качеством. В данном случае это должны сделать люди, зрение и визуальное восприятие которых мы хотим повторить при помощи нейронной сети.
2ю выборку обычно тоже людям приходится обрабатывать — просто «правильные ответы» сети показывать не будут в отличии от 1й выборки. Но они обычно все-равно нужны — иначе как оценить, насколько качественно нейросеть ее обработала если нет эталона с которым можно сравнивать и выставить оценку?

[x4fab]

Интересно, не станет ли проблемой отсутствие отражений в лужах? По идее, сеть же должна научиться их игнорировать.

[Fen1kz]

У них проблема с обычными кадрами, а вы сразу крайние условия берете. Не ударяйтесь в максимализм, можно же комбинировать

[x4fab]

Ну тени-то вроде есть, хотя прикрутить какую-нибудь постобработку, чтобы картинка напоминала картинку с камеры, как мне кажется, было бы не лишним.

[wiz]

Во время дождя, тумана,… и т.д. надо будет больше полагаться на радар.

[r4tz52]

В GTA ведь почти нет дорожных знаков, «движение по полосам» обозначается только разметкой. Какое-то неполноценное обучение получается.

[pda0]

Думается, расставить знаки и поправить алгоритмы вождения npc для спец. версии — проще, чем вручную аннотировать каждую фотку.

[DistortNeo]

Ну да, всё логично. Чтобы обучить современную нейросеть, нужны огромные объёмы данных. Эти данные надо как-то получить. Иногда это очень затруднительно. Если есть возможность использовать синтетические данные для обучения, не уступающие данным с ручным аннотированием, то почему бы и не использовать их?

[zim32]

Через 5 лет…
— Сегодня прочитал что ученые предполагают что мы находимся внутри симуляции с кодовым названием GTA
— Да, да, слушай ты их больше…

[Arxitektor]

А ведь многие предлагали учить ИИ в играх.
О мире всё известно. Нет случайностей. Ниже сложность и нужную ситуацию можно воспроизвести сколько угодно раз.

[pda0]

Кто-нибудь, воскресите Бредбери. Кажется, я могу ответить ему зачем мы кидали птицами в свиней. :)

[xakep2011]

странно, что даже для GTA, где все объекты известны и классифицированы внутри самой игры, приходится аннотировать кадры вручную. неужели это быстрее, чем пропатчить графический движок, чтобы он сразу рендерил все объекты в нужном цвете?

[pda0]

Сразу не надо. Как раз надо максимально реалистично и в разметке. Чтобы можно было вычислять коррекцию для обучения.

[Roboserv]

у тебя есть исходный код ГТА5? Не поделишься?

[tmg]

есть же Script Hook V .NET https://github.com/crosire/scripthookvdotnet
Насчет рендера не уверен, что можно влиять, но перечислить все объекты и задать им цвет — уж точно можно

[xakep2011]

думаю такая небедная компания как Rockstar может себе позволить некоторое количество человекочасов на патч или открыть часть кода для канадского универа. такое сотрудничество было бы хорошей пиар акцией.

[psylostlife]

Боюсь представить, если бы я был искусственной нейронной сетью, проходящей обучение в компьютерной симуляции — под какие чайникиприборы я бы предназначался?

[Roboserv]

Давно хотел сам нечто подобное сделать, например написать автопилот для вертолета / машина в Баттлфилд или ГТА5. Вот только вся сенсорная информация выходит визуальной, что усложняет задачу.

[sanok]

Похоже первая группы (у которой «название игры не разглашается из-за опасений, связанных с копирайтом») как-то модифицировала код или данные игры, чтобы помимо кадра автоматичкси рендерилась и семантическая разметка. Интересно было бы узнать, как они это сделали, хотя, без знания конкретной игры или движка можно только гадать.