Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 34
Расскажите, нейросети увеличивают свой размер (в мб) от обучения, или же процесс обучения просто корректирует параметры внутри системы?
Если да, то на сколько размер увеличится, если скормить этой нейросети еще пару лет видео?
Если да, то на сколько размер увеличится, если скормить этой нейросети еще пару лет видео?
Это зависит от реализации нейросети: можно взять модель со строго предопределённым количеством нейронов, тогда изменится только структура. А можно при новых событиях генерировать новые нейроны и связи (в том числе меняя и предшествующую структуру).
То, насколько меняется/увеличивается структура, также зависит от реализации (характеристики типа нейропластичности всего такого).
Насчёт конкретной нейросети («генеративная состязательная нейронная сеть») из статьи: судя по всему, её структура меняется и изменяется в объёме при накоплении опыта.
То, насколько меняется/увеличивается структура, также зависит от реализации (характеристики типа нейропластичности всего такого).
Насчёт конкретной нейросети («генеративная состязательная нейронная сеть») из статьи: судя по всему, её структура меняется и изменяется в объёме при накоплении опыта.
Если не будет роста обьема, то на количестве большем количество вариантов в битах будут коллизии, а значит нейросеть перестанет работать.
Она не перестанет работать. А лишь немного снизит точность(качество) своей работы. И то меньшая точность будет только по сравнению с сетью большего объема. Но оно будет все еще выше(уровень ошибок меньше) чем у сети такого же объема, но с меньшим объемом обучающей выборки (которую не перегружали «лишней» информацией)
Т.к. большие объемы выборки и более длительное обучение при том же ограниченном объеме приводят к выделению сетью более общих и универсальных признаков и утере менее значимых/реже встречающихся.
А слишком большой объем может быть даже вреден для качества работы (помимо того что резко увеличивает требования к железу на котором сеть работает) — избыточный объем приводит к тому, что сеть больше «запоминает» конкретные примеры, чем выделяет общие связи и закономерности. Что приводит к отличным результатам на таких же данных как в обучающей выборке, но плохим результатам на любых других входных данных отличных от использованных в обучении.
Эффект называется Overfitting
Т.к. большие объемы выборки и более длительное обучение при том же ограниченном объеме приводят к выделению сетью более общих и универсальных признаков и утере менее значимых/реже встречающихся.
А слишком большой объем может быть даже вреден для качества работы (помимо того что резко увеличивает требования к железу на котором сеть работает) — избыточный объем приводит к тому, что сеть больше «запоминает» конкретные примеры, чем выделяет общие связи и закономерности. Что приводит к отличным результатам на таких же данных как в обучающей выборке, но плохим результатам на любых других входных данных отличных от использованных в обучении.
Эффект называется Overfitting
Вы бы не вводили людей в заблуждение.
Ни одна современная сеть не умеет «генерировать новые нейроны и связи». Структура жестко задана и подбираются только веса связей.
Ни одна современная сеть не умеет «генерировать новые нейроны и связи». Структура жестко задана и подбираются только веса связей.
Вы бы не вводили людей в заблуждение.
Рекомендую Вам заняться тем же.
Вообще-то у людей в их «естественной нейросети» регулярно появляются (особенно в детстве) и исчезают (особенно под старость) новые нейроны, равно как и связи между ними. Гуглите «нейрогенез».
А насчёт моделей искусственных сетей, ну вот как пример: Расширяющийся нейронный газ.
И вообще растущие нейронные сети (growing neural networks) — вполне себе известный термин.
NEAT недостаточно современная или недостаточно сеть?
>Насчёт конкретной нейросети («генеративная состязательная нейронная сеть») из статьи: судя по всему, её структура меняется и изменяется в объёме при накоплении опыта.
Вот не смог я это найти в оригинальной статье, подскажите где именно об этом говорится?
Вот не смог я это найти в оригинальной статье, подскажите где именно об этом говорится?
Спасибо!
А насколько тяжелы нейросети? Я понимаю, что они разные бывают, но может быть есть примеры…
А насколько тяжелы нейросети? Я понимаю, что они разные бывают, но может быть есть примеры…
Если мы хотим добиться реалистичности, то тут опять же: смотря по каким видео учить, и насколько подборка видео коррелирует с реальной жизнью. Как пример, какой-то американский спец утверждал, будто бы количество видео, когда в бейсболе выбивается Home Run, в процентном соотношении гораздо больше, чем количество событий, когда он выбивается в реальности.
Впрочем, как мне кажется, многие люди в мозгу также нередко «предсказывают» маловероятные события (тот же Home Run очень желаем болельщиками).
Впрочем, как мне кажется, многие люди в мозгу также нередко «предсказывают» маловероятные события (тот же Home Run очень желаем болельщиками).
Мне кажется данный подход позволит продвинуть и распознавание простых статических картинок тоже. Причина в том, что такая тренировка внедрит «понимание» инвариантности поворота и масштабирования изображения на близкие ко входу слои сети. (Ещё важнее был бы параллельный перенос, не будь ИНС свёрточными.) Интересен прогресс 2D -> 3D, но пока эта сеть явно 3D поворотов не понимает.
То есть нейросети уже научились по статичному кадру определять что изображено на экране, вдобавок в какую сторону объекты двигаются?
Нейросети не «понимают» в привычном нам смысле. Они просто находят образы, похожие на те, которые им демонстрировали при обучении.
Простой пример:
Сфотографируем мяч в свободном падении.
Какой будем результат? Нейросеть покажет, что мяч падает вертикально или под углом?
Будет ли учтено ускорение свободного падения?
Получается нужно минимум два кадра для вычисления скоростей и минимум три кадра для вычисления ускорений.
При этом нужно ещё учесть вращение самого мяча.
Сфотографируем мяч в свободном падении.
Какой будем результат? Нейросеть покажет, что мяч падает вертикально или под углом?
Будет ли учтено ускорение свободного падения?
Получается нужно минимум два кадра для вычисления скоростей и минимум три кадра для вычисления ускорений.
При этом нужно ещё учесть вращение самого мяча.
1. Если нейросеть обучали только на роликах, где мяч падает одинаково, то в итоге она будет предсказывать только такое поведение.
2. Если нейросеть обучали на мячах, падающих по разному, то она при обучении будет пытаться извлечь из картинки какие-то дополнительные признаки. Например, если в обучающей выборке есть много примеров, где баскетболист ведёт или бросает мяч, нейросеть будет учитывать положение тела и рук баскетболиста.
3. Если на обучающей выборке мячи падают по-разному, но нет никаких дополнительных деталей, то в итоге нейросеть будет просто не уверена, какой вариант выбрать. И, соответственно, ничего внятного выдать не сможет.
2. Если нейросеть обучали на мячах, падающих по разному, то она при обучении будет пытаться извлечь из картинки какие-то дополнительные признаки. Например, если в обучающей выборке есть много примеров, где баскетболист ведёт или бросает мяч, нейросеть будет учитывать положение тела и рук баскетболиста.
3. Если на обучающей выборке мячи падают по-разному, но нет никаких дополнительных деталей, то в итоге нейросеть будет просто не уверена, какой вариант выбрать. И, соответственно, ничего внятного выдать не сможет.
Вот и ещё одно предсказание фантастов сбылось. С.Лем 137 секунд. Ну пусть пока всего 1 секунду, а не 137. Но ведь работает же!
— Отключенный от телетайпа, компьютер сначала замирал на две секунды, затем продолжал передавать сообщение — в течении 137 секунд. В этот промежуток времени он знал о событиях все, после него — ничего. Возможно, я бы это еще как-нибудь переварил, но открылось кое-что похуже. Компьютер предвидел будущее — и притом безошибочно. Для него не имело никакого значения, касается ли информация событий, совершившихся или только наступающих, — важно, чтобы они происходили в интервале двух минут и 17 секунд.(с)
---
— Отключенный от телетайпа, компьютер сначала замирал на две секунды, затем продолжал передавать сообщение — в течении 137 секунд. В этот промежуток времени он знал о событиях все, после него — ничего. Возможно, я бы это еще как-нибудь переварил, но открылось кое-что похуже. Компьютер предвидел будущее — и притом безошибочно. Для него не имело никакого значения, касается ли информация событий, совершившихся или только наступающих, — важно, чтобы они происходили в интервале двух минут и 17 секунд.(с)
---
Со временем из этого вырастет предсказание преступлений с ложными срабатываниями и с ложными же несрабатываниями — и оттого с необоснованными (на них основанными) репрессиями или освобождениями от ответственности (см. «Minority Report», «Psycho-Pass» и проч.).
В качестве шутки: если нейросеть может предсказать, что будет через секунду, то на основе своего предсказания она может предсказать, что будет в следующую секунду. И так далее.
При этом вероятность такой секунды предсказывания будет падать в геометрической прогрессии:
Первая 99.00%;
Вторая 49.50%
Третья 24.25%
…
Восьмая 0.75%
Первая 99.00%;
Вторая 49.50%
Третья 24.25%
…
Восьмая 0.75%
Мне кажется так мы и видим сны. Мне было бы интересно посмотреть, как нейронки видят сны.
См. google deep dream, если ещё не видели. Хотя по-моему уже все видели :)
Deep Dream только добавляет стилизацию и упоротость. Можно считать его фильтром фотошопа, но никак не генератором снов. Сон это всегда динамика, а не статическое изображение. А вот шутка в этом комментарии вполне себе такой сон построить сможет.
Я имею в виду deep dream видео, уже есть некоторое количество таких работ. Хотя там везде опять эти собачьи морды, все уже насмотрелись :)
В прикреплённом к статье видео есть примеры сгенерированных видосов, там уже само по себе сон и психодел, даже одна секунда. Дальше будет ещё хуже :) Ну и русский текст немного искажает смысл, генерация этих односекундных видео это не конечная цель исследователей и эти видео трудно назвать хоть немного реалистичными.
В прикреплённом к статье видео есть примеры сгенерированных видосов, там уже само по себе сон и психодел, даже одна секунда. Дальше будет ещё хуже :) Ну и русский текст немного искажает смысл, генерация этих односекундных видео это не конечная цель исследователей и эти видео трудно назвать хоть немного реалистичными.
Осталось дождаться, когда это появится в виде FPGA в телеках. И можно уменьшать фреймрейт на консолях до суперкинематографичного 15 fps
Вроде же уже в какой-то шлем виртуальной реальности внедрили чип дорисовывающий дополнительные кадры, пока комп тормозит, чтобы маскировать от пользователя лаги и рывки.
Вполне может и в следующем поколении консолей появиться с агрессивным маркетингом в виде стабильное 4к видео @ 60 FPS в любой игре. Только на нашей платформе (с).
Вполне может и в следующем поколении консолей появиться с агрессивным маркетингом в виде стабильное 4к видео @ 60 FPS в любой игре. Только на нашей платформе (с).
«два двух из трёх»
Господа восторженно комментирующие, вы хотя бы удосужились остановится на примерах работы, которые в приложенном видео так быстро пролистываются (не дай бог разглядят)? Снова купились на желтых заголовок?
Цитата из статьи:
На примерах тупо расплывается кадр в разные стороны, происходит какой-то ад. В тексте статьи идет какая-то дичь про роботов. Вот скажите, робот тупо нагенерил 25 следующих кадров. И как он дальше поймет хорошо он сделал или плохо? Будет на этих кадрах трупов искать?
По-поводу сетей, с адаптивным числом параметров (выше обсуждается). Да такие есть, но они работают плохо в сравнении со сверточными и глубокими архитектурами. Все последние прорывы, которые благодаря редакторам geektimes и прочим журналистам кажутся уже приближают создание ИИ, основаны именно на этих «глупеньких» сетях с фиксированным числом параметров. Причем последние тенденции с отказом от полносвязанных слоев продолжают уменьшать число параметров сети.
Во-вторых, снова кто-то сравнивает искусственные нейронные сети с человеческим мозгом. Хороший пример, когда дурацкая терминология дает журналисту хлеб. Хоть изначальная модель персептрона и создавалась как «модель работы клеток мозга» (напомню, что это было в 50-х годах), нынешние приемы построения моделей никак не связаны с человеком. Покажите мне медицинские статьи, где в голове нашли свертки, max-pooling, хитрые функции потерь, upsampling, batch normalization, стохастический градиентный спуск и пр.?
Просто уже наболело. Я комментарий такого рода пишу, похоже, регулярно раз в 1-2 месяца. Может тон грубоват, аргументы не отшлифованы в этот раз… Просто поймите, каждый день в лаборатории, где занимаются компьютерным зрением (а сейчас по большей части это те же нейронные сети), не вижу ни одного такого фанатика, какие есть тут среди комментаторов. А вообще такое ощущение, что снова время зря потратил…
Цитата из статьи:
Furthermore, by making the model conditional on an input image, our model can sometimes predict a plausible (but “incorrect”) future.
На примерах тупо расплывается кадр в разные стороны, происходит какой-то ад. В тексте статьи идет какая-то дичь про роботов. Вот скажите, робот тупо нагенерил 25 следующих кадров. И как он дальше поймет хорошо он сделал или плохо? Будет на этих кадрах трупов искать?
По-поводу сетей, с адаптивным числом параметров (выше обсуждается). Да такие есть, но они работают плохо в сравнении со сверточными и глубокими архитектурами. Все последние прорывы, которые благодаря редакторам geektimes и прочим журналистам кажутся уже приближают создание ИИ, основаны именно на этих «глупеньких» сетях с фиксированным числом параметров. Причем последние тенденции с отказом от полносвязанных слоев продолжают уменьшать число параметров сети.
Во-вторых, снова кто-то сравнивает искусственные нейронные сети с человеческим мозгом. Хороший пример, когда дурацкая терминология дает журналисту хлеб. Хоть изначальная модель персептрона и создавалась как «модель работы клеток мозга» (напомню, что это было в 50-х годах), нынешние приемы построения моделей никак не связаны с человеком. Покажите мне медицинские статьи, где в голове нашли свертки, max-pooling, хитрые функции потерь, upsampling, batch normalization, стохастический градиентный спуск и пр.?
Просто уже наболело. Я комментарий такого рода пишу, похоже, регулярно раз в 1-2 месяца. Может тон грубоват, аргументы не отшлифованы в этот раз… Просто поймите, каждый день в лаборатории, где занимаются компьютерным зрением (а сейчас по большей части это те же нейронные сети), не вижу ни одного такого фанатика, какие есть тут среди комментаторов. А вообще такое ощущение, что снова время зря потратил…
А не надо было читать изнасилованного журналиста. В статьях подобного рода важны две ссылки: на github и на arxiv. А в лаборатории никто не звал особо, так что развлекаюсь в домашних условиях. Вот на днях нагенерил, скажем. Исходник сверху слева, результат итераций снизу справа.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейросеть предсказывает 1 секунду будущего по фотографии