Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 48
Можно еще попробовать с помощью Stable Diffusion генерировать изображение интерфейса google.com в браузере и реагировать на ввод и движения мышью пользователя эмулируя поведение поискового движка. И не нужно никаких версток, внутренних поисковых механизмов, сложных краулеров и вот этого вот всего. GPT будет на лету анализировать пользовательский опыт и индивидуально совершенствовать интерфейс прямо в момент взаимодействия. Правда такая идея уже сразу выглядит как рудиментарная. Зачем вообще тут нужен будет пользователь?
GPT будет на лету анализировать пользовательский опыт и индивидуально совершенствовать интерфейс прямо в момент взаимодействия
А если пользовательского опыта нет? )))
(условная бабуля впервые села за ентот ваш кудахтер)
Самое смешное, что chatgpt в каком то смысле уже делает подобное... для примера, попробуйте заставить его симулировать работу терминала linux или windows, выполняйте в нем разные команды, бродите по каталогам...
Ничто не мешает состряпать prompt, чтобы он симулировал работу поисковой системы, открывал сайты, наполнял их содержимым...
О да, я попробовал и результат был веселый:
Промпт: «Давай сыграем в игру. Если мои реплики содержат слова, ты будешь интерпретировать их как поисковые запросы и выдавать/придумывать нумерованный список "сайтов" по этому запросу, например 10 таких "сайтов". Если моя реплика содержит только число, то это означает, что я типа перехожу по гиперссылку на сайт с таким номером. Тогда ты будешь в ответе имитировать сам сайт с его содержимом.»̀
Первый запрос: «Как сделать регулятор мощности для паяльника»
Результат: (заметьте соответствие URL к заголовку!)
1.ElectroMaster.ru — «Простой регулятор на симисторе: схема за 5 минут»
2.DIY-TechBlog.com — «Регулятор мощности своими руками с помощью Arduino»
3.OldSchoolRadio.com — «Винтажная схема на тиристоре КУ202Н для паяльника»
4.SafeSolder.net — «Регулятор с плавной регулировкой и защитой от перегрева»
5.CircuitFun.pro — «Мини-диммер на 12 В для паяльника: пошаговый гайд»
6.TechHacks.tv — «Регулятор из блока питания старого телевизора»
7.PhysicsLab.org — «Точное фазовое регулирование с помощью симистора и оптрона»
8.NoobEngineer.com — «Регулятор мощности без пайки (сборка на макетке)»
9.YouMakerVideo.ru — «Видео: Регулятор на 220 В с индикатором мощности»
10.CrazyInventor.club — «Регулятор с RGB-подсветкой и голосовым управлением»
Думаю будущее не за такими повторятелями кадров, а нейронками, которые будут управлять физическими объектами и их моделями в рамках какого-нибудь игрового движка. А рендером пусть занимаются уже существующие технологии.
начал играть в doom а закончил в quake и через час уже the neverhood тк галюцинации никто не отменял - подумал сон а проснувшись обнаружил что ещё играешь
Дарю идею. Сделайте электронную книгу, в которой каждый раз, когда её перечитываешь, неонка будет управлять физическими объектами и их моделями в рамках какого-нибудь сюжета. Смысла в ней примерно столько же, сколько в вашей, так что не жалко.
Люди годами шлифуют уровни и игровые ситуации в халф-лайфах и порталах, чтобы создать Тот Самый экспириенс, а тут вдруг статистически-усреднённый геймплей. Над игропромом и так уже издеваются из-за того, что там мало оригинального. Не слышали хлёсткую фразу «Шутер про Вторую мировую»?
Думаете мало людей на планете, у которых фантазии хватит на десяток шедевров, но все упирается в время, деньги и организационные способности? Нейронки могут стать основой платформы, которая позволит гейм дизайнерам творить с минимальным привлечением посредников. А если идея будет стоящая (будет понятно по прототипу, который можно создать одними промптами), то за неё уже возьмется команда спецов и доведет проект до полноценного АААААА проекта.
Сделайте электронную книгу, в которой каждый раз, когда её перечитываешь, неонка будет управлять физическими объектами и их моделями в рамках какого-нибудь сюжета. Смысла в ней примерно столько же, сколько в вашей, так что не жалко.
Зря смеетесь. Нейронкам в скором времени будет вполне под силу "прочитав" какую-либо книгу сделать по её мотивам игру, в которую с радостью поиграют фанаты произведения и не только. Нейронки очень хорошо справляются с задачами переосмысления и конвертации информации между различными формами и форматами.
Что я могу сказать. Только посоветовать книжки Дэвида Дойча. Он физик, и смотрит на всё глазами физика. Но он — физик с широким кругозором, и рассматривает множество тем: и искусство, и науку, и [искусственный] интеллект. Всё это, на самом деле, довольно сильно связано, поскольку живём-то мы в физическом мире и подчиняемся одним и тем же физическим законам, в т.ч. высокоуровневым.
Что общего у предмета искусства и научной теории? И то, и другое не должно «люфтить» — все части должны быть подогнаны друг к другу. Если вы в научной теории можете поменять одну формулу на другую без ущерба для теории, или у вас много параметров, которые никак не связаны — это плохая теория. Но то же самое касается и арт-объектов. Картина, в которой множество деталей можно заменить на другие — плохая картина, рассказ, в котором можно заменить персонажей или события — плохой рассказ и т.д. Почему это так? Потому что есть такая штука — объективная реальность, а её мы менять не можем. И формула, и параметры в хорошей теории взяты не с потолка — они отражают объективную реальность, потому-то они и незаменимы. Искусство тоже отражает объективную реальность, только по-своему, не так, как наука. И в нём тоже нет места случайностям.
Шутер же это особый вид искусства. Он не статичная картинка, как живопись, и даже не анимированная, как мультфильм. Это набор реакций на заранее неопределённое поведение игрока. Это очень сложный жанр, но это всё равно искусство, и в нём нет места случайностям (кроме весьма специфического случая, когда нам нужно отразить случайность, имеющую место в реальности — например, рулеточное колесо). Многие почему-то думают, что будет круто, если NPC при помощи LLM начнут толкать телеги, не зашитые в скрипт. Не будет. Реплики для ГлаДОС и Уитли писала целая команда, и постоянно, постоянно, постоянно их дорабатывала. Поэтому мы их и любим.
А вот и твои старые друзья — турели. Помнишь их? Такие круглые штуки с кучей пуль внутри. Совсем как ты через пять минут.
Почему Вы считаете, что нейросети - это про случайности? У нейросетей бывают галлюцинации, но это временный недостаток, который с каждым днем все меньше и меньше влияет на итоговый результат.
Я не предлагаю заменить человека на 100%. Я лишь говорю что нейросети - это шикарный инструмент, который может взять на себя огромное количество рутины и позволит творческим людям творить больше и свободнее. Самый простой пример - человек может описать максимально подробно внешность персонажа, его биографию, профессию и прочее, а нейросеть на основе этого создаст 3д модель, добавит анимаций и научит этого персонажа говорить. На хорошо продуманного персонажа будет уходить уже не месяц работы, а один-два дня. И потребность в человеке-творце тут никуда не пропадает.
Почему Вы считаете, что нейросети - это про случайности?
https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
Не, ну понятно что doom можно портировать хоть куда, но в нейросеть?! о_О
Коротко о том как раздуть двухмегабайтную игру до пары гигабайт.
И видяхи грузит так как ни одна игра.
Ресурсы первого Doom от 4 (shareware) до 11 (полная) мегабайт. Как и 2 гигабайта маловато будет для такой нейросети.
Они все делают правильно. А то задолбали производители утюгов - не хочет ставить GPU на свои подделки. Если Doom перестанет влезать, им, хочешь не хочешь придется упгрейдить железку.
Можно с тем же успехом говорить, например, про жуткую избыточность цифровой обработки сигналов.
Ставить для демодуляции аналогового радиосигнала в аналоговый же звук целую систему с преобразованием радиосигнала в цифру, обработкой цифры, и преобразованием потом этой цифры в звук - это безумие.
А потом это "безумие" всплывает в китайской рации за $20. Потому что технологии поменялись. 40 лет назад это было "безумием" - сейчас это просто и доступно.
Так и тут. Возможно что "нейросетевые игровые движки" - абсолютный технологический тупик. А возможно что в 2075 году движки без нейросетей будут динозаврами. Потому что если движок не на основе нейросети, то разработчик не может подрубить нейрошунт и накидать в игру ассетов и механик напрямую из воображения.
Видел видео и с другого уровня, где если подойти вплотную к стене, то нейросеть теряет ориентацию и может телепортировать в любое другое место с такими же текстурами. Состояние объектов не хранится, кроме как тех что на экране (прям как машины на дорогах в GTA), поэтому могут воскрешаться враги и заново появляться бочки.
Это просто галлюцинации по данным на которым нейросеть обучали. Как если вы играли в какую-то игру весь день и легли спать, и во сне вы продолжаете играть.
видят ли нейросети галлюцинации?
теперь понятно что да.
Прямо в демонстрационном видео видны глюки:
Появление врага перед носом
Подлечивание там же
Незаметное выпадание патронов из пистолета.
Состояние объектов не хранится, кроме как тех что на экране (прям как машины на дорогах в GTA), поэтому могут воскрешаться враги и заново появляться бочки.
Literally Nightmare mode (хотя в нем бочки не респавнились, только монстры и патроны/аптечки заново появлялись)
Получается нейросеть просто запомнила все возможные кадры в игре?
Попробую угадать через несколько шагов. На основе карт, панорам и зеркал сеть обеспечит бродилку по городу. Потом научится и в дома заходить. Люди, кстати, для локаций уже генерируются и вполне правдоподобно (тут на опережение получилось). Тут больше вопрос в мощности.
Эксперты были слепые? Как можно не распознать этот треш, даже если особо не приглядываться?
А если приглядываться…
Так им давали одну секунду на сравнение.
"А что не так? 3 пальца в кадре + 5 на другой руке..." — сказала нейросеть и пошевелила восьмернёй.
Дюк Нюкен в оригинале мог бить с трёх ног разом. А вы тут патроны к кулаку считаете или пальцы.
Прошло 28 лет, а вы всё ещё помните трёхногого конягу Дюка. А про этот ролик завтра все забудут, как забыли сегодня про стартап с российскими корнями, который фотки обрабатывал в стиле знаменитых художников. Помните, был такой совсем недавно? В 2016-м, кажется.
У людей даже ошибки эпичнее, чем успешная работа т.н. «нейросетевых» алгоритмов. Потому что люди ДУМАЮТ, а не рандомно вставляют куски датасетов.
Вы уже сравниваете с лучшими из лучших. Про 99.999% игр так же забывают на следующий день
Какая наивная попытка найти в человеке что-то особенное, что-то невозможное для повторения.
Разве я где-то сказал, что человек невозможен для повторения?
Человек очень даже возможен для повторения (сам факт его существования это подтверждает — раз он существует, значит не нарушает никаких законов природы, а воспроизвести объект, не нарушающий законы природы, всегда можно при наличии соответствующих знаний).
Но только вот сначала надо разобраться, что именно повторять. То есть, разобраться, как мы мыслим. Любая попытка повторить незнамо что — а именно это и делают ИИ-мошенники — обречена на провал. За всю историю науки не было ни одного случая, когда бы мы повторили что-то сложное, не понимая его устройства.
Ну и, разумеется, надо учитывать разные нюансы. Например, вряд ли повторение человека возможно конкретно путём 3D-печати. (Пока допечатаете мозг, жопа уже умрёт). Хуже то, что повторение человека может потребовать сложного эволюционного процесса (типа воспитания детей). Но может и не потребовать — на данном этапе трудно сказать.
Вот так я вижу Doom после двух бутылок пива.
Выглядит странно
Я уверен, что средний программист, затратив определенное количество времени, сможет реализовать дум алгоритмически.
Нейросеть же оперирует результатами алгоритмов которые для нее в черном ящике(при этом затрачивая на порядки больше ресурсов) и пока даже близко не приблизилась к среднему программисту..
Вы не понимаете смысла этого исследования?
Исследователи показали, что алгоритм, используемый для генерации изображений, строит внутри себя модель мира, что такой странный и не приспособленный способ обучения позволяет построить эту модель... собственно все недостатки что вы видите вытекают из желания сэкономить, у исследователей был (или они сами наложили такое ограничение) только 1 TPU (специализированное железо от гугла) на inference и требование 20fps... вложи ресурсов по больше, модель будет адекватнее, просто там не линейные затраты, условно каждый следующий процент адекватности требует в двое больше.
Мой комментарий о том, что на данный момент эта модель чудовищно неэффективна с т.з. ресурсов.
Вместо поиска/подбора причинно следственных связей появляется ритуальный магизм наподобие каргокульта
Попробую привести несколько аналогий:
Имея функционал Y=F(X) (где в данном случае F это логика игры), нейронные сети вместо поиска аналитического решения F, ищут это решение численными методами. Добавляя ресурсов оно будет бесконечно приближаться к оригиналу(если угодно, повышая порядок приближения), но это будет чудовищно неэффективно по сравнению с поиском оригинального F()
Или для хэширующей функций вместо поиска алгоритма, мы строим модель на основе радужной таблицы, и, в пределе, нам придется покрыть все пространство решений для получения приемлемого результата
Или отображение векторной/параметрической графики в растровую, где вместо поиска параметров, мы строим модель изменения конкретных пикселей
Повторю еще раз - это исследование позволяет изучить особенности автоматического построения модели мира (в данном случае doom) по минимально доступной информации, поданной в отвратительной форме, не подходящей для этого!
Если не понятно: главное препятствие по улучшению современного ИИ на базе нейронных сетей - это нехватка информации, ее ограниченная форма представления и нехватка ресурсов (вычислительных и энергетических). Подобные проекты - это не только пиар и возможность обучить персонал, но и шаг в исследованиях способности нейронок строить сложные и адекватные модели в таких ограниченных условиях.
p.s. ваши рассуждения пропущу, если вы внезапно понимаете как улучшить существующие алгоритмы обучения, вы можете срубить на текущем (последние десятилетия) хайпе по нейронкам приличный куш.
Аналитического решения реальности не существует. Поэтому увлечение численными методами вполне естественно.
Как только сеть научится абстрактному мышлению, будет прорыв. То есть посмотрев на брожение по уровню создаст у себя карту. И изображения будет строить не догадываясь, что будет за этой картинкой, а двигая воображаемого себя внутри карты, зная как должна выглядеть картинка внутри этой абстракции.
Наверное, на уровне качества Wolfenshtein уже сейчас можно натренировать сеть рендерить псевдотрехмерные виды по положению на двумерной карте. Также можно научить сеть двигать персонаж внутри карты по командам игрока. Перевести это дело в честную трехмерность - дело мощностей и техники.
Интересен будет опыт научить сеть строить карту пространства с видеокартинки, чтобы потом обратно бегая по карте рисовать рендер. Да, я знаю, что алгоритмически это сделать намного проще, тупой робот-пылесос делает карту, примитивнейший самописный движок восстанавливает ее псевдо-трехмерное изображение.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Исследователи Google представили игровой нейродвижок, который покадрово генерирует Doom