Так мы и полностью согласны с вами:) В статье мы тоже подчеркнули, что любые когнитивные архитектуры не учитывают, как минимум эмерджентность сознания, как максимум – они остаются редукцией, упрощением к абстрактным понятиям. Поэтому нужны лишь для примерной симуляции сознания и удобства проведения экспериментов, некоторых исследований, а также задач робототехники. Тем более все когнитивные архитектуры работают над локальными задачами. Нам кажется, что попытка генерации мышления лучше проходит через воссоздание условий возникновения мышления, нежели через копирование его упрощенной структуры по канонам когнитивной психологии. Тому пример Grid Cells, сгенерированный нейросетью, на который мы ссылаемся в конце статьи.
Но, как нам кажется, подобные модифицированные архитектуры могли бы выступить прототипом координационных систем для будущего AGI.
Когнитивные нейросети используются в прикладных задачах, например, робототехники – они направлены на ключевую задачу роботов – моторные действия. Когнитивные архитектуры по типу ACT-R и SOAR придумали задолго до прорыва классических перцептронных нейронных сетей, особенно LLM на основе трансформерных технологий. Последние датированы выходом популярной статьи "Вам нужно лишь внимание..." 2017 года.
Когнитивные нейронные сети – это все еще нейронные сети, но работающие по другому принципу. Их основная задача – воссоздание человеческого поведения, отталкиваясь от схемы: стимул-действие. Их принцип строится не на производстве нового знания – они координируют уже готовые, предложенные программистом знания, чтобы мы получали поведение похожее на человеческое. Они не стремятся к симуляции памяти в первозданном виде или обработке естественного языка, или генерации воображаемых образов.
Поэтому ACT-R обучается правильно использовать шаблоны действий для паттернов ситуаций, а SOAR ставить последовательные цели и выбирать подходящие операции для выполнения конечной глобальной цели.
Если просто: когнитивные нейронные сети координируют информацию и позволяют нам получить симулированное человеческое поведение в упрощенном виде.
К сожалению, на данный момент прямых доказательств эффективного применения нейросетей в создании высококачественных игровых фреймворков может быть недостаточно. В статье, скорее, о том, что конкретно эти фреймворки, которые обозреваются в тексте, будут полезны в геймдеве и приведены факты, почему. Но вместе с тем следует учитывать, что развитие технологий ИИ в игровой индустрии продолжается, и с течением времени мы можем увидеть более широкое применение подобных методов. Спасибо за вашу заинтересованность и комментарий на эту тему.
Спасибо! Дааа, трансформеры - это настоящий космос в нейросетях, особенно когда речь идет о обработке последовательностей данных. Они не просто хранят всю инфу и дают доступ к ней по запросу, но еще и могут параллельно обрабатывать данные, что просто круто, особенно когда дело касается больших объемов информации.
Еще трансформеры умеют не только с естественным языком работать, но и с другими вещами, типа CV (компьютерного зрения), но это уже ViT, музыкального анализа, создания изображений - короче, везде, где нужно разгребать данные)
Благодарю за такой развернутый комментарий. Интересная мысль! Действительно, история с рекурентными сетями и трансформерами показывает, что понимание процесса обработки языка эволюционирует. Пришло осознание, что язык - это не просто последовательность слов, а сложная система коммуникации. Механизм внимания в трансформерах помогает увидеть текст целиком, без лишнего шума, и выделить смысловую ценность. В итоге, работа с трансформерами - это шаг вперед в понимании, как компьютеры могут обрабатывать язык на более глубоком уровне.
К ответам на предыдущие комментарии добавлю, что да, есть способы создания текста в определенном стиле, подобные тому, как LoRa используются для стилей в изображениях. Эти методы помогают применить стиль к тексту, созданному LLM. Например, вы можете написать тот же текст "в стиле Гоголя", не просто обучив модель на его книгах, но и научив ее имитировать его уникальный способ письма. Тут действительно нужно будет заморочиться с подготовкой датасета, плюс этот процесс требует специальных приемов обработки данных и инструкций для модели. Ещё можно добавлять определенные маркеры или указания в процессе генерации текста, чтобы указать модели, какой стиль нужно эмулировать. Это и позволит создавать тексты, которые соответствуют требуемому стилю, даже если модель была обучена на разнообразных данных.
Про железо это вы точно подметили, ещё как "пожирнее"), так как модели и данные могут быть огромными, поэтому будут нужны реально мощные компьютеры или доступ к большим сервакам.
Да, вы правы, LoRA помогает понять, какой вклад вносит каждый слой трансформера в вычисление результата модели, что позволяет оптимизировать процесс обучения и файнтюнинга. Этот метод приводит к высокой точности в задачах, которые связаны с обработкой естественного языка. И при этом не требуется огромное количество ресурсов.
Ещё можно добавить, что LoRA помогает избежать проблемы переобучения, которая часто возникает при файнтюнинге LLM. Это происходит потому, что LoRA оптимизирует только те слои модели, которые имеют наибольшее влияние на результат, а не все слои сразу.
Создание сложного адаптивного ИИ действительно является довольно узкой нишей в игровой индустрии, но... это не означает, что разработчики не должны стремиться к созданию более продвинутых систем. Хотя здесь тоже спорно, если у игры потрясающая сюжетка и графика, то это всегда выигрышное решение, чтобы круто заявить об игре, даже без адаптивного ИИ.
Спасибо за замечание. И да, теперь понимаем, о чём вы. Но радует, что разработчики все-таки сделали какие-то шаги, чтобы улучшить ситуацию, чтобы не разочаровывать в край свою публику)
Да, важно найти баланс между сложностью игры и уровнем... хмм, этого азарта и достижения цели у самого игрока. Адаптивный ИИ может быть сложной задачей, особенно если он должен подстраиваться под навыки игрока, чтобы сохранить интерес и вызвать чувство достижения. Однако, как вы справедливо отметили, слишком адаптивный ИИ может вызвать чувство обмана и потери мотивации. Поэтому важно иметь возможность настройки сложности игры, чтобы игрок мог самостоятельно регулировать уровень. Это позволит каждому игроку наслаждаться игровым процессом на своем уровне и в своем темпе.
В статье идёт речь про GPU, а ваш вопрос про TPU акселератор.
Чтобы ответить на ваш вопрос, можно вот что попробовать сделать:
1. Надо определить потребляемые ресурсы вашего контейнера.
2. Попробовать запустить. У нас опыта нет, чтобы протестить, но YOLO тянет (есть разборы).
Если не запустится, надо будет собирать контейнер на самой Raspberry Pi+Corall, также пока непонятно, какая у вас модель... Она просто ведь может не потянуть по характеристикам железа.
Так мы и полностью согласны с вами:) В статье мы тоже подчеркнули, что любые когнитивные архитектуры не учитывают, как минимум эмерджентность сознания, как максимум – они остаются редукцией, упрощением к абстрактным понятиям. Поэтому нужны лишь для примерной симуляции сознания и удобства проведения экспериментов, некоторых исследований, а также задач робототехники. Тем более все когнитивные архитектуры работают над локальными задачами. Нам кажется, что попытка генерации мышления лучше проходит через воссоздание условий возникновения мышления, нежели через копирование его упрощенной структуры по канонам когнитивной психологии. Тому пример Grid Cells, сгенерированный нейросетью, на который мы ссылаемся в конце статьи.
Но, как нам кажется, подобные модифицированные архитектуры могли бы выступить прототипом координационных систем для будущего AGI.
Когнитивные нейросети используются в прикладных задачах, например, робототехники – они направлены на ключевую задачу роботов – моторные действия. Когнитивные архитектуры по типу ACT-R и SOAR придумали задолго до прорыва классических перцептронных нейронных сетей, особенно LLM на основе трансформерных технологий. Последние датированы выходом популярной статьи "Вам нужно лишь внимание..." 2017 года.
Когнитивные нейронные сети – это все еще нейронные сети, но работающие по другому принципу. Их основная задача – воссоздание человеческого поведения, отталкиваясь от схемы: стимул-действие. Их принцип строится не на производстве нового знания – они координируют уже готовые, предложенные программистом знания, чтобы мы получали поведение похожее на человеческое. Они не стремятся к симуляции памяти в первозданном виде или обработке естественного языка, или генерации воображаемых образов.
Поэтому ACT-R обучается правильно использовать шаблоны действий для паттернов ситуаций, а SOAR ставить последовательные цели и выбирать подходящие операции для выполнения конечной глобальной цели.
Если просто: когнитивные нейронные сети координируют информацию и позволяют нам получить симулированное человеческое поведение в упрощенном виде.
Ахахах))
Спасибо!
Всегда пожалуйста :)
Большое спасибо за внимание и объяснение)
Ахахах :D
К сожалению, на данный момент прямых доказательств эффективного применения нейросетей в создании высококачественных игровых фреймворков может быть недостаточно. В статье, скорее, о том, что конкретно эти фреймворки, которые обозреваются в тексте, будут полезны в геймдеве и приведены факты, почему. Но вместе с тем следует учитывать, что развитие технологий ИИ в игровой индустрии продолжается, и с течением времени мы можем увидеть более широкое применение подобных методов. Спасибо за вашу заинтересованность и комментарий на эту тему.
Спасибо! Дааа, трансформеры - это настоящий космос в нейросетях, особенно когда речь идет о обработке последовательностей данных. Они не просто хранят всю инфу и дают доступ к ней по запросу, но еще и могут параллельно обрабатывать данные, что просто круто, особенно когда дело касается больших объемов информации.
Еще трансформеры умеют не только с естественным языком работать, но и с другими вещами, типа CV (компьютерного зрения), но это уже ViT, музыкального анализа, создания изображений - короче, везде, где нужно разгребать данные)
Благодарю за такой развернутый комментарий. Интересная мысль! Действительно, история с рекурентными сетями и трансформерами показывает, что понимание процесса обработки языка эволюционирует. Пришло осознание, что язык - это не просто последовательность слов, а сложная система коммуникации. Механизм внимания в трансформерах помогает увидеть текст целиком, без лишнего шума, и выделить смысловую ценность. В итоге, работа с трансформерами - это шаг вперед в понимании, как компьютеры могут обрабатывать язык на более глубоком уровне.
К ответам на предыдущие комментарии добавлю, что да, есть способы создания текста в определенном стиле, подобные тому, как LoRa используются для стилей в изображениях. Эти методы помогают применить стиль к тексту, созданному LLM. Например, вы можете написать тот же текст "в стиле Гоголя", не просто обучив модель на его книгах, но и научив ее имитировать его уникальный способ письма. Тут действительно нужно будет заморочиться с подготовкой датасета, плюс этот процесс требует специальных приемов обработки данных и инструкций для модели. Ещё можно добавлять определенные маркеры или указания в процессе генерации текста, чтобы указать модели, какой стиль нужно эмулировать. Это и позволит создавать тексты, которые соответствуют требуемому стилю, даже если модель была обучена на разнообразных данных.
Про железо это вы точно подметили, ещё как "пожирнее"), так как модели и данные могут быть огромными, поэтому будут нужны реально мощные компьютеры или доступ к большим сервакам.
Да, вы правы, LoRA помогает понять, какой вклад вносит каждый слой трансформера в вычисление результата модели, что позволяет оптимизировать процесс обучения и файнтюнинга. Этот метод приводит к высокой точности в задачах, которые связаны с обработкой естественного языка. И при этом не требуется огромное количество ресурсов.
Ещё можно добавить, что LoRA помогает избежать проблемы переобучения, которая часто возникает при файнтюнинге LLM. Это происходит потому, что LoRA оптимизирует только те слои модели, которые имеют наибольшее влияние на результат, а не все слои сразу.
Создание сложного адаптивного ИИ действительно является довольно узкой нишей в игровой индустрии, но... это не означает, что разработчики не должны стремиться к созданию более продвинутых систем. Хотя здесь тоже спорно, если у игры потрясающая сюжетка и графика, то это всегда выигрышное решение, чтобы круто заявить об игре, даже без адаптивного ИИ.
Спасибо за замечание. И да, теперь понимаем, о чём вы. Но радует, что разработчики все-таки сделали какие-то шаги, чтобы улучшить ситуацию, чтобы не разочаровывать в край свою публику)
Да, важно найти баланс между сложностью игры и уровнем... хмм, этого азарта и достижения цели у самого игрока. Адаптивный ИИ может быть сложной задачей, особенно если он должен подстраиваться под навыки игрока, чтобы сохранить интерес и вызвать чувство достижения. Однако, как вы справедливо отметили, слишком адаптивный ИИ может вызвать чувство обмана и потери мотивации. Поэтому важно иметь возможность настройки сложности игры, чтобы игрок мог самостоятельно регулировать уровень. Это позволит каждому игроку наслаждаться игровым процессом на своем уровне и в своем темпе.
Спасибо за развернутый комментарий!
:D
Спасибо!)
В статье идёт речь про GPU, а ваш вопрос про TPU акселератор.
Чтобы ответить на ваш вопрос, можно вот что попробовать сделать:
1. Надо определить потребляемые ресурсы вашего контейнера.
2. Попробовать запустить. У нас опыта нет, чтобы протестить, но YOLO тянет (есть разборы).
Если не запустится, надо будет собирать контейнер на самой Raspberry Pi+Corall, также пока непонятно, какая у вас модель... Она просто ведь может не потянуть по характеристикам железа.