Google AI Research представила новую языковую модель Pathways Language Model (PaLM). По данным Google, PaLM способна понимать более 540 млрд параметров, включая сложные понятия и взаимосвязи, которые ранее были недоступны компьютерам. Модель может объяснять шутки, логически рассуждать, пояснять свои действия и писать код.
В прошлом году Google AI Research представила систему Pathways, которая может обобщать задачи и при этом быть высокоэффективной. Она позволяет ИИ решать множество проблем, а не обучать тысячи отдельных алгоритмов для выполнения узкой задачи.
«Представьте, что каждый раз, когда вы осваиваете новый навык (например, прыжки со скакалкой), вы забываете все, что умеете: как балансировать, как прыгать, как координировать движения рук — и начинаете учиться с нуля, — поясняет в блоге старший научный сотрудник Google Research Джефф Дин. — Вот так обучается большинство моделей. Мы же хотим, чтобы у ИИ были разные возможности, которые можно было бы использовать по мере необходимости и объединять для выполнения новых, более сложных задач, что немного ближе к тому, как работает мозг млекопитающих».
PaLM стала первым крупномасштабным примером использования Pathways. Ее обучили с использованием 6144 чипов в двух модулях Cloud TPU v4, что является самой большой конфигурацией системы для машинного обучения. Основой для модели стали англоязычные и многоязычные наборы текста из книг, Википедии, веб-документов, соцсетей и кода GitHub. Pathways дала PaLM способность к «цепочке рассуждений», что позволяет лучше решать задачи, требующие многошаговой арифметики или рассуждений на основе здравого смысла.
Машина также способна понимать шутки и пояснять, почему они смешные. Она также может писать новый код из простой текстовой подсказки, переводить код с одного языка на другой и исправлять ошибки компиляции в существующем коде.
PaLM протестировали на 29 задачах обработки языка, включая ответы на вопросы, задачи на понимание текста и рассуждения. В 28 из 29 случаев новая модель показала себя лучше, чем системы Google GLaM и LaMDA, OpenAI GPT-3, DeepMind Chinchilla и Gopher, а также NVIDIA и Microsoft Megatron-Turing NLG.
Google поясняет, что PaLM демонстрирует возможность масштабирования системы Pathways до тысяч чипов в двух модулях TPU v4. Дальнейшая цель состоит в том, чтобы поэкспериментировать с новой техникой и однажды создать единую систему ИИ, которая будет «обобщать тысячи или миллионы задач, обучаться на разных типах данных и делать это с поразительной эффективностью»
