С видео непонятно, в прес релизе заявлены текст, аудио и изображения, то есть она теперь их может как понимать, так и генерировать. Про видео не говорится. Но в одном из примеров была показана генережка 3D объекта. Так что диапазон модальностей там возможно больше. Эмпирически пока не проверить, выкатили пока только возможности с текстом и принятием изображений, остальное пока тестят на безопасность.
Из интересного еще хотелось бы почитать про AWQ и квантизацию реализованную в llama.cpp. И если AWQ еще можно полезть в оригинальную статью, то насколько я понимаю описание того как реализована квантизация в llama.cpp существует только в коммитах репы.
Гугли механизм kv -кэша. Это стандартный способ ускорения работы трансформерных llm-ок, засчет некоторого оверхеда по памяти, позволяющий при инференсе сделать вычислительную сложность атеншена линейной, а не квадратичной от количества токенов при авторегресивной генерации. По сути это сохранения результатов после k, v линейных слоев в память, что бы их каждый раз не пересчитывать. Это также позволяет считать атеншн только по последнему токену, а не по всем. Но вот только это работает, когда уже что-то закешировано. Когда же к нам приходит начальный набор токенов, что бы запустить генерацию для них нужно все посчитать все честно по старинке, что бы закешировать весь этот набор присланных начальных токенов.
Ну мало делают это смотря где. Если embedded разработка и нужно что бы работало на какой-нибудь платке да еще и в реальном времени, то делают часто. Опенсурсные энтузиасты LLM-ок тоже активно юзают и фактически развивают сейчас это направление. Ибо модели огромные и всем охота поиграться на домашних видеокартах, а не лезть в облака за A100 какой-нибудь. И тут весь цвет общества применяется. 16 бит для весов это уже стандарт, 8 бит и 4 бита легко. Плюс всякие GPTQ и AWQ методы. Другое дело что это у энтузиастов и всяких ребят решивших срубить денег как хостинги для опенсусрных моделей. Применяют ли все это большие ребята типа OpenAI или Anthropic в продакшене, черт его знает.
4 бита еще не самая большая наркомания в машинном обучении. Как вам 3 и даже 2 бита? Правда тут конечно уже не плавающая точка. И квантизация не везде проходит до 2 битов, но тем нем менее. Причем активно используется, когда дело касается опенсурсных LLM. Поддерживается библиотекой transformers.
Он наверное имел ввиду что Гедель под конец жизни стал параноиком с психическим расстройством личности. Наверное думает что платонизм его до такого довел, ну или что платонизм следствие этих проблем.
Поэтому большинство таких моделей обучают на порно/эротике для улучшения понимания анатомии, ну и соответственно при денойзе без гайданса (промпта) она склоняется к тому, на чём её обучали.
Скорее потому что на это есть большой спрос и первые люди которые дообучали обнаженку неплохо так с патреона денег собирали.
Но не от больших корпораций сеток немного BLOOM, gpt-j и т.д. Просто потому что языковые модели самые большие монстры в плане требований на компьютерные вычисления при обучении. И если не можешь себе позволить пару сотен a100 на несколько месяцев, то с нуля ты ничего не сделаешь. Поэтому языковыми моделями в основном занимаются только большие ребята.
Леметр вообще очень четко разделял науку и религию. И когда папа римский говорил, что теория большого взрыва это доказательство творения, Жорж был против таких высказываний.
А в более общем смысле, это что-то вроде ассоциативных связей между понятиями, получается?
Ну что-то вроде того.
А ванильные трансформеры на самом деле достаточно простые. В оригинале это архитектура энкодер декодер, то есть для перевода одних последовательностей токенов в другие, перевод языков к примеру. Взяли только энкодер получили Берта, который отлично подходит для энкодинга текстов и потом это можно использовать для классификаторов дополнительно присобачев и обучив соответствующий выходной слой. Взяли и нарезали изображение на патчи и превратили их в эмбединги используемые вместо эмбедингов токенов слов в Берте, привет VIT для компьютерного зрения. Взяли только декодер и получили GPT, который хорош для генережки. Но с фантазией их функции могут быть и более широкими. А дальше всякие локальные модификации этих штук и скрещивание с другими вещами.
Не, порядок в сетках трансформерах там вполне себе задается, через positional encoding который кодирует порядковую информацию о расположении по отношению друг к другу токенов подслов и эта информация добавляется к самим эмбедингам токенов. Кодироваться может явно через определенный алгоритм, либо да, можно сделать так, что бы это тоже выучивалось. Обычно для NLP берется первый вариант.
Основная же штука в трансформерах это механизм self-attention, который учится пониманию взаимоотношения поступивших токенов всех ко всем. Этих атеншенов там много и каждый из них учится какому-либо типу оценивающиму взаимотношения токенов друг к другу, условно к примеру смысловых или грамматических, ну или как раз к примеру сцеплять подслова в слова. Но опять же это условно, чему по итогу выучивается атеншен на практике часто очень сложно интерпретировать.
Если под ассоциативной памяти имеешь ввиду насколько большой контекст разговора может удержать сетка, то у разных моделей по разному, у GPT3 к примеру контекстное окно равно 2048 токенам, что грубо говоря около 500-1000 слов.
Также там приводятся примеры решения простых математических и физических задач, например, на преодоление расстояний. Но в этой нейросети общение идёт не просто диалогом, а сначала ей даются пара примеров вопроса и ответа и уже по этому образцу на следующий вопрос она даёт свои ответы, например, объясняя шутки.
А это очень интересная штука. Называется chain of thought prompting. Если давать достаточно большим моделям в качестве затравки, такой пример с вопрос и ответом с рассуждениями, нейронки достаточно сильно становится лучше в этой задаче. Но без этого, к примеру как тут затравить их как диалоговых чат-ботов они заметно тупеют в этом плане
Раскладываются на буквы и заполняют входы нейронной сети? То есть длина сообщения ограничена?
Это забыл уточнить, у каждого подслова в сформированном словаре имеется уникальный индекс и с ними как раз и работает сетка, onehot encoding и заворачивается в эмбеддинг, который учится совместно со всей остальной сеткой.
И да, у сеток обычно есть максимальная длина, с которой они могут работать.
Интересно, каким образом вообще поступают тексты на вход модели? Раскладываются на буквы и заполняют входы нейронной сети? То есть длина сообщения ограничена?
В NLP есть куча разных способов кодирования текста. Но для языковых моделей обычно используется Byte Pair Encoding или его вариации. Это алгоритм для формирования словаря из подслов, он тоже обучается на корпусе текстов, ну а точнее тупо итеративно строится статистика по частоте каких-либо сочетаний букв, добавляя то что встречается чаще, пока не достигается заданное ограничение на размер словаря.
От статистики текстов на которых мы обучали нейронку, контекста заданного на первых словах которые мы послали в нейронку и богов рандома, когда мы выбираем слова из генерируемого сетью распределения вероятностей по словарю.
С видео непонятно, в прес релизе заявлены текст, аудио и изображения, то есть она теперь их может как понимать, так и генерировать. Про видео не говорится. Но в одном из примеров была показана генережка 3D объекта. Так что диапазон модальностей там возможно больше. Эмпирически пока не проверить, выкатили пока только возможности с текстом и принятием изображений, остальное пока тестят на безопасность.
Из интересного еще хотелось бы почитать про AWQ и квантизацию реализованную в llama.cpp. И если AWQ еще можно полезть в оригинальную статью, то насколько я понимаю описание того как реализована квантизация в llama.cpp существует только в коммитах репы.
GPTQ и GGUF от TheBloke уже есть, но они конечно работают пока не в основных ветках библиотек.
Гугли механизм kv -кэша. Это стандартный способ ускорения работы трансформерных llm-ок, засчет некоторого оверхеда по памяти, позволяющий при инференсе сделать вычислительную сложность атеншена линейной, а не квадратичной от количества токенов при авторегресивной генерации. По сути это сохранения результатов после k, v линейных слоев в память, что бы их каждый раз не пересчитывать. Это также позволяет считать атеншн только по последнему токену, а не по всем. Но вот только это работает, когда уже что-то закешировано. Когда же к нам приходит начальный набор токенов, что бы запустить генерацию для них нужно все посчитать все честно по старинке, что бы закешировать весь этот набор присланных начальных токенов.
Ну мало делают это смотря где. Если embedded разработка и нужно что бы работало на какой-нибудь платке да еще и в реальном времени, то делают часто.
Опенсурсные энтузиасты LLM-ок тоже активно юзают и фактически развивают сейчас это направление. Ибо модели огромные и всем охота поиграться на домашних видеокартах, а не лезть в облака за A100 какой-нибудь. И тут весь цвет общества применяется. 16 бит для весов это уже стандарт, 8 бит и 4 бита легко. Плюс всякие GPTQ и AWQ методы.
Другое дело что это у энтузиастов и всяких ребят решивших срубить денег как хостинги для опенсусрных моделей. Применяют ли все это большие ребята типа OpenAI или Anthropic в продакшене, черт его знает.
4 бита еще не самая большая наркомания в машинном обучении. Как вам 3 и даже 2 бита? Правда тут конечно уже не плавающая точка. И квантизация не везде проходит до 2 битов, но тем нем менее. Причем активно используется, когда дело касается опенсурсных LLM. Поддерживается библиотекой transformers.
Он наверное имел ввиду что Гедель под конец жизни стал параноиком с психическим расстройством личности. Наверное думает что платонизм его до такого довел, ну или что платонизм следствие этих проблем.
Скорее потому что на это есть большой спрос и первые люди которые дообучали обнаженку неплохо так с патреона денег собирали.
Тут
https://arxiv.org/pdf/2203.15556.pdf
это наиболее влиятельная работа по оценке оптимальной тренировки языковых моделей для заранее заданных вычислительных бюджетов.
Ну можешь глянуть тут.
https://arxiv.org/abs/2303.18223
Но не от больших корпораций сеток немного BLOOM, gpt-j и т.д. Просто потому что языковые модели самые большие монстры в плане требований на компьютерные вычисления при обучении. И если не можешь себе позволить пару сотен a100 на несколько месяцев, то с нуля ты ничего не сделаешь. Поэтому языковыми моделями в основном занимаются только большие ребята.
Леметр вообще очень четко разделял науку и религию. И когда папа римский говорил, что теория большого взрыва это доказательство творения, Жорж был против таких высказываний.
Ну кстати. Если прямо запрашивать портрет, то результат обычно заметно лучше.
Надписи на изображениях это бич dall-e2. Но в гугловских imagen и parti это вроде как нормально работает.
Ну что-то вроде того.
А ванильные трансформеры на самом деле достаточно простые. В оригинале это архитектура энкодер декодер, то есть для перевода одних последовательностей токенов в другие, перевод языков к примеру. Взяли только энкодер получили Берта, который отлично подходит для энкодинга текстов и потом это можно использовать для классификаторов дополнительно присобачев и обучив соответствующий выходной слой. Взяли и нарезали изображение на патчи и превратили их в эмбединги используемые вместо эмбедингов токенов слов в Берте, привет VIT для компьютерного зрения. Взяли только декодер и получили GPT, который хорош для генережки. Но с фантазией их функции могут быть и более широкими. А дальше всякие локальные модификации этих штук и скрещивание с другими вещами.
Не, порядок в сетках трансформерах там вполне себе задается, через positional encoding который кодирует порядковую информацию о расположении по отношению друг к другу токенов подслов и эта информация добавляется к самим эмбедингам токенов. Кодироваться может явно через определенный алгоритм, либо да, можно сделать так, что бы это тоже выучивалось. Обычно для NLP берется первый вариант.
Основная же штука в трансформерах это механизм self-attention, который учится пониманию взаимоотношения поступивших токенов всех ко всем. Этих атеншенов там много и каждый из них учится какому-либо типу оценивающиму взаимотношения токенов друг к другу, условно к примеру смысловых или грамматических, ну или как раз к примеру сцеплять подслова в слова. Но опять же это условно, чему по итогу выучивается атеншен на практике часто очень сложно интерпретировать.
Если под ассоциативной памяти имеешь ввиду насколько большой контекст разговора может удержать сетка, то у разных моделей по разному, у GPT3 к примеру контекстное окно равно 2048 токенам, что грубо говоря около 500-1000 слов.
А это очень интересная штука. Называется chain of thought prompting. Если давать достаточно большим моделям в качестве затравки, такой пример с вопрос и ответом с рассуждениями, нейронки достаточно сильно становится лучше в этой задаче. Но без этого, к примеру как тут затравить их как диалоговых чат-ботов они заметно тупеют в этом плане
*Блин, не туда ответил.
Это забыл уточнить, у каждого подслова в сформированном словаре имеется уникальный индекс и с ними как раз и работает сетка, onehot encoding и заворачивается в эмбеддинг, который учится совместно со всей остальной сеткой.
И да, у сеток обычно есть максимальная длина, с которой они могут работать.
В NLP есть куча разных способов кодирования текста. Но для языковых моделей обычно используется Byte Pair Encoding или его вариации. Это алгоритм для формирования словаря из подслов, он тоже обучается на корпусе текстов, ну а точнее тупо итеративно строится статистика по частоте каких-либо сочетаний букв, добавляя то что встречается чаще, пока не достигается заданное ограничение на размер словаря.
От статистики текстов на которых мы обучали нейронку, контекста заданного на первых словах которые мы послали в нейронку и богов рандома, когда мы выбираем слова из генерируемого сетью распределения вероятностей по словарю.