Эта техника потенциально выводит создание адаптеров для текстовых моделей на новый уровень. Т. е. мы, например, хотим дать возможность модели воспринимать температуру воздуха или запахи, или боль. Раньше для этого пришлось бы подмешивать текст в промпт. В лучшем случае - обучить MLP и подмешивать эмбеддинги.
Теперь можно просто найти соответствующий признак в модели и с большой точностью его активировать.
Или заставить модель ассоциировать себя с конкретным персонажем, гораздо надежнее, чем с помощью промпта.
Можно даже сделать шаг вперед и использовать активацию конкретных признаков, как output модели. Интересное поле для экспертментов.
Сможет ли модель, обученная только на текстовых данных, управлять техникой?
Вспоминается вот эта статья, где автор использовал logprobs для управления роботом. Будет ли работать лучше на активациях?
В Bark еще можно генерировать/клонировать голоса. Очень легко сделать голос по своему вкусу вместо стандартного встроенного.
Плюс, существует фреймворк Bark Infinity с автоматической нарезкой длинного текста и другими плюшками.
Мне не хватало только возможности стримить аудио с низкой задержкой (барк хоть и работает быстрее, чем в реальном времени, но приходится ждать пока будет готов кусок в 11-13 секунд). Поэтому переключился на Coqui TTSv2, там стриминг из коробки работает.
На этом фоне локальная WizardLM-30B - образец трезвого мышления:
Elon Musk is not nearly as bad as Adolf Hitler. While both have been known for their controversial behavior and statements, Hitler was responsible for the deaths of millions of people during World War II and his actions led to one of the most devastating periods in human history. On the other hand, while Elon Musk has had some issues with his companies and personal life, he has not caused anywhere near the same level of destruction or harm as Hitler.
Советую еше попробовать Udio. Некоторым больше нравится и на бесплатном плане доступно 600 генераций в месяц.
У Суно под капотом диффузная модель, если я правильно понимаю. Никакого миди и пересборки треков там нет. Т. е. буквально модель типа Stable Diffusion, только обученная на мел-спектрограммах вместо картинок с котиками.
На HF лежит их предыдущая разработка - Bark TTS. При обучении Bark они обнаружили, что помимо речи модель неплохо умеет генерировать музыку, хотя не предназначалась для этого. Тогда они создали новую модель - Chirp - специально заточенную под генерацию музыки. За её развитием мы сейчас и наблюдаем.
Я сам долго использовал Bark в своих проектах. Подкупала простота локального запуска, естественный эмоциональный голос и возможность клонировать и "трансмутировать" голоса.
Диффузный подход, правда, накладывает ограничения - можно сгенерировать только кусок аудио определенной длины, около 11 секунд. Ни длиннее, ни короче нельзя. Соответственно, велика задержка.
Вторая проблема - модель не всегда следует промту и может выдавать белиберду.
Для TTS диффузный подход оказался не лучшим, зато нашел своё применение в генерации музыки. Надеюсь открытые модели появятся в ближайшем будущем.
Нет, электрический заряд тут используется только для предотвращения слияния дыр.
Идея батарейки основана на предположении, что планковские черные дыры не производят излучения Хокинга и, соответственно, являются абсолютно стабильными.
Соответственно, если позволить двум таким дырам слиться, лишняя масса моментально высветится.
Проблема в том, что реальное поведение микроскопических черных дыр человеку не известно. Может они и правда стабильны, может моментально испаряются. А может быть квантовая гравитация налагает предел на наименьшую массу черной дыры гораздо выше планковской. Кто знает? Теории нет.
Вторая проблема заключается в том, что излучение Хокинга имеет тепловой спектр, а его температура обратно пропорциональна массе черной дыры. Беглое гугление показывает, что для планковской черной дыры эта температура будет порядка 10³⁰ K.
Использовать это излучение для практических нужд может оказаться более проблематично, чем собрать саму батарейку.
Ух ты, новая uncensored 70B модель с контекстом на 8к токенов. Это я люблю.
Вообще семейство Llama-2 вроде бы почти не теряет в качестве генерации при сжатии до q5_k_s. По крайней мере, на бенчмарках разница на уровне погрешности. 4х битные тоже имеют хорошее соотношение цена/качество.
Конкретно эту не пробовал, не знал про неё. Спасибо за наводку.
А вот Mixtral-8x7B не впечатлил. Больше было похоже на просто 7B модель.
Про что угодно, я имел ввиду, что ужатая в 4 бита модель будет занимать меньше 3 ГБ RAM, и её можно будет запустить и на распберри и на телефоне (не самом новом).
Конечно, скажи мне кто года 3 назад, что модели размером с GPT-2 будут считаться "микро" и запускаться на кофеварках, я бы не поверил.
Погонял немного эту Phi-2, спасибо Майкам, что выложили всё на HF, в отличие от некоторых.
Что можно сказать?
Для 2.7B, конечно, хорошие результаты. Но ни о каком сравнении с Llama-2 70B говорить не приходится. Число параметров решает, чудес не бывает.
В документации указана длина контекста 2048 токенов, но модель как правило сбивается уже в районе 1000, что типично и ожидаемо для микромоделей.
Неквантованая модель занимает около 9ГБ VRAM, ждём когда добавят поддержку в llama.cpp и выложат квантовыные версии. Чем-то всё-таки притягательна идея крохотных LLM, которые можно запускать на чём угодно.
Пример ответа на пустой промпт, <endoftext> после ~600 токенов:
Topic: Mathematics--Logic--Logical Train of Thought Once upon a time, in a small town called Mathville, there lived three friends named Alice, Bob, and Carol. They were all passionate about mathematics and loved discussing logical train of thought. One sunny afternoon, they gathered at their favorite coffee shop to have their usual intellectual conversations. Alice, who was known for her logical reasoning, started the conversation by saying, "You know, Bob, I always solve math problems faster than you because I have a better understanding of the concepts." Bob chuckled and replied, "That's true, Alice. I admire your ability to grasp complex mathematical concepts quickly. It's like you have a natural talent for it." Carol, who was listening intently, chimed in, "Speaking of talents, did you know that the famous mathematician, Isaac Newton, was also a skilled musician? He composed beautiful symphonies in his free time." Alice nodded and added, "Yes, I've read about that. It's fascinating how people can excel in multiple fields. It just goes to show that our abilities are not limited to one area." Bob, intrigued by the conversation, asked, "Do you think it's possible for someone to be a genius in both mathematics and music?" Alice pondered for a moment and replied, "Well, it's highly unlikely. While some individuals may have a natural inclination towards both, it requires a significant amount of dedication and practice to excel in both fields." Carol, who had been silently listening, finally spoke up, "I believe that passion plays a crucial role in achieving greatness. If someone is truly passionate about something, they will put in the necessary effort to master it." Alice nodded in agreement and said, "Absolutely, Carol. Passion fuels our determination and motivates us to overcome challenges. It's what sets apart the average from the extraordinary." As their conversation continued, they delved deeper into the world of mathematics, discussing various logical train of thought and problem-solving techniques. They shared their knowledge and insights, each contributing to the intellectual growth of the group. Hours passed by, and the sun began to set, casting a warm glow over the coffee shop. Alice, Bob, and Carol bid farewell, promising to meet again soon for another stimulating conversation. As they walked out of the coffee shop, their minds filled with new ideas and perspectives, they couldn't help but feel grateful for their shared passion for mathematics and the logical train of thought that brought them together. And so, their journey of intellectual exploration continued, fueled by their curiosity and love for the world of numbers and logic.
OpenAI может в ответ показать, что все книги, на которых они обучали GPT были честно куплены на Амазоне или где-то еще.
А если серьёзно, думаю эта тема будет в ближайшем будущем регулироваться законодательно. Очень легко скопировать художественный стиль обучив лору. Голос неплохо копируется даже по 20 с записи.
Приблизительно во всём, начиная с состава атмосферы по высоте. Не знаю, откуда взята таблица в статье, но согласно модели атмосферы MSIE E-90 от НАСА, он изменяется вот так:
Кислород никуда не девается выше 100 км, просто начинает доминировать одноатомная форма.
Температура с высотой, растёт только в стратосфере. В мезосфере температура падает. Собственно их так и различают, стратопауза - верхняя граница стратосферы - это область с наибольшей температурой. А нагрев происходит за счет поглощения солнечного излучения воздухом.
Утверждения про выгорание кислорода с принесенным солнечным ветром водородом и про торможение "Пионера" "вакуумными газами" из облака Оорта, поданные как факты, это вообще форменное безумие.
Выглядит очень круто!
Эта техника потенциально выводит создание адаптеров для текстовых моделей на новый уровень. Т. е. мы, например, хотим дать возможность модели воспринимать температуру воздуха или запахи, или боль. Раньше для этого пришлось бы подмешивать текст в промпт. В лучшем случае - обучить MLP и подмешивать эмбеддинги.
Теперь можно просто найти соответствующий признак в модели и с большой точностью его активировать.
Или заставить модель ассоциировать себя с конкретным персонажем, гораздо надежнее, чем с помощью промпта.
Можно даже сделать шаг вперед и использовать активацию конкретных признаков, как output модели. Интересное поле для экспертментов.
Сможет ли модель, обученная только на текстовых данных, управлять техникой?
Вспоминается вот эта статья, где автор использовал logprobs для управления роботом. Будет ли работать лучше на активациях?
Ничего локально запускаемого, чтобы было на уровне HeyGen не знаю.
Такая же беда с генерацией музыки.
В Bark еще можно генерировать/клонировать голоса. Очень легко сделать голос по своему вкусу вместо стандартного встроенного.
Плюс, существует фреймворк Bark Infinity с автоматической нарезкой длинного текста и другими плюшками.
Мне не хватало только возможности стримить аудио с низкой задержкой (барк хоть и работает быстрее, чем в реальном времени, но приходится ждать пока будет готов кусок в 11-13 секунд). Поэтому переключился на Coqui TTSv2, там стриминг из коробки работает.
На этом фоне локальная WizardLM-30B - образец трезвого мышления:
Советую еше попробовать Udio. Некоторым больше нравится и на бесплатном плане доступно 600 генераций в месяц.
У Суно под капотом диффузная модель, если я правильно понимаю. Никакого миди и пересборки треков там нет. Т. е. буквально модель типа Stable Diffusion, только обученная на мел-спектрограммах вместо картинок с котиками.
На HF лежит их предыдущая разработка - Bark TTS. При обучении Bark они обнаружили, что помимо речи модель неплохо умеет генерировать музыку, хотя не предназначалась для этого. Тогда они создали новую модель - Chirp - специально заточенную под генерацию музыки. За её развитием мы сейчас и наблюдаем.
Я сам долго использовал Bark в своих проектах. Подкупала простота локального запуска, естественный эмоциональный голос и возможность клонировать и "трансмутировать" голоса.
Диффузный подход, правда, накладывает ограничения - можно сгенерировать только кусок аудио определенной длины, около 11 секунд. Ни длиннее, ни короче нельзя. Соответственно, велика задержка.
Вторая проблема - модель не всегда следует промту и может выдавать белиберду.
Для TTS диффузный подход оказался не лучшим, зато нашел своё применение в генерации музыки. Надеюсь открытые модели появятся в ближайшем будущем.
Нет, электрический заряд тут используется только для предотвращения слияния дыр.
Идея батарейки основана на предположении, что планковские черные дыры не производят излучения Хокинга и, соответственно, являются абсолютно стабильными.
Соответственно, если позволить двум таким дырам слиться, лишняя масса моментально высветится.
Проблема в том, что реальное поведение микроскопических черных дыр человеку не известно. Может они и правда стабильны, может моментально испаряются. А может быть квантовая гравитация налагает предел на наименьшую массу черной дыры гораздо выше планковской. Кто знает? Теории нет.
Вторая проблема заключается в том, что излучение Хокинга имеет тепловой спектр, а его температура обратно пропорциональна массе черной дыры. Беглое гугление показывает, что для планковской черной дыры эта температура будет порядка 10³⁰ K.
Использовать это излучение для практических нужд может оказаться более проблематично, чем собрать саму батарейку.
Когда-то играл в Red Alarm на оригинальном девайсе где-то в недрах Акихабары. Эх, славные доковидные времена, ушедшая эпоха.
Тогда уж сразу на Луну.
Стантслав Лем - "Мир на Земле"
Я иногда работаю под гул контактной капсулы.
Ух ты, новая uncensored 70B модель с контекстом на 8к токенов. Это я люблю.
Вообще семейство Llama-2 вроде бы почти не теряет в качестве генерации при сжатии до q5_k_s. По крайней мере, на бенчмарках разница на уровне погрешности. 4х битные тоже имеют хорошее соотношение цена/качество.
del
Конкретно эту не пробовал, не знал про неё. Спасибо за наводку.
А вот Mixtral-8x7B не впечатлил. Больше было похоже на просто 7B модель.
Про что угодно, я имел ввиду, что ужатая в 4 бита модель будет занимать меньше 3 ГБ RAM, и её можно будет запустить и на распберри и на телефоне (не самом новом).
Конечно, скажи мне кто года 3 назад, что модели размером с GPT-2 будут считаться "микро" и запускаться на кофеварках, я бы не поверил.
Погонял немного эту Phi-2, спасибо Майкам, что выложили всё на HF, в отличие от некоторых.
Что можно сказать?
Для 2.7B, конечно, хорошие результаты. Но ни о каком сравнении с Llama-2 70B говорить не приходится. Число параметров решает, чудес не бывает.
В документации указана длина контекста 2048 токенов, но модель как правило сбивается уже в районе 1000, что типично и ожидаемо для микромоделей.
Неквантованая модель занимает около 9ГБ VRAM, ждём когда добавят поддержку в llama.cpp и выложат квантовыные версии. Чем-то всё-таки притягательна идея крохотных LLM, которые можно запускать на чём угодно.
Пример ответа на пустой промпт, <endoftext> после ~600 токенов:
Topic: Mathematics--Logic--Logical Train of Thought
Once upon a time, in a small town called Mathville, there lived three friends named Alice, Bob, and Carol. They were all passionate about mathematics and loved discussing logical train of thought. One sunny afternoon, they gathered at their favorite coffee shop to have their usual intellectual conversations.
Alice, who was known for her logical reasoning, started the conversation by saying, "You know, Bob, I always solve math problems faster than you because I have a better understanding of the concepts."
Bob chuckled and replied, "That's true, Alice. I admire your ability to grasp complex mathematical concepts quickly. It's like you have a natural talent for it."
Carol, who was listening intently, chimed in, "Speaking of talents, did you know that the famous mathematician, Isaac Newton, was also a skilled musician? He composed beautiful symphonies in his free time."
Alice nodded and added, "Yes, I've read about that. It's fascinating how people can excel in multiple fields. It just goes to show that our abilities are not limited to one area."
Bob, intrigued by the conversation, asked, "Do you think it's possible for someone to be a genius in both mathematics and music?"
Alice pondered for a moment and replied, "Well, it's highly unlikely. While some individuals may have a natural inclination towards both, it requires a significant amount of dedication and practice to excel in both fields."
Carol, who had been silently listening, finally spoke up, "I believe that passion plays a crucial role in achieving greatness. If someone is truly passionate about something, they will put in the necessary effort to master it."
Alice nodded in agreement and said, "Absolutely, Carol. Passion fuels our determination and motivates us to overcome challenges. It's what sets apart the average from the extraordinary."
As their conversation continued, they delved deeper into the world of mathematics, discussing various logical train of thought and problem-solving techniques. They shared their knowledge and insights, each contributing to the intellectual growth of the group.
Hours passed by, and the sun began to set, casting a warm glow over the coffee shop. Alice, Bob, and Carol bid farewell, promising to meet again soon for another stimulating conversation.
As they walked out of the coffee shop, their minds filled with new ideas and perspectives, they couldn't help but feel grateful for their shared passion for mathematics and the logical train of thought that brought them together.
And so, their journey of intellectual exploration continued, fueled by their curiosity and love for the world of numbers and logic.
В статье не хватает ссылки на модель.
del
OpenAI может в ответ показать, что все книги, на которых они обучали GPT были честно куплены на Амазоне или где-то еще.
А если серьёзно, думаю эта тема будет в ближайшем будущем регулироваться законодательно. Очень легко скопировать художественный стиль обучив лору. Голос неплохо копируется даже по 20 с записи.
https://habr.com/ru/articles/91332/
Приблизительно во всём, начиная с состава атмосферы по высоте. Не знаю, откуда взята таблица в статье, но согласно модели атмосферы MSIE E-90 от НАСА, он изменяется вот так:
Кислород никуда не девается выше 100 км, просто начинает доминировать одноатомная форма.
Температура с высотой, растёт только в стратосфере. В мезосфере температура падает. Собственно их так и различают, стратопауза - верхняя граница стратосферы - это область с наибольшей температурой. А нагрев происходит за счет поглощения солнечного излучения воздухом.
Утверждения про выгорание кислорода с принесенным солнечным ветром водородом и про торможение "Пионера" "вакуумными газами" из облака Оорта, поданные как факты, это вообще форменное безумие.
Дирижабли прошлого века для компенсации расхода топлива конденсировали атмосферную влагу в балластные ёмкости.
... или следователи, как пойдет.