Пока сложно судить, но по идее натренированную ламу без проблем можно будет запустить с теми же характеристиками, что и обычную (7b-4q даже на телефонах идёт, хе; но я думаю, что ещё есть куда оптимизировать, и даже запуск 30b станет не таким затратным в ближайшее время, как это было с Stable Diffusion [который уже можно запустить на 4gb VRAM]; 3090, думаю, потянет 30b-4q прямо сейчас)
Именно смысл всех этих параметров? Можно тут ознакомиться подробно, если вкратце:
Top K — количество наиболее вероятных слов, которые будут рассматриваться при выборе следующего слова. Например, если Top K = 50, модель будет рассматривать только 50 наиболее вероятных слов при выборе следующего слова.
Top P —вероятность массы слов, которые будут рассматриваться при выборе следующего слова. Например, если Top P установлено равным 0.9, то модель будет рассматривать только те слова, вероятность которых в сумме равна или больше 0.9.
Temperature — это параметр, который контролирует случайность выбора следующего слова. Чем выше температура, тем больше вероятность выбора менее вероятного слова.
Repetition penalty — параметр, который штрафует повторение слов в генерируемом тексте.
Max new tokens — максимальное количество новых токенов, которые могут быть сгенерированы за один раз.
Typical P — параметр, который помогает модели выбирать наиболее типичные слова для генерации текста.
Если про сами предустановки, то просто разные вариации этих параметров, можете потыкать или посмотреть здесь как меняется ответ в зависимости от выбранной конфигурации. По сути то же самое, что в KoboldAI
Да, надо бы запилить, но у меня процесс написания обычно туго идёт, хе, эту статью писал около двух недель из-за прокрастинации и боязни чего-то упустить или сморозить глупость (оказывается, что всё же упустил, выше писали про rwkv и иные штуки). Кнопка уже в PR, скоро добавим.
Использую Dark Reader — расширение с открытым исходным кодом под chromium и firefox, может кому-то пригодится.
Расширения можно в принципе и на телефон ставить:
На основе chromium есть https://kiwibrowser.com/ с возможностью добавлять расширения, на базе firefox тот же firefox или mull, fennec [вставить ещё один форк]. Но для того, чтобы туда поставить расширения не из стандартного списка придётся повозиться (Dark Reader есть в стандартном списке).
В каком месте там RLHF или даже RLF? Там чистейший SFT.
Да, действительно, не обратил внимания при написании, спасибо, исправил.
И как это делает нелегальным датасет?
Я не юрист, но многие соглашаются, что этот пункт довольно мутный и может быть использован, в том числе и для основы судебных исков против моделей, обученных на таком датасете. Да, сам датасет технически не будет нелегальным, но обучение на нём — по всей вероятности. Compete — очень расплывчатый термин. Имеется ли в виду, что конечный результат не должен быть коммерческим? Или в принципе не может существовать легально? За ремарку спасибо, подкорректировал.
Насчёт llama и alpaca: думаю, рука Цукерберга ещё просто не добралась до этих репов или они выборочно (не) забивают, в статье приводил примеры, которые показывают, что всё же что-то не так.
С OpenChatKit поверхностно знаком, но не успел изучить на должном уровне, в будущем возможно буду выпускать новые статьи.
Определите то, что можно назвать «мышлением». Я уверен только в том, что внутри моей головы происходят некоторые процессы, которые, вероятно, происходят и у других людей.
Но моя мысль (ах, какой каламбур) была не об этом. Почему вы точно уверены в том, что мышление есть у других людей, но не может появится в качестве эмерджентности при сканировании невероятного количества синтаксиса?
Почему Языковые Модели внезапно стали успешно проходить то, что ранее считалось прерогативой и показателем «осознанной деятельности» или «мышления» у людей? Где та грань, за которой стоит уже не некий попугай, а существо с самосознанием?
Есть несколько способов на данный момент, но модели сырые (были обучены только с применением SFT без RLHF), пока только побаловаться можно. Наиболее хороший результат на данный момент у Open Assistant (SFT) LLaMa, но её, увы, навряд ли официально сможем выложить от лица LAION. Впрочем, я уверен, что уже спустя сутки энтузиасты сами всё обучат, ну или кто-тосовершенно случайно сольёт внутренние разработки :)
Если лень париться и просто хочется потрогать —https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming. Русский пока в зачаточном состоянии (у Pythia с ним очень плохо в режиме SFT, даже не знаю, исправит ли ситуацию дальнейшее RLHF), в примере для статьи использовал автоматический переводчик (ру -> англ; англ -> ру), вот LLaMa может и без него на довольно недурном уровне, но... ¯\_(ツ)_/¯
Начал печатать, а только потом увидел ваш комментарий. Согласен с вами.
Создать что-то новое он не может просто по определению. Не больше чем калейдоскоп — в котором все узоры являются комбинацией из заложенных в него стекляшек. Вся видимая разумность GPT — мнимая. По существу, мы общаемся с крайне продвинутым вариантом Китайской Комнаты — которой ловко комбинирует и дополняет придуманные людьми ответы.
А может ли создать нечто новое человек? Мы оперируем теми словами, образами, контекстами, которые подчеркнули из внешнего мира — из них состоит наше мышление и всё, что мы можем: скомпилировать их и применить к текущей ситуации (aka LLM к заданному prompt'y) ровно в той же степени, как это делает нейронная сеть. Да, наши механизмы безусловно сложнее, но у нас было эволюции сроком с ~4 миллиардов лет с одноклеточных или же ~500 миллионов лет с появления первых животных. Такое ощущение, будто все ожидают какой-то сложной осознанной (кстати, что значит это слово?) деятельности от Языковых Моделей, хотя это лишь первые шаги к настоящему AGI. Впрочем, разве результаты уже не впечатляющие? Как минимум GPT заставили нас пересмотреть методику тестирования, поскольку и тест Тьюринга, и теория Ума (Theory of Mind), и IQ тест (~111) показали результаты, показывающие если и не сознание (мы так уверенно употребляем это слово, будто бы понимаем его значение...), то мышление.
Касательно «Китайской Комнаты» — многие почему-то забывают, что это не априорная аксиома, а просто теоретический мысленный эксперимент. И у него явные проблемы — можем ли мы вообще быть уверены, что остальные люди обладают некой семантикой, пониманием и др. Ведь их черепные коробки — такая же «Китайская Комната». Т. н. философские зомби и иные отсылки к солипсизму. Советую ознакомиться по крайней мере ещё и с критикой этой концепции, мало кто уделяет ей внимания.
Вопрос вообще больше философский. Я бы даже назвал его глубоко субъективным и софистским, пока не будет общих и непротиворечивых определений «сознания», «осознанной деятельности», «мышления» и др.
В целом, лично у меня больше возникает ощущение, что люди ищут какую-то сакральность в собственном «Я», будто бы боясь получить противоположный результат, будто бы боятся ранить собственное эго.
Ну, пока вроде норм. Не знаю насчёт PR, может и пропустил, но в дс и в чатах контрибьюторов подобное не обсуждается, а большинство выступает против цензуры кроме совсем уж упоротых случаев:
То, что удаляется:
Да и в конечном счёте — это же Open Source, отключение подобных "сдерживаталей", дотренировка и корректировка датасета доступна каждому, в отличие от ChatGPT
Хочу ещё отметить, что все модели пока только на SFT, после окончательного обучения будет в разы круче. Ну и в этом проекте всё же главное — датасет
Кхм
Hidden text
Не то чтобы мы были против ;)
Цензуре не бывать-с
Hidden text
Хе-хе
Пока сложно судить, но по идее натренированную ламу без проблем можно будет запустить с теми же характеристиками, что и обычную (7b-4q даже на телефонах идёт, хе; но я думаю, что ещё есть куда оптимизировать, и даже запуск 30b станет не таким затратным в ближайшее время, как это было с Stable Diffusion [который уже можно запустить на 4gb VRAM]; 3090, думаю, потянет 30b-4q прямо сейчас)
Именно смысл всех этих параметров?
Можно тут ознакомиться подробно, если вкратце:
Top K — количество наиболее вероятных слов, которые будут рассматриваться при выборе следующего слова. Например, если Top K = 50, модель будет рассматривать только 50 наиболее вероятных слов при выборе следующего слова.
Top P — вероятность массы слов, которые будут рассматриваться при выборе следующего слова. Например, если Top P установлено равным 0.9, то модель будет рассматривать только те слова, вероятность которых в сумме равна или больше 0.9.
Temperature — это параметр, который контролирует случайность выбора следующего слова. Чем выше температура, тем больше вероятность выбора менее вероятного слова.
Repetition penalty — параметр, который штрафует повторение слов в генерируемом тексте.
Max new tokens — максимальное количество новых токенов, которые могут быть сгенерированы за один раз.
Typical P — параметр, который помогает модели выбирать наиболее типичные слова для генерации текста.
Если про сами предустановки, то просто разные вариации этих параметров, можете потыкать или посмотреть здесь как меняется ответ в зависимости от выбранной конфигурации. По сути то же самое, что в KoboldAI
Да, надо бы запилить, но у меня процесс написания обычно туго идёт, хе, эту статью писал около двух недель из-за прокрастинации и боязни чего-то упустить или сморозить глупость (оказывается, что всё же упустил, выше писали про rwkv и иные штуки). Кнопка уже в PR, скоро добавим.
Снова привет, выпустили обновление, теперь можно прямо на сайте пообщаться — https://open-assistant.io/ru/chat
Теперь вы можете пообщаться с Open Assistant прямо на сайте!
https://open-assistant.io/ru/chat
Использую Dark Reader — расширение с открытым исходным кодом под chromium и firefox, может кому-то пригодится.
Расширения можно в принципе и на телефон ставить:
На основе chromium есть https://kiwibrowser.com/ с возможностью добавлять расширения, на базе firefox тот же firefox или mull, fennec [вставить ещё один форк]. Но для того, чтобы туда поставить расширения не из стандартного списка придётся повозиться (Dark Reader есть в стандартном списке).
По-моему, этим занимаются в основном всё же не языковые модели (по крайней мере не вида Instruct), хотя их использование в этих делах может разительно помочь. Из схожих тем припоминаю лишь: https://naked-science.ru/article/hi-tech/google-predskazyvaet-funktsii-belkov, https://deepmind.com/blog/article/AlphaFold-Using-AI-for-scientific-discovery. С остальным не очень знаком.
Чёрт, да, сейчас глянул, интересное решение. Как-то упускал из виду всё время...
Спасибо, что упомянули, возможно, что выпущу ещё один обзор, где уделю этому внимание.
@Guul
Да, действительно, не обратил внимания при написании, спасибо, исправил.
Я не юрист, но многие соглашаются, что этот пункт довольно мутный и может быть использован, в том числе и для основы судебных исков против моделей, обученных на таком датасете. Да, сам датасет технически не будет нелегальным, но обучение на нём — по всей вероятности. Compete — очень расплывчатый термин. Имеется ли в виду, что конечный результат не должен быть коммерческим? Или в принципе не может существовать легально? За ремарку спасибо, подкорректировал.
Насчёт llama и alpaca: думаю, рука Цукерберга ещё просто не добралась до этих репов или они выборочно (не) забивают, в статье приводил примеры, которые показывают, что всё же что-то не так.
С OpenChatKit поверхностно знаком, но не успел изучить на должном уровне, в будущем возможно буду выпускать новые статьи.
Спасибо за отзыв.
Определите то, что можно назвать «мышлением». Я уверен только в том, что внутри моей головы происходят некоторые процессы, которые, вероятно, происходят и у других людей.
Но моя мысль (ах, какой каламбур) была не об этом. Почему вы точно уверены в том, что мышление есть у других людей, но не может появится в качестве эмерджентности при сканировании невероятного количества синтаксиса?
Почему Языковые Модели внезапно стали успешно проходить то, что ранее считалось прерогативой и показателем «осознанной деятельности» или «мышления» у людей? Где та грань, за которой стоит уже не некий попугай, а существо с самосознанием?
Есть несколько способов на данный момент, но модели сырые (были обучены только с применением SFT без RLHF), пока только побаловаться можно. Наиболее хороший результат на данный момент у Open Assistant (SFT) LLaMa, но её, увы, навряд ли официально сможем выложить от лица LAION. Впрочем, я уверен, что уже спустя сутки энтузиасты сами всё обучат, ну или кто-то совершенно случайно сольёт внутренние разработки :)
Если лень париться и просто хочется потрогать —https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming. Русский пока в зачаточном состоянии (у Pythia с ним очень плохо в режиме SFT, даже не знаю, исправит ли ситуацию дальнейшее RLHF), в примере для статьи использовал автоматический переводчик (ру -> англ; англ -> ру), вот LLaMa может и без него на довольно недурном уровне, но... ¯\_(ツ)_/¯
Ещё можете на коллабе потыкать —https://colab.research.google.com/drive/15u61MVxF4vFtW2N9eCKnNwPvhg018UX7?usp=sharing, там как раз встроена функция переводчика автоматического, просто язык надо выбрать.
Самая первая демка — https://huggingface.co/OpenAssistant/oasst-sft-1-pythia-12b, на её основе писал под себя Telegram бота. Можно вызвать через API от Hugging Face или попытаться запустить у себя.
Начал печатать, а только потом увидел ваш комментарий. Согласен с вами.
А может ли создать нечто новое человек? Мы оперируем теми словами, образами, контекстами, которые подчеркнули из внешнего мира — из них состоит наше мышление и всё, что мы можем: скомпилировать их и применить к текущей ситуации (aka LLM к заданному prompt'y) ровно в той же степени, как это делает нейронная сеть. Да, наши механизмы безусловно сложнее, но у нас было эволюции сроком с ~4 миллиардов лет с одноклеточных или же ~500 миллионов лет с появления первых животных. Такое ощущение, будто все ожидают какой-то сложной осознанной (кстати, что значит это слово?) деятельности от Языковых Моделей, хотя это лишь первые шаги к настоящему AGI. Впрочем, разве результаты уже не впечатляющие? Как минимум GPT заставили нас пересмотреть методику тестирования, поскольку и тест Тьюринга, и теория Ума (Theory of Mind), и IQ тест (~111) показали результаты, показывающие если и не сознание (мы так уверенно употребляем это слово, будто бы понимаем его значение...), то мышление.
Касательно «Китайской Комнаты» — многие почему-то забывают, что это не априорная аксиома, а просто теоретический мысленный эксперимент. И у него явные проблемы — можем ли мы вообще быть уверены, что остальные люди обладают некой семантикой, пониманием и др. Ведь их черепные коробки — такая же «Китайская Комната». Т. н. философские зомби и иные отсылки к солипсизму. Советую ознакомиться по крайней мере ещё и с критикой этой концепции, мало кто уделяет ей внимания.
Вопрос вообще больше философский. Я бы даже назвал его глубоко субъективным и софистским, пока не будет общих и непротиворечивых определений «сознания», «осознанной деятельности», «мышления» и др.
В целом, лично у меня больше возникает ощущение, что люди ищут какую-то сакральность в собственном «Я», будто бы боясь получить противоположный результат, будто бы боятся ранить собственное эго.
Хе-хе :)
В спаме не лежит, случаем? В крайней случае можно через дискорд попробовать
P.S. делал статью о разработке OA, наконец-то опубликовали: https://habr.com/ru/post/726584/
Ну, пока вроде норм. Не знаю насчёт PR, может и пропустил, но в дс и в чатах контрибьюторов подобное не обсуждается, а большинство выступает против цензуры кроме совсем уж упоротых случаев:
То, что удаляется:
Да и в конечном счёте — это же Open Source, отключение подобных "сдерживаталей", дотренировка и корректировка датасета доступна каждому, в отличие от ChatGPT