Нет. Нинада. Плохой дизайн. Прострел в ногу дизайн. Фокус руками: Переименовываем TurnRight в TurnRighto. Добавляем TurnInwards. Компилируем. Код скомпилируется. С warning, но скомпилируется. Потому что теперь TurnRight это имя переменной и она матчит TurnRighto и TurnInwards.
Разрешается взять jax в руки и слепить новую архитектуру со слоями "скрепы", "кузькина мать", "многоглавые орлы", уделать трансформеры^w преобразователи и пускай остальной мир мучается с переводами
Вот поэтому я стараюсь по минимуму в репозитарии лезть за софтом. Поставил бы из flatpak - таких проблем бы не было (наверняка были бы другие замечательные проблемы). Bottles к примеру поддерживает только flatpak.
У фейсбука есть ещё много интересных моделей которые могут пригодиться - musicgen для музыки, audiocraft для звуковых эффектов и музыки, nllb для перевода. Почти всё есть на huggingface. У лламы2чат есть серьёзные проблемы с цензурой рядом с которыми yandexgpt кажется пошляком. Она начинает говорить про права капусты если спросить загадку про волка, козу и капусту. Цензуру исправили как могли через finetune. Правда сложно назвать лучшую модель. Обычно хвалят nous hermes, mythosmax, airoboros. Можно ещё глянуть в сторону rwkv моделей, в частности rwkv world. Будучи rnn они поддерживают "бесконечный" размер контекста и O(1) времени на генерацию каждого токена, что для вн и рпг очень важно, в теории.
Представил Qt где QWidget имеет вот такенный switch на обработку отрисовки, клика, тд. И никакого полиморфизма. И что если мы хотим добавить свой виджет - лезим в исходники и перекомпилируем весь Qt.
Пожалуйста, поверьте мне, когда я говорю, что знаю, на что иду, когда сравниваю double.
С какой радости тебе верить? На каком основании? Тот бред который я поскипал не доказывает наличие знаний. Либу он использовал. Баг который тебе дал пинка под зад доказывает их отсутствие. Это как раз и есть знания - как писать так чтобы не было багов. В реальности. А не больном воображении на абстрактной си машине. И этих знаний на проверку в реальности не оказалось. Как и не оказалось знаний как подобрать эпсилон.
В модах к играм это хорошо используется. Например, Rimworld использует harmony, что в целом позволяет переписать байткод во время загрузки(даёт IEnumerable байткода и ждёт то же самое). Forge для Minecraft наверное что-то подобное позволяет. Что очень удобно: исходников нормальных нет, а шаловливыми ручками изменить нет-нет, да и хочется
В них разбирается матан на достаточном и понятном уровне после которого всевозможные s4, преобразующие rnn в cnn, и всякие kernel trick встречаемые в O(n) вариациях transformers не кажутся чёрной магией?
Зависит от того что используется для подключения к бд. Например, SQLx можно просить проверить запросы во время компиляции. Он в этом случае просто вызывает бд и просит её рассказать о запросе. Если запрос некорректный, код не скомпилируется. Если столбец - строка, а ты пробуешь записать значение в число, код не скомпилируется. Если возвращается INT NULL, а ты пишешь в i32 вместо option, код не скомпилируется. При этом sqlx -не orm. Пишешь обычный sql, а не тратишь время на выяснение какие методы как строят sql.
Silly tavern так в целом и делает. Исторически (времена ai dungeon), использовался просто словарь world info: туда заносится информация вроде "Рин Тосака - маг-тсундере, умеет то-то и то-то", на неё вешались ключевые слова вроде "маг, Рин". Если в промпте хоть одно слово встречалось встречались - определение приклеиливали в начало промпта. Сейчас от этого не ушли, но добавили именно подобное что ты описываешь. Расширение в SillyTavern использует именно отдельную модель для суммаризации. И векторные базы данных для "бесконечного" контекста
Kobold так умеет, но это не vn, а общее. Проблема в том, что это надо либо vram, либо терпение - ждать пока в орде запрос обработается бесплатно без смс и без регистрации. У меня stable diffusion 1.5 и нормальные llm одновременно не вмещаются. Есть также коммерческий Endless Visual Novel(Так оригинально называется). free tier не впечатлил.
Есть ещё AI roguelite в стиме. Умеет использовать бесплатные облака и орду как для текста, так и для картинок. Однако эту генеративную сову пробуют натянуть на глобус обычных компьютерных рпг с кубиками. Тут нельзя расписать прозой как ты сражаешься, чтобы получить результат. Тут обычные кубики. написать действие можно, но оео мало к чему приводило. Плюс игра создавала большие картинки для иконок и просто скейлила их на ходу, поэтому за пару часов карта начинала лагать(из-за того что там при открытии десятки 512х512 картинок уменшалось до 64х64). Забросил.
Я уж было подумал, что эпоха локальных трансформерных нейросетей ушла, оставив после себя невеликое наследие (можно пересчитать на пальцах)
Странное наблюдение. За этот год вышли BTLM, XGen, Falcon, llama2, stablelm2, mpt, cerebrasgpt, pythia, не считая их тюнингов(их точно на пальцах не пересчитать). Большая часть из этого вышла летом. По-моему эпоха только пришла, особенно учитывая что раньше autogptq и exllama, да и flash attention не было, q4 не было, 11GB считалось топом и падало с OoM, .
То, что модель нельзя заставить писать rpy не значит, что rpy нельзя генерировать. Разделять диалоги по ^[А-Яа-я]+: и вычленять прозу от диалога через \n\n не требует сети. Хотя лучше свой движок делать так как rpy для ии не задумывался.
Можно ещё в датасет добавить явные разделители частей - это нам людям всякие ((END_REPLY)) уродливы, модели все равно. И чем легче ей генерировать текст который мы можем парсить, тем лучше. Ещё можно посмотреть на промпты моделей для чатов, где описание персонажа вставляется до текста, чтобы модель лучше знала о чем она пишет. Для полноценной вн одной модели недостаточно - нужно ещё чем-то трекать кто есть кто и где с кем находится
Ллама2 обучена на 2 т токенов(что очень много, в 2 раза больше прошлых публичных модедей, yalm обучался на 1.75ТБ текста, насколько это тот же yandexgpt не знаю) + она разработана недавно.
Также у лламы токенизация чисел идёт на уровне цифр. Для других моделей '123' это может быть отдельное слово изначально не имеющее к 1,2,3, 100 никакого отношения. Когда ллама видит 100+23=123 она учит связи между символами где есть "один за которым идут ноль, ноль, плюс, два, три, равно, один,два, три". Другие модели будут читать это как "сто" "плюс" "двадцать три" "равно" "сто двадцать три". То есть фактически им нужно видеть бОльшую таблицу сложения чтобы не сесть в лужу и понять какое отношение 123 имеет к 100. Каждый раз когда ллама видит арифметику, она заучивает связи для каждой цифры, и в будущем будет это вспоминать во всех других выражениях потому что они все используют цифры 0-9. Если учить уравнения на уровне чисел, то если мы выучили что идёт после 23+23, то для решения 123+123 это не особо повлияет. Потому что это языковая модель.
К примеру в arXiv:2305.14201 (cs) Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks Рассматривается как токенизация важна для арифметики
Во-первых - про то чем больше у модели параметров(и чем больше текста ей кормили) тем точнее её результаты см например https://arxiv.org/pdf/2005.14165.pdf про трехзначную арифметику. Если яндекс использует ту же модель что они выложили в открытый доступ, то это 100 миллиардов параметров вместо 175 у gpt3. Во-вторых она решает именно хорошо, потому что объясняет, а не объясняет потому что она умеет считать. Чем больше модель видит нужного контекста тем ей легче ей ориентироваться. Ровно также чем больше модель видит мусора, тем легче ей давать мусор. Если модель видит в контексте кучу неправильных примеров, то у неё есть инициатива продолжать давать неправильные ответы. Это языковая модель. Она продолжает текст. Весь текст. Garbage in = garbage out. Если рядом с уравнениями она видит 4,8,16, 28,64, то она учитывает это. В последним примере она не отвечает на вопрос "2x2+2x2?". Она не считает, она продолжает текст "2x2+2x2? При условии 2+2x2+2x2 = 8 и всеми другими предыдущими уравнениями"
Да, не пытается. Она языковая модель. Языковая, Карл. В конечном итоге она предугадывает текст. Только текст. Ей все равно что предугадывать - фанфик про трансформеров или набор цифр и знаков. Она всегда будет делать это одинаково. Если тебе надо конкретно расчёты - используй что-то в роде code interpreter для гпт4.
Ллама 2(huggingface.co/chat) смогла 2 рандомных примера так как её правильно обучали. Когда яндекс себе тренировал, пошаговые решения ещё не были так распространены. Бумага по CoT опубликована в январе. Orca в июне. В любом случае идея кормить llm математическими задачами так себе. Примерно как в том анекдоте про мужиков и бензопилу.
Нет. Нинада. Плохой дизайн. Прострел в ногу дизайн. Фокус руками:
Переименовываем TurnRight в TurnRighto. Добавляем TurnInwards. Компилируем. Код скомпилируется. С warning, но скомпилируется.
Потому что теперь TurnRight это имя переменной и она матчит TurnRighto и TurnInwards.
Круто.
Ути пути, она такая маленькая, что она на телефоне будет летать. Осталось придумать что за текст на телефоне можно классифицировать
Разрешается взять jax в руки и слепить новую архитектуру со слоями "скрепы", "кузькина мать", "многоглавые орлы", уделать трансформеры^w преобразователи и пускай остальной мир мучается с переводами
(Именно jax. Pytorch от лукавого, запрещенного)
Мы знаем кто есть за кулисами. Человек который хотел с игроков fps взымать доллар за перезарядку.
Вот поэтому я стараюсь по минимуму в репозитарии лезть за софтом. Поставил бы из flatpak - таких проблем бы не было (наверняка были бы другие замечательные проблемы).
Bottles к примеру поддерживает только flatpak.
У фейсбука есть ещё много интересных моделей которые могут пригодиться - musicgen для музыки, audiocraft для звуковых эффектов и музыки, nllb для перевода. Почти всё есть на huggingface.
У лламы2чат есть серьёзные проблемы с цензурой рядом с которыми yandexgpt кажется пошляком. Она начинает говорить про права капусты если спросить загадку про волка, козу и капусту. Цензуру исправили как могли через finetune. Правда сложно назвать лучшую модель. Обычно хвалят nous hermes, mythosmax, airoboros.
Можно ещё глянуть в сторону rwkv моделей, в частности rwkv world. Будучи rnn они поддерживают "бесконечный" размер контекста и O(1) времени на генерацию каждого токена, что для вн и рпг очень важно, в теории.
Представил Qt где QWidget имеет вот такенный switch на обработку отрисовки, клика, тд. И никакого полиморфизма. И что если мы хотим добавить свой виджет - лезим в исходники и перекомпилируем весь Qt.
Блеванул.
С какой радости тебе верить? На каком основании? Тот бред который я поскипал не доказывает наличие знаний. Либу он использовал. Баг который тебе дал пинка под зад доказывает их отсутствие. Это как раз и есть знания - как писать так чтобы не было багов. В реальности. А не больном воображении на абстрактной си машине. И этих знаний на проверку в реальности не оказалось. Как и не оказалось знаний как подобрать эпсилон.
Хуже с++ может быть только с++ который знает.
В модах к играм это хорошо используется. Например, Rimworld использует harmony, что в целом позволяет переписать байткод во время загрузки(даёт IEnumerable байткода и ждёт то же самое). Forge для Minecraft наверное что-то подобное позволяет.
Что очень удобно: исходников нормальных нет, а шаловливыми ручками изменить нет-нет, да и хочется
В них разбирается матан на достаточном и понятном уровне после которого всевозможные s4, преобразующие rnn в cnn, и всякие kernel trick встречаемые в O(n) вариациях transformers не кажутся чёрной магией?
Зависит от того что используется для подключения к бд. Например, SQLx можно просить проверить запросы во время компиляции. Он в этом случае просто вызывает бд и просит её рассказать о запросе. Если запрос некорректный, код не скомпилируется. Если столбец - строка, а ты пробуешь записать значение в число, код не скомпилируется. Если возвращается INT NULL, а ты пишешь в i32 вместо option, код не скомпилируется. При этом sqlx -не orm. Пишешь обычный sql, а не тратишь время на выяснение какие методы как строят sql.
Я на гитхабах и гиилабах видел api для perplexity.ai. Работает ли или нет - не знаю, не проверял.
Рассказать о разнице между питоном и его байткодом? Или предпочитаете остаться при своих заблуждениях?
Silly tavern так в целом и делает. Исторически (времена ai dungeon), использовался просто словарь world info: туда заносится информация вроде "Рин Тосака - маг-тсундере, умеет то-то и то-то", на неё вешались ключевые слова вроде "маг, Рин". Если в промпте хоть одно слово встречалось встречались - определение приклеиливали в начало промпта. Сейчас от этого не ушли, но добавили именно подобное что ты описываешь.
Расширение в SillyTavern использует именно отдельную модель для суммаризации. И векторные базы данных для "бесконечного" контекста
Kobold так умеет, но это не vn, а общее. Проблема в том, что это надо либо vram, либо терпение - ждать пока в орде запрос обработается бесплатно без смс и без регистрации.
У меня stable diffusion 1.5 и нормальные llm одновременно не вмещаются. Есть также коммерческий Endless Visual Novel(Так оригинально называется). free tier не впечатлил.
Есть ещё AI roguelite в стиме. Умеет использовать бесплатные облака и орду как для текста, так и для картинок. Однако эту генеративную сову пробуют натянуть на глобус обычных компьютерных рпг с кубиками. Тут нельзя расписать прозой как ты сражаешься, чтобы получить результат. Тут обычные кубики. написать действие можно, но оео мало к чему приводило. Плюс игра создавала большие картинки для иконок и просто скейлила их на ходу, поэтому за пару часов карта начинала лагать(из-за того что там при открытии десятки 512х512 картинок уменшалось до 64х64). Забросил.
Странное наблюдение. За этот год вышли BTLM, XGen, Falcon, llama2, stablelm2, mpt, cerebrasgpt, pythia, не считая их тюнингов(их точно на пальцах не пересчитать). Большая часть из этого вышла летом. По-моему эпоха только пришла, особенно учитывая что раньше autogptq и exllama, да и flash attention не было, q4 не было, 11GB считалось топом и падало с OoM, .
То, что модель нельзя заставить писать rpy не значит, что rpy нельзя генерировать. Разделять диалоги по ^[А-Яа-я]+: и вычленять прозу от диалога через \n\n не требует сети.
Хотя лучше свой движок делать так как rpy для ии не задумывался.
Можно ещё в датасет добавить явные разделители частей - это нам людям всякие ((END_REPLY)) уродливы, модели все равно. И чем легче ей генерировать текст который мы можем парсить, тем лучше. Ещё можно посмотреть на промпты моделей для чатов, где описание персонажа вставляется до текста, чтобы модель лучше знала о чем она пишет. Для полноценной вн одной модели недостаточно - нужно ещё чем-то трекать кто есть кто и где с кем находится
Ллама2 обучена на 2 т токенов(что очень много, в 2 раза больше прошлых публичных модедей, yalm обучался на 1.75ТБ текста, насколько это тот же yandexgpt не знаю) + она разработана недавно.
Также у лламы токенизация чисел идёт на уровне цифр. Для других моделей '123' это может быть отдельное слово изначально не имеющее к 1,2,3, 100 никакого отношения. Когда ллама видит 100+23=123 она учит связи между символами где есть "один за которым идут ноль, ноль, плюс, два, три, равно, один,два, три". Другие модели будут читать это как "сто" "плюс" "двадцать три" "равно" "сто двадцать три". То есть фактически им нужно видеть бОльшую таблицу сложения чтобы не сесть в лужу и понять какое отношение 123 имеет к 100. Каждый раз когда ллама видит арифметику, она заучивает связи для каждой цифры, и в будущем будет это вспоминать во всех других выражениях потому что они все используют цифры 0-9. Если учить уравнения на уровне чисел, то если мы выучили что идёт после 23+23, то для решения 123+123 это не особо повлияет. Потому что это языковая модель.
К примеру в
arXiv:2305.14201 (cs)
Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
Рассматривается как токенизация важна для арифметики
Во-первых - про то чем больше у модели параметров(и чем больше текста ей кормили) тем точнее её результаты см например https://arxiv.org/pdf/2005.14165.pdf про трехзначную арифметику. Если яндекс использует ту же модель что они выложили в открытый доступ, то это 100 миллиардов параметров вместо 175 у gpt3. Во-вторых она решает именно хорошо, потому что объясняет, а не объясняет потому что она умеет считать. Чем больше модель видит нужного контекста тем ей легче ей ориентироваться. Ровно также чем больше модель видит мусора, тем легче ей давать мусор. Если модель видит в контексте кучу неправильных примеров, то у неё есть инициатива продолжать давать неправильные ответы. Это языковая модель. Она продолжает текст. Весь текст. Garbage in = garbage out.
Если рядом с уравнениями она видит 4,8,16, 28,64, то она учитывает это. В последним примере она не отвечает на вопрос "2x2+2x2?". Она не считает, она продолжает текст "2x2+2x2? При условии 2+2x2+2x2 = 8 и всеми другими предыдущими уравнениями"
Да, не пытается. Она языковая модель. Языковая, Карл. В конечном итоге она предугадывает текст. Только текст. Ей все равно что предугадывать - фанфик про трансформеров или набор цифр и знаков. Она всегда будет делать это одинаково.
Если тебе надо конкретно расчёты - используй что-то в роде code interpreter для гпт4.
2+2 = 4 4 + 2x2 = 4 + 4 = 8 8 + 2 = 10 10 + 2x2 = 10 + 4 = 14 Therefore, 2+2+2x2+2+2x2 = 14.
Ллама 2(huggingface.co/chat) смогла 2 рандомных примера так как её правильно обучали. Когда яндекс себе тренировал, пошаговые решения ещё не были так распространены. Бумага по CoT опубликована в январе. Orca в июне.
В любом случае идея кормить llm математическими задачами так себе. Примерно как в том анекдоте про мужиков и бензопилу.