Нет. Нинада. Плохой дизайн. Прострел в ногу дизайн. Фокус руками: Переименовываем TurnRight в TurnRighto. Добавляем TurnInwards. Компилируем. Код скомпилируется. С warning, но скомпилируется. Потому что теперь TurnRight это имя переменной и она матчит TurnRighto и TurnInwards.
Разрешается взять jax в руки и слепить новую архитектуру со слоями "скрепы", "кузькина мать", "многоглавые орлы", уделать трансформеры^w преобразователи и пускай остальной мир мучается с переводами
Вот поэтому я стараюсь по минимуму в репозитарии лезть за софтом. Поставил бы из flatpak - таких проблем бы не было (наверняка были бы другие замечательные проблемы). Bottles к примеру поддерживает только flatpak.
У фейсбука есть ещё много интересных моделей которые могут пригодиться - musicgen для музыки, audiocraft для звуковых эффектов и музыки, nllb для перевода. Почти всё есть на huggingface. У лламы2чат есть серьёзные проблемы с цензурой рядом с которыми yandexgpt кажется пошляком. Она начинает говорить про права капусты если спросить загадку про волка, козу и капусту. Цензуру исправили как могли через finetune. Правда сложно назвать лучшую модель. Обычно хвалят nous hermes, mythosmax, airoboros. Можно ещё глянуть в сторону rwkv моделей, в частности rwkv world. Будучи rnn они поддерживают "бесконечный" размер контекста и O(1) времени на генерацию каждого токена, что для вн и рпг очень важно, в теории.
Представил Qt где QWidget имеет вот такенный switch на обработку отрисовки, клика, тд. И никакого полиморфизма. И что если мы хотим добавить свой виджет - лезим в исходники и перекомпилируем весь Qt.
Пожалуйста, поверьте мне, когда я говорю, что знаю, на что иду, когда сравниваю double.
С какой радости тебе верить? На каком основании? Тот бред который я поскипал не доказывает наличие знаний. Либу он использовал. Баг который тебе дал пинка под зад доказывает их отсутствие. Это как раз и есть знания - как писать так чтобы не было багов. В реальности. А не больном воображении на абстрактной си машине. И этих знаний на проверку в реальности не оказалось. Как и не оказалось знаний как подобрать эпсилон.
В модах к играм это хорошо используется. Например, Rimworld использует harmony, что в целом позволяет переписать байткод во время загрузки(даёт IEnumerable байткода и ждёт то же самое). Forge для Minecraft наверное что-то подобное позволяет. Что очень удобно: исходников нормальных нет, а шаловливыми ручками изменить нет-нет, да и хочется
В них разбирается матан на достаточном и понятном уровне после которого всевозможные s4, преобразующие rnn в cnn, и всякие kernel trick встречаемые в O(n) вариациях transformers не кажутся чёрной магией?
Зависит от того что используется для подключения к бд. Например, SQLx можно просить проверить запросы во время компиляции. Он в этом случае просто вызывает бд и просит её рассказать о запросе. Если запрос некорректный, код не скомпилируется. Если столбец - строка, а ты пробуешь записать значение в число, код не скомпилируется. Если возвращается INT NULL, а ты пишешь в i32 вместо option, код не скомпилируется. При этом sqlx -не orm. Пишешь обычный sql, а не тратишь время на выяснение какие методы как строят sql.
Silly tavern так в целом и делает. Исторически (времена ai dungeon), использовался просто словарь world info: туда заносится информация вроде "Рин Тосака - маг-тсундере, умеет то-то и то-то", на неё вешались ключевые слова вроде "маг, Рин". Если в промпте хоть одно слово встречалось встречались - определение приклеиливали в начало промпта. Сейчас от этого не ушли, но добавили именно подобное что ты описываешь. Расширение в SillyTavern использует именно отдельную модель для суммаризации. И векторные базы данных для "бесконечного" контекста
Kobold так умеет, но это не vn, а общее. Проблема в том, что это надо либо vram, либо терпение - ждать пока в орде запрос обработается бесплатно без смс и без регистрации. У меня stable diffusion 1.5 и нормальные llm одновременно не вмещаются. Есть также коммерческий Endless Visual Novel(Так оригинально называется). free tier не впечатлил.
Есть ещё AI roguelite в стиме. Умеет использовать бесплатные облака и орду как для текста, так и для картинок. Однако эту генеративную сову пробуют натянуть на глобус обычных компьютерных рпг с кубиками. Тут нельзя расписать прозой как ты сражаешься, чтобы получить результат. Тут обычные кубики. написать действие можно, но оео мало к чему приводило. Плюс игра создавала большие картинки для иконок и просто скейлила их на ходу, поэтому за пару часов карта начинала лагать(из-за того что там при открытии десятки 512х512 картинок уменшалось до 64х64). Забросил.
Я уж было подумал, что эпоха локальных трансформерных нейросетей ушла, оставив после себя невеликое наследие (можно пересчитать на пальцах)
Странное наблюдение. За этот год вышли BTLM, XGen, Falcon, llama2, stablelm2, mpt, cerebrasgpt, pythia, не считая их тюнингов(их точно на пальцах не пересчитать). Большая часть из этого вышла летом. По-моему эпоха только пришла, особенно учитывая что раньше autogptq и exllama, да и flash attention не было, q4 не было, 11GB считалось топом и падало с OoM, .
То, что модель нельзя заставить писать rpy не значит, что rpy нельзя генерировать. Разделять диалоги по ^[А-Яа-я]+: и вычленять прозу от диалога через \n\n не требует сети. Хотя лучше свой движок делать так как rpy для ии не задумывался.
Можно ещё в датасет добавить явные разделители частей - это нам людям всякие ((END_REPLY)) уродливы, модели все равно. И чем легче ей генерировать текст который мы можем парсить, тем лучше. Ещё можно посмотреть на промпты моделей для чатов, где описание персонажа вставляется до текста, чтобы модель лучше знала о чем она пишет. Для полноценной вн одной модели недостаточно - нужно ещё чем-то трекать кто есть кто и где с кем находится
Да. Oobabooga даёт тренировать лору из гуя. Готовые лоры можно найти на том же huggingface. Если повезёт, в описании буду т даже указаны параметры тренировки. Для большинства хороших лор есть смерженные с основной моделью Llama.cpp наверное тоже умеет уже. Для тренировки "руками" (из питона а не гуя) используется например библиотека peft. Во всяком случае ее использовали до появления qlora. Сейчас может на qlora перешли.
Нет. Нинада. Плохой дизайн. Прострел в ногу дизайн. Фокус руками:
Переименовываем TurnRight в TurnRighto. Добавляем TurnInwards. Компилируем. Код скомпилируется. С warning, но скомпилируется.
Потому что теперь TurnRight это имя переменной и она матчит TurnRighto и TurnInwards.
Круто.
Ути пути, она такая маленькая, что она на телефоне будет летать. Осталось придумать что за текст на телефоне можно классифицировать
Разрешается взять jax в руки и слепить новую архитектуру со слоями "скрепы", "кузькина мать", "многоглавые орлы", уделать трансформеры^w преобразователи и пускай остальной мир мучается с переводами
(Именно jax. Pytorch от лукавого, запрещенного)
Мы знаем кто есть за кулисами. Человек который хотел с игроков fps взымать доллар за перезарядку.
Вот поэтому я стараюсь по минимуму в репозитарии лезть за софтом. Поставил бы из flatpak - таких проблем бы не было (наверняка были бы другие замечательные проблемы).
Bottles к примеру поддерживает только flatpak.
У фейсбука есть ещё много интересных моделей которые могут пригодиться - musicgen для музыки, audiocraft для звуковых эффектов и музыки, nllb для перевода. Почти всё есть на huggingface.
У лламы2чат есть серьёзные проблемы с цензурой рядом с которыми yandexgpt кажется пошляком. Она начинает говорить про права капусты если спросить загадку про волка, козу и капусту. Цензуру исправили как могли через finetune. Правда сложно назвать лучшую модель. Обычно хвалят nous hermes, mythosmax, airoboros.
Можно ещё глянуть в сторону rwkv моделей, в частности rwkv world. Будучи rnn они поддерживают "бесконечный" размер контекста и O(1) времени на генерацию каждого токена, что для вн и рпг очень важно, в теории.
Представил Qt где QWidget имеет вот такенный switch на обработку отрисовки, клика, тд. И никакого полиморфизма. И что если мы хотим добавить свой виджет - лезим в исходники и перекомпилируем весь Qt.
Блеванул.
С какой радости тебе верить? На каком основании? Тот бред который я поскипал не доказывает наличие знаний. Либу он использовал. Баг который тебе дал пинка под зад доказывает их отсутствие. Это как раз и есть знания - как писать так чтобы не было багов. В реальности. А не больном воображении на абстрактной си машине. И этих знаний на проверку в реальности не оказалось. Как и не оказалось знаний как подобрать эпсилон.
Хуже с++ может быть только с++ который знает.
В модах к играм это хорошо используется. Например, Rimworld использует harmony, что в целом позволяет переписать байткод во время загрузки(даёт IEnumerable байткода и ждёт то же самое). Forge для Minecraft наверное что-то подобное позволяет.
Что очень удобно: исходников нормальных нет, а шаловливыми ручками изменить нет-нет, да и хочется
В них разбирается матан на достаточном и понятном уровне после которого всевозможные s4, преобразующие rnn в cnn, и всякие kernel trick встречаемые в O(n) вариациях transformers не кажутся чёрной магией?
Зависит от того что используется для подключения к бд. Например, SQLx можно просить проверить запросы во время компиляции. Он в этом случае просто вызывает бд и просит её рассказать о запросе. Если запрос некорректный, код не скомпилируется. Если столбец - строка, а ты пробуешь записать значение в число, код не скомпилируется. Если возвращается INT NULL, а ты пишешь в i32 вместо option, код не скомпилируется. При этом sqlx -не orm. Пишешь обычный sql, а не тратишь время на выяснение какие методы как строят sql.
Я на гитхабах и гиилабах видел api для perplexity.ai. Работает ли или нет - не знаю, не проверял.
Рассказать о разнице между питоном и его байткодом? Или предпочитаете остаться при своих заблуждениях?
Silly tavern так в целом и делает. Исторически (времена ai dungeon), использовался просто словарь world info: туда заносится информация вроде "Рин Тосака - маг-тсундере, умеет то-то и то-то", на неё вешались ключевые слова вроде "маг, Рин". Если в промпте хоть одно слово встречалось встречались - определение приклеиливали в начало промпта. Сейчас от этого не ушли, но добавили именно подобное что ты описываешь.
Расширение в SillyTavern использует именно отдельную модель для суммаризации. И векторные базы данных для "бесконечного" контекста
Kobold так умеет, но это не vn, а общее. Проблема в том, что это надо либо vram, либо терпение - ждать пока в орде запрос обработается бесплатно без смс и без регистрации.
У меня stable diffusion 1.5 и нормальные llm одновременно не вмещаются. Есть также коммерческий Endless Visual Novel(Так оригинально называется). free tier не впечатлил.
Есть ещё AI roguelite в стиме. Умеет использовать бесплатные облака и орду как для текста, так и для картинок. Однако эту генеративную сову пробуют натянуть на глобус обычных компьютерных рпг с кубиками. Тут нельзя расписать прозой как ты сражаешься, чтобы получить результат. Тут обычные кубики. написать действие можно, но оео мало к чему приводило. Плюс игра создавала большие картинки для иконок и просто скейлила их на ходу, поэтому за пару часов карта начинала лагать(из-за того что там при открытии десятки 512х512 картинок уменшалось до 64х64). Забросил.
Странное наблюдение. За этот год вышли BTLM, XGen, Falcon, llama2, stablelm2, mpt, cerebrasgpt, pythia, не считая их тюнингов(их точно на пальцах не пересчитать). Большая часть из этого вышла летом. По-моему эпоха только пришла, особенно учитывая что раньше autogptq и exllama, да и flash attention не было, q4 не было, 11GB считалось топом и падало с OoM, .
То, что модель нельзя заставить писать rpy не значит, что rpy нельзя генерировать. Разделять диалоги по ^[А-Яа-я]+: и вычленять прозу от диалога через \n\n не требует сети.
Хотя лучше свой движок делать так как rpy для ии не задумывался.
Можно ещё в датасет добавить явные разделители частей - это нам людям всякие ((END_REPLY)) уродливы, модели все равно. И чем легче ей генерировать текст который мы можем парсить, тем лучше. Ещё можно посмотреть на промпты моделей для чатов, где описание персонажа вставляется до текста, чтобы модель лучше знала о чем она пишет. Для полноценной вн одной модели недостаточно - нужно ещё чем-то трекать кто есть кто и где с кем находится
Topological naming problem опять не победили.
Потому что я очень сильно верю в то, что мнения "не читал, но осуждаю" не стоят и выеденного яйца
Рукалицо. После "не знаю" мог больше ничего не писать. Действительно не знаешь. Ты бы ещё gpt2 использовал.
Тебе ЯВНО сказали про gpt4.
Да. Oobabooga даёт тренировать лору из гуя.
Готовые лоры можно найти на том же huggingface. Если повезёт, в описании буду т даже указаны параметры тренировки. Для большинства хороших лор есть смерженные с основной моделью
Llama.cpp наверное тоже умеет уже.
Для тренировки "руками" (из питона а не гуя) используется например библиотека peft. Во всяком случае ее использовали до появления qlora. Сейчас может на qlora перешли.