Pull to refresh
49
0.6
Send message

Загруженная на gpu модель и состояние оптимайзера занимал 2.7 Гб на первом gpu. Предполагаю, что это не только веса, но и статистика оптимайзера.

При обучении всей модели kaggle показывал что первый gpu загружен на 11-12 Гб. Тут играет роль размер батча - 8. Мы одновременно обрабатываем 8 примеров за раз на gpu. Больший размер батча приводил к Out of memory (если бы можно было, я бы поставил больше). Т.е. сам по себе кол-во обучающих данных роли не играет.

Второй gpu всегда был пустой, т.к. разделение модели на 2 gpu требует определенных действий. Я пока не стал это делать. В целом размер батча (8 семплов) меня устраивал.

По поводу файнтюна LLM сложные вопросы. LLM обычно огромные. В labse 130 млн. весов, в приличной LLM 7 млрд. весов (mistral, openchat). Файнтюнить надо будет через PEFT с квантованием или еще как то. Область интересная, но сложная. Мне понравилась вот эта статья Ильи Гусева и код обучения.

по выводу денег с steam есть топик на indiedev, где все русскоязычные пользователи активно делятся свежей информацией как сейчас можно выводить

в РФ на данный момент примерно 2 популярных варианта, физические лица могут завести удаленно счет в челябинвестбанке, а ип и юрлица могут посетить очно москоммерцбанк предварительно подав заявку онлайн

также все еще доходят деньги на юникредит со стима, но новые счета проблемно открыть

вся инфа актуальна на текущий момент времени и постоянно рефрешится сообществом с начала санкций, варианты с другими странами там тоже подробно обсуждают, рекомендую именно для стима как проверенный источник

Я автор репы выше.

На самом деле там довольно навороченные примеры перевода подаются на вход, поэтому у 30B такой невысокий результат. На простых фразах многие движки дают относительно нормальный перевод - и у Лламы это вообще круто, что она как-то дает перевод. Просто в сравнении с более сложными движками - а сейчас, видимо, самая продвинутая локальная это FB NLLB - она проигрывает. А FB NLLB на 1.3B можно запустить на 8Gb VRAM, а с квантизацией - и на 2 GB, и результат будет приближаться к Google Translate, вот что круто.

Мне самому было интересно, что выдают LLM, поэтому и гонял. На 7B - что выдает при приличной скорости? На 30B - что возможно при относительном максимуме? (на 65B не гонял, да) 30B и так давало 40 секунд на перевод, так что я ограничился небольшим тестом.

Но вообще - если будет время - можете скачать мою репу (там есть one click installer под Windows), и прогнать тест на модельку 65B. У меня есть коннектор к KoboldAPI/OpenAI API, так что если запускаете через text-generation-web или koboldcpp, то должно сконнектиться. Тесты на BLEU там запускаются одним файликом, ничего специально делать не надо, только настроить, на каком плагине его оценивать.

Попробуйте в 4-й:


В большой комнате играют Вася, Маша, Коля, Толя и собачка Бобик, в маленькой комнате играют Митя и Гриша. Гриша ушел, а Маша и Бобик перешли в маленькую комнату. Сколько детей играет в каждой из комнат?


Версия 3.5 выдавала разные ответы, не разу правильного.



...Полученные от модели ответы на описание изображений содержали ошибки и не всегда соответствовали контенту на изображении. Среди них были такие ошибки, как повторение слов или предложений, а также наличие бессвязных высказываний. Для того чтобы решить эти проблемы, мы используем ChatGPT для уточнения описаний с помощью следующей подсказки подсказки:
Исправьте ошибку в данном абзаце.
Удалите повторяющиеся предложения, бессмысленные символы, не английские предложения и так далее.
Уберите ненужные повторы.
Перепишите все неполные предложения.
Вернуть непосредственно результаты без объяснений.
Вернуть непосредственно входной абзац, если он уже правильным без объяснений.

Т.е. по сути они использовали ChatGPT, без реального знания что на изображении, как корректор выдачи предобученной викуны на
... Для обучения модели мы используем объединенный набор данных Conceptual Caption [5, 27], SBU [20] и LAION [26]...
и использовали результаты исправлений для дообучения.
А вот еще один пример, уже от МС:

Microsoft выпустили наработки по предоставлению данных в языковую модель об изображении с помощью сторонних моделей визуального восприятия.
https://github.com/microsoft/TaskMatrix

Вообще оригинальный производитель старых залманов это IODD и он продолжает развиваться, недавно вышла новая модель. А вот новые залманы "оригинальной" разработки, это какое то УГ

Спасибо за статью!
Если интересно, могу предоставить эмбединги с sociation.org (не сочиите за рекламу, проект некоммерческий). Они получены не на корпусе текстов, а, наоборот, из ассоциаций пользователей. Слов меньше, только отмодерированные существительные и устойчивые словосочетания, но они намного качественнее. Я сравнивал с RuVectors тестами и эмпирически.

Да больше 10 лет назад таже Geola такое делала, вот например их принтер для печати цифровых 3D-голограмм https://www.geola.com/product/holographic-printer/. У них и 3D-сканеры были позволяющие сделать цифровую 3D-копию объекта, в том числе и живого человека. По выставкам возили свою установку.

Secure Folder это немного для другого (хотя можно и так конечно использовать)
Есть Virtual Android или Shelter (с F-Droid).

Нужен форк с поддержкой Embedding, я использую этот. Создаётся папка, куда кидается набор изображений 512x512. Набор должен быть очень небольшим, не более пяти изображений персонажа, желательно в разных ракурсах или позах.
Далее просто запускается соответствующий скрипт (подробности по вышеуказанной ссылке — раздел «Personalizing Text-to-Image Generation»). На RTX3090 генерация эмбеддингов занимает около часа, после этого в указанной папке появляется файл с расширением pt (он очень небольшой, обычно порядка 5 Кб всего).
Далее его можно использовать согласно гайду: эмбеддинги указываются в качестве параметров при запуске генеративного скрипта, дополняя собою сеть. Эмбеддинг содержит ключевые слова, по использованию которых в запросе он применяется.
Очень многие форки Stable Diffusion поддерживают установку уже готовых эмбеддингов, даже если не поддерживают их генерацию.
Например вот этот форк с удобным веб-интерфейсом (подробности установки эмбеддингов в разделе «Textual Inversion»):
github.com/AUTOMATIC1111/stable-diffusion-webui
Нужно создать папку embeddings и просто кинуть туда pt-файлы с эмбеддингами (да, можно несколько разных эмбеддингов одновременно — все они дополняют собою сеть).
Если интересна теория — каким образом добавление считанных килобайт к сетке позволяет ей «выучить» новых персонажей и новые стили — см. здесь подробное описание метода.

Огромный сборник моделей TensorFlow Lite, 1.8K звёзд, https://github.com/PINTO0309/PINTO_model_zoo

на работе у меня много лет была проброшена видюха в вм с виндой (ради пары софтин), причём видеокарты регулярно менялись

по вашему вопросу: я делал некоторое кол-во тестов увы цифры я не сохранил, но синтетитика показывала совсем незначительную разницу между проброшенной в вм видеокартой и ей же но с системой на хосте (ЕМНИП меньше 10 процентов), а в реальных нагрузках (solid works, blender, и пара игр) разницы не было заметно глазу

так же многим может пригодится вот такая информация: для амд/радеон и невидия quadro вышеописаный рецепт работает, а для невидия geforce прийдётся залезть руками в xml конфиг виртуалки и сделать небольшой обман (драйвера невидии не позволяют работать потребительским видеокартам в виртуальных средах) чтобы ос и дрова невидии не знали что это виртуалка а не реальное железо

пункт 6.2 в моей записной книжке

хотя я уже больше года как освободился от этого ярма на шее (больше винда не нужна ни для работы ни для дома) насколько я знаю один мой коллега продолжает так работать и всё ок.

Попробуйте в качестве растворителя бутилацетат. Ацетон, даже ЧДА или ХЧ - плохой растворитель, скорее для промывки подходит

Всегда, когда вижу числа с плавающей точкой (double/float) в задачах отличных от физики, начинаю паниковать и включается режим "сапёра" с тщательным анализом граничных случаев и максимальной изоляции этого кода. Если вижу double/float в финансовых приложениях, "дёргаю стоп-кран" и предлагаю избавиться от него. Если вижу битовые манипуляции с такими типами, то паникую еще больше (но, к сожалению, если уж пришлось прийти к битовым манипуляциям над флоатами, то это не от хорошей жизни и обычно оправдано).

95% разработчиков легко допускает ошибки в работе с этими типами на уровне "обычных" операций (сравнить на равенство, сложить-вычесть в неправильном порядке, применить ассоциативность/коммутативность/дистрибутивность не думая, преобразования в другие типы и т.п.). Не меньше 80% разработчиков не напишут корректно даже элементарного метода Гаусса с первой попытки.

Причём не стоит думать, что "ну я -то точно легко справлюсь". До нас в этой ловушке побывали и разработчики процессоров, и разработчики ОС, и разработчики Excel, и разработчики стандартных библиотек.

PS: а статья @lany, как всегда, хороша тем, что заставляет подумать.

PPS: угадайте, что меня напрягает в JavaScript :)

а единственное преимущество данного подхода для пользователей было бы в том, что им бы не требовалось разрешение биржи для вывода собственных средств

Как будто это не единственное что должно железно требоваться от биржи чтобы иметь хоть какую-то возможность доверять ей.
Но обычно происходит классическая ситуация вида "Ой, вы хотите вывести свои бетховены? Извините, у нас технические работы, сейчас это невозможно. Кстати, мы закрываемся завтра, всем спасибо за участие".

Используем LiteDB в своём проекте уже несколько лет (около 15 тыс установок у клиентов, довольно небольшая нагрузка, порядка 1 rps вида «прочитать состояние из бд, внести изменения, сохранить назад обновлённую версию», размер базы порядка 10-100мб).
Мигрировали с LocalDb, во время миграции сравнивали с SQLite по производительности/удобству.
Основной плюс — работает очень быстро. Как мы не тюнили SQLite — litedb из коробки обгонял его по нашему workflow работы (без изменения основной логики приложения) в разы. Оба они на порядок обгоняли localdb.
Главный минус — я бы не назвал litedb production-ready. Периодически всплывают баги, приводящие к нарушению структуры базы и делающие её нечитаемой. Уже по-моему третья «мажорная» версия вышла которая обещает что вот теперь то мы их все исправили, но на нашей клиентской Бахе все равно раз в пару месяцев у кого-нибудь что-то ломается. В другом use-case где мы используем её чисто как кеш (под достаточно объемные данные часто изменяющиеся) — у неё течёт размер и раз в несколько месяцев приходится руками сносить Файлы, потому что размер бд вырастает до десятка Гб.
Своя структура работы, нет поддержки популярными Orm, нет транзакций (по крайней мере когда мы её выбирали, потом их добавили, потом отказались, в общем политика меняется от версии к версии).


В целом — для собирания Proof of concept проекта с последующей переделкой, или под данные которые если что не жалко потерять или можно восстановить из других источников — очень удобно. Настраивается быстро, работа интуитивная, все летает. Но как полноценную единствннную БД в серьезном проекте — я бы не стал использовать.

Вы будете очень смеяться, когда я покажу workaround, которым пользуюсь, чтобы быстро понять, что на картинке, когда сижу в far2l на другом конце глобуса:

chafa -c 16 --color-space=din99d --dither=ordered -w 9 --symbols all --fill all !.! && read -n1 -r -p ""

Если эту строчку прописать в «кастомные ассоциации», фар заменит !.! на имя файла. Ну и чафу надо саму поставить, конечно.

А вообще, конечно, такая штука обсуждалась. Там есть два принципиально возможных подхода к такому: 1) через sixel-графику, вот тикет 2) через развитие идеи far2l terminal extensions, чтобы удаленный фар мог так слать графическую картинку локальному.

Думаю, вряд ли elfmz станет заниматься этим до стадии беты, но в перспективе отчего ж не сделать, конечно :) Или же сами можете попробовать — если уж я со своим «знанием» сей смог патчи писать для far2l, то и вы сможете!

более половины всего эфира, который сейчас есть в наличии, был роздан в нулевом блоке при старте этой криптовалюты, а меньшая часть появилась в результате майнинга блоков. Попробуйте нагуглить этот факт в описании этой криптовалюты - скорее всего ничего не выйдет, он не афишируется, и даже скрывается.
Вот пост о сбор средств (продаже токенов) для запуска проекта:
https://blog.ethereum.org/2014/07/22/launching-the-ether-sale/
а вот промежуточные результаты:
https://blog.ethereum.org/2014/08/08/ether-sale-a-statistical-overview/


Странно, что у статьи столько плюсов, ведь она вводит читателей в заблуждение.

Information

Rating
1,522-nd
Registered
Activity