это будет квантово не связанная область пространства, по максимуму вылезут все квантовые эффекты на макро уровне.
Но мне больше интересно что можно сделать имея на руках эффективный инструмент искривления пространства... по аналогии как магнитные поля создают солнечные вспышки, выбрасывая вещество с огромной скоростью, исключительно движением виртуальным, разгоняется место пересечения магнитных линий, можно ведь то же самое делать с пространством
Первый кандидат на создание межзвездных врат, конструкция в космосе, выкидывающая область пространства с кораблем на сверхсветовых скоростях в заданную область космоса (понятно сначала размер будет микро и использоваться для связи).
Да, после этого будет мощнейший взрыв (ЧД испаряются), и потреблять энергию это будет в массокилограммах, т.е. на нашем уровне развития это сфера дайсона, но результат наверное того стоит.
И конечно дальнейшее развитие - постоянный канал, чрезвычайно растянутое пространство между двумя структурами 'тут и там', удерживаемое вращающимися черными дырами особой конфигурации
можно попробовать проект petals, настроив свой личный кластер. 16x десктопных gpu с 16Gb vram каждая (стоимость начиная с 50т.р.), cpu оперативная память по уму не нужна (на момент загрузки данные будут сразу загружаться с ssd, но это нужно тестировать), стоимость кластера порядка 1кк рублей минимум (4 ноды по 4 видеокарты)
У llama.cpp есть обсуждение по похожему проекту, есть хорошее утверждение, не лишенное логики
@ggerganov commented Sep 8, 2023 In theory, a parallel implementation would split the model tensors across rows to 32 nodes and the MPI code would synchronize the activations after each layer, which would in theory give you ~32x times the memory bandwidth of a single node. And on top of that, each node would need just 1/32 of the total memory.
т.е. теоритически возможно кратное ускорение работы за счет паралелизации на нескольких нодах
Ну и смотрим тут https://github.com/b4rtaz/distributed-llama у него на 8-малинках получалось запустить llama2-70B, а если смотреть по 7B версии то с 3-кратным ускорением (как я понимаю упирается все в сеть)
по сравнению с традиционными методами загрузки в ЦП
что они там нахимичили что у них работа с диском оказалась быстрее, но полагаю использовались не llama.cpp подход? дело в том что форматы сохранения чекпоинтов это упакованный zip архив .ckpt или .pth или просто формат данных типа .safetensors, который по определению должен быть прочитан, распарсен, и скопирован сначала в оперативную память, потом в gpu, и эти накладные расходы значительны.
llama.cpp переносит всю эту работу на момент конвертирования в .gguf формат, а когда запускается собственно проект, данные доступны в тот же момент как их запросили, при этом механизм маппинга файла на память работает быстрее чем любые классические методы чтения файлов, в т.ч. fread, на низком уровне все они основаны на чем то типа mlock, плюс это очень удобно, когда между запуском скрипта не нужно перечитывать весь файл весов, они хранятся в кеше ОС, и даже если между запусками была запущена другая программа и вытеснила часть весов из кеша, будут загружены только эти вытесненные... когда как использование подхода запустил сервер и держишь память занятой, очень ограничивает использование машины для других задач.
спасибо, по ссылке таблицы с десятком миллионов случайных записей (числа) операции sum ускорились на 30%.... скорее всего чтобы это стало заметно, вычислений нужно действительно много
Просто перечисление конкретных проектов без какой либо информации о их качестве, ну хотя бы минимальные бенчмарки сравнительные, это ведь не просто утилиты, а основанные на языковых моделях, значит нужна информация на каких моделях и на сколько они качественные.
p.s. ни слова про недавно вышедшую llama3-70b, она в coding догнала gpt4, да и мои личные тесты проходит так же хорошо, например
write a C++ class that simulates a two-dimensional array, so that working with elements of this class is the classic syntax mas[x][y] using operator[], but the data is stored in a one-dimensional array in a class object (without using std vector, only pure mas[x+Sx*y]) . The element type and array dimensions must be determined by the template parameters
на машине 64Gb ram было запущено много приложений и свободно оставалось 50Гб но для запуска llama3-70b-q5 требовалось 56Гб и в результате llama.cpp (он мапит .gguf файл модели в память) по кругу читало весь файл (вместо того чтобы перечитывать только ту часть что не влезла), файл размещен на nvme диске со скоростью чтения 900мегабайт в секунду (по логам с диска чтение было 9110мбит) весь файл считывался за 1 минуту, и именно с такой скоростью - 1 токен в минуту работала llama. Если модель помещается в оперативную память то скорость 1 токен за 0.9сек.
Если что сомнительное достижение но использовать это можно будет, когда выйдет 400B модель чтобы хоть как то на нее посмотреть
Хз но наверное они не просто так стоят как самолет
Хотя нет, тебе на выходе не нужна нить которую можно в принтер заправить и печатать, тебе пофиг на свойства распечатанного изделия.
Нить для принтера должна иметь вполне определенные свойства упругости и прочности, а еще ее нужно тянуть очень точного диаметра, иначе 3% расхождения уже аукнутся на качестве.
Человечество прекрасно справляется с уничтожением своей планеты (точнее ухудшением своей жизни на ней, планете пофиг на тонкую биопленку заразы на ней), и детские варианты с нажмут на кнопку и все взлетит на воздух не интересно. Например с целью одного из метода конкурировать одной страны с другой экономическими методами, эта страна запускает безудержный процесс перепроизводства (который тратит ресурсы, энергию и загрязняет окружение и загоняет планету в цикл разогрева за счет парникового эффекта) с помощью запланированного устаревания и продажи некачественно товара, которые не просто ломается в заданный момент, нет - который тупо не работает, например ты покупаешь ножницы а они из коробки не режут бумагу, карандаши и ручки не пишут, механические игрушки разваливаются в руках, измерительные инструменты не измеряют, приборы тупо не работают, машины не едут и т.п.... это не редкие события а система, огромный поток говна идет на экспорт с единственной целью - продать его и двигать свою экономику (производство говна ничем не хуже производства нормальных товаров, рабочие места ок).
.gguf это формат хранения gpt нейронок (особенность в том что он совпадает с форматом хранения весов в памяти, т.е. файл можно мапить на область памяти вместо его загрузки копированием), с поддержкой квантизации, разные параметры квантизации - разный размер (кстати осторожно, я скачивал 70B якобы готовую но она работала хуже чем если я сам скачаю .safetensors формат и конвертирую утилитой из llama.cpp, хз почему, возможно тот кто выкладывал это сделал квантизацию с ошибкой, в тот день кода в llama.cpp с поддержкой llama3 не было)
черные дыры не создают в ускортелях, ну в теории конечно это наверное возможно, если создать ускоритель размером с солнечную систему... но это микроскопом гвозди забивать.
По поводу создания ЧД - вполне на полном серьезе обсуждалось создание ЧД с помощью лазера (в смысле МНОГО лазеров), необходимо сфокусировать в точке достаточно энергии и ЧД создана, причем скорее всего именно та что нужно - не вращающаяся, под вопросом правда заряд и соответственно удержание ее.
Если микроскопическая черная дыра упадет' на землю, она пролетит насквозь и останется в ядре на миллионы лет, медленно пожирая материю и разогревая ее (этот процесс будет замедляться тем что выделяемая энергия расталкивает вещество, не пуская его в черную дыру), в конце концов планета превратится в подобие красного карлика. Кстати, не удивлюсь, если в будущем это будут использовать для создания из планет кораблей-поколений, планета будет разогреваться 'естественным' образом (отвод тепла можно контролировать искусственно либо использоваться как двигатель, например выбрасывая лишнюю разогретую материю) и сможет находиться в космосе без солнца и поддерживать жизнь (например в океанах)
Нужно кормить ЧД массой/энергией с такой скоростью, чтобы она росла со скоростью не меньшей чем испаряется.
Т.е. мало того что нужно придумать как (попробуй дай дыре массу не раскрутив их обоих, или раскрутив особым образом, когда размеры всего этого добра планковские, и куча квантовых неопределенностей) и чем ее 'кормить' (правда тут скорее всего можно как то приспособить излучение от испарения, отражать научиться что ли, на сколько я знаю, определенной частоты свет со 100% эффективностью отражать умеют, осталось сделать то же но с определенным интервалом частот, грубо говоря пропускать только часть)
у ПЭТ бутылок пластик очень капризный и температурный профиль получения нити после шредера не тривиальный (кажется граница, в пределах которой нужно удерживать температуру расплава, очень узкая и по особому охлаждать, иначе не получится нити для 3d печати). Рабочая и дешевая схема именно из ленточек равной ширины*толщины, ее скручивают в косичку и пропускают через сопло под не очень высокой температурой, пластик слегка сплавляется, полученная косичка менее плотная, потребует калибровки потока, но решение рабочее.
Лично я вижу сложности со спайкой ленты в более длинную (иначе полученная косичка считанные сотня грамм), требует много ручной работы. Еще момент, как не старайся, итоговая нить будет неравномерной по плотности, что влияет на качество результата, но возможно применение на двух-экструдийном принтере, как пластик заполнения
Идея со стиркой нити так себе, они запутаются, это еще больше ручной работы. Лучше отмывать бутылки пока они бутылки, спиртом и губкой, как минимум именно так делают все (на ютубе одно время искал) кто этим занимаются.
Заниматься ПЭТ бутылками имеет смысл только если тебе их несут или ты сам потребляешь напитки большими объемами. Ходить и собирать их со случайной грязью то еще удовольствие, не стоящее профита.
При наличии видеокарт достаточного суммарного размера vram, да.
Работать будет и на оперативной памяти, но медленнее на порядок
Вот тут бот бегает по популярным моделям и показывает требования к памяти, можно примерно оценить по моделям со схожим количеством параметров. Для тюнинга весов модели на вес нужно минимум float16, для peft (тюнинг весов токенизера или промпта или еще как) может хватить 8бит квантизации. Для использования модели квантизация может быть меньше, но 4бит уже заметная потеря качества.
какие жанры лучше заходят детям именно чтобы выучить стих?
Как вы указали в lyric ударения?
И еще, пользуйтесь тегами, типа [Break], очень помогает разделить предложения, которые их алгоритм связывает 'на одном дыхании'
Генерировать фон для видеоблогеров, чтобы не агрился алгоритм правообладателей на youtube.
это будет квантово не связанная область пространства, по максимуму вылезут все квантовые эффекты на макро уровне.
Но мне больше интересно что можно сделать имея на руках эффективный инструмент искривления пространства... по аналогии как магнитные поля создают солнечные вспышки, выбрасывая вещество с огромной скоростью, исключительно движением виртуальным, разгоняется место пересечения магнитных линий, можно ведь то же самое делать с пространством
Первый кандидат на создание межзвездных врат, конструкция в космосе, выкидывающая область пространства с кораблем на сверхсветовых скоростях в заданную область космоса (понятно сначала размер будет микро и использоваться для связи).
Да, после этого будет мощнейший взрыв (ЧД испаряются), и потреблять энергию это будет в массокилограммах, т.е. на нашем уровне развития это сфера дайсона, но результат наверное того стоит.
И конечно дальнейшее развитие - постоянный канал, чрезвычайно растянутое пространство между двумя структурами 'тут и там', удерживаемое вращающимися черными дырами особой конфигурации
можно попробовать проект petals, настроив свой личный кластер. 16x десктопных gpu с 16Gb vram каждая (стоимость начиная с 50т.р.), cpu оперативная память по уму не нужна (на момент загрузки данные будут сразу загружаться с ssd, но это нужно тестировать), стоимость кластера порядка 1кк рублей минимум (4 ноды по 4 видеокарты)
У llama.cpp есть обсуждение по похожему проекту, есть хорошее утверждение, не лишенное логики
@ggerganov commented Sep 8, 2023In theory, a parallel implementation would split the model tensors across rows to 32 nodes and the MPI code would synchronize the activations after each layer, which would in theory give you ~32x times the memory bandwidth of a single node. And on top of that, each node would need just 1/32 of the total memory.
т.е. теоритически возможно кратное ускорение работы за счет паралелизации на нескольких нодах
Ну и смотрим тут https://github.com/b4rtaz/distributed-llama у него на 8-малинках получалось запустить llama2-70B, а если смотреть по 7B версии то с 3-кратным ускорением (как я понимаю упирается все в сеть)
по сравнению с традиционными методами загрузки в ЦПчто они там нахимичили что у них работа с диском оказалась быстрее, но полагаю использовались не llama.cpp подход? дело в том что форматы сохранения чекпоинтов это упакованный zip архив .ckpt или .pth или просто формат данных типа .safetensors, который по определению должен быть прочитан, распарсен, и скопирован сначала в оперативную память, потом в gpu, и эти накладные расходы значительны.
llama.cpp переносит всю эту работу на момент конвертирования в .gguf формат, а когда запускается собственно проект, данные доступны в тот же момент как их запросили, при этом механизм маппинга файла на память работает быстрее чем любые классические методы чтения файлов, в т.ч. fread, на низком уровне все они основаны на чем то типа mlock, плюс это очень удобно, когда между запуском скрипта не нужно перечитывать весь файл весов, они хранятся в кеше ОС, и даже если между запусками была запущена другая программа и вытеснила часть весов из кеша, будут загружены только эти вытесненные... когда как использование подхода запустил сервер и держишь память занятой, очень ограничивает использование машины для других задач.
спасибо, по ссылке таблицы с десятком миллионов случайных записей (числа) операции sum ускорились на 30%.... скорее всего чтобы это стало заметно, вычислений нужно действительно много
Просто перечисление конкретных проектов без какой либо информации о их качестве, ну хотя бы минимальные бенчмарки сравнительные, это ведь не просто утилиты, а основанные на языковых моделях, значит нужна информация на каких моделях и на сколько они качественные.
p.s. ни слова про недавно вышедшую llama3-70b, она в coding догнала gpt4, да и мои личные тесты проходит так же хорошо, например
write a C++ class that simulates a two-dimensional array, so that working with elements of this class is the classic syntax mas[x][y] using operator[], but the data is stored in a one-dimensional array in a class object (without using std vector, only pure mas[x+Sx*y]) . The element type and array dimensions must be determined by the template parametersИнтересно, при каких условиях jit-оптимизация начнет увеличивать производительность?
на машине 64Gb ram было запущено много приложений и свободно оставалось 50Гб но для запуска llama3-70b-q5 требовалось 56Гб и в результате llama.cpp (он мапит .gguf файл модели в память) по кругу читало весь файл (вместо того чтобы перечитывать только ту часть что не влезла), файл размещен на nvme диске со скоростью чтения 900мегабайт в секунду (по логам с диска чтение было 9110мбит) весь файл считывался за 1 минуту, и именно с такой скоростью - 1 токен в минуту работала llama. Если модель помещается в оперативную память то скорость 1 токен за 0.9сек.
Если что сомнительное достижение но использовать это можно будет, когда выйдет 400B модель чтобы хоть как то на нее посмотреть
Хз но наверное они не просто так стоят как самолет
Хотя нет, тебе на выходе не нужна нить которую можно в принтер заправить и печатать, тебе пофиг на свойства распечатанного изделия.
Нить для принтера должна иметь вполне определенные свойства упругости и прочности, а еще ее нужно тянуть очень точного диаметра, иначе 3% расхождения уже аукнутся на качестве.
"Миром правит не секретная ложа а полная лажа."
Человечество прекрасно справляется с уничтожением своей планеты (точнее ухудшением своей жизни на ней, планете пофиг на тонкую биопленку заразы на ней), и детские варианты с нажмут на кнопку и все взлетит на воздух не интересно. Например с целью одного из метода конкурировать одной страны с другой экономическими методами, эта страна запускает безудержный процесс перепроизводства (который тратит ресурсы, энергию и загрязняет окружение и загоняет планету в цикл разогрева за счет парникового эффекта) с помощью запланированного устаревания и продажи некачественно товара, которые не просто ломается в заданный момент, нет - который тупо не работает, например ты покупаешь ножницы а они из коробки не режут бумагу, карандаши и ручки не пишут, механические игрушки разваливаются в руках, измерительные инструменты не измеряют, приборы тупо не работают, машины не едут и т.п.... это не редкие события а система, огромный поток говна идет на экспорт с единственной целью - продать его и двигать свою экономику (производство говна ничем не хуже производства нормальных товаров, рабочие места ок).
.gguf это формат хранения gpt нейронок (особенность в том что он совпадает с форматом хранения весов в памяти, т.е. файл можно мапить на область памяти вместо его загрузки копированием), с поддержкой квантизации, разные параметры квантизации - разный размер (кстати осторожно, я скачивал 70B якобы готовую но она работала хуже чем если я сам скачаю .safetensors формат и конвертирую утилитой из llama.cpp, хз почему, возможно тот кто выкладывал это сделал квантизацию с ошибкой, в тот день кода в llama.cpp с поддержкой llama3 не было)
черные дыры не создают в ускортелях, ну в теории конечно это наверное возможно, если создать ускоритель размером с солнечную систему... но это микроскопом гвозди забивать.
По поводу создания ЧД - вполне на полном серьезе обсуждалось создание ЧД с помощью лазера (в смысле МНОГО лазеров), необходимо сфокусировать в точке достаточно энергии и ЧД создана, причем скорее всего именно та что нужно - не вращающаяся, под вопросом правда заряд и соответственно удержание ее.
Если микроскопическая черная дыра упадет' на землю, она пролетит насквозь и останется в ядре на миллионы лет, медленно пожирая материю и разогревая ее (этот процесс будет замедляться тем что выделяемая энергия расталкивает вещество, не пуская его в черную дыру), в конце концов планета превратится в подобие красного карлика. Кстати, не удивлюсь, если в будущем это будут использовать для создания из планет кораблей-поколений, планета будет разогреваться 'естественным' образом (отвод тепла можно контролировать искусственно либо использоваться как двигатель, например выбрасывая лишнюю разогретую материю) и сможет находиться в космосе без солнца и поддерживать жизнь (например в океанах)
они искривляют пространство, на изменения пространства ограничения не действуют.
Держи двух Васянов или договор удаленки с ближайшей конторой по обслуживанию. Все вами описанное не проблема.
у черной дыры может быть заряд, масса а еще они вращаются, собственно все чем они определяются... ну и конечно тем что вокруг них.
Нужно кормить ЧД массой/энергией с такой скоростью, чтобы она росла со скоростью не меньшей чем испаряется.
Т.е. мало того что нужно придумать как (попробуй дай дыре массу не раскрутив их обоих, или раскрутив особым образом, когда размеры всего этого добра планковские, и куча квантовых неопределенностей) и чем ее 'кормить' (правда тут скорее всего можно как то приспособить излучение от испарения, отражать научиться что ли, на сколько я знаю, определенной частоты свет со 100% эффективностью отражать умеют, осталось сделать то же но с определенным интервалом частот, грубо говоря пропускать только часть)
у ПЭТ бутылок пластик очень капризный и температурный профиль получения нити после шредера не тривиальный (кажется граница, в пределах которой нужно удерживать температуру расплава, очень узкая и по особому охлаждать, иначе не получится нити для 3d печати). Рабочая и дешевая схема именно из ленточек равной ширины*толщины, ее скручивают в косичку и пропускают через сопло под не очень высокой температурой, пластик слегка сплавляется, полученная косичка менее плотная, потребует калибровки потока, но решение рабочее.
Лично я вижу сложности со спайкой ленты в более длинную (иначе полученная косичка считанные сотня грамм), требует много ручной работы. Еще момент, как не старайся, итоговая нить будет неравномерной по плотности, что влияет на качество результата, но возможно применение на двух-экструдийном принтере, как пластик заполнения
Идея со стиркой нити так себе, они запутаются, это еще больше ручной работы. Лучше отмывать бутылки пока они бутылки, спиртом и губкой, как минимум именно так делают все (на ютубе одно время искал) кто этим занимаются.
Заниматься ПЭТ бутылками имеет смысл только если тебе их несут или ты сам потребляешь напитки большими объемами. Ходить и собирать их со случайной грязью то еще удовольствие, не стоящее профита.
При наличии видеокарт достаточного суммарного размера vram, да.
Работать будет и на оперативной памяти, но медленнее на порядок
Вот тут бот бегает по популярным моделям и показывает требования к памяти, можно примерно оценить по моделям со схожим количеством параметров. Для тюнинга весов модели на вес нужно минимум float16, для peft (тюнинг весов токенизера или промпта или еще как) может хватить 8бит квантизации. Для использования модели квантизация может быть меньше, но 4бит уже заметная потеря качества.