Расшифровка простых шифров и сами шифры - естественные знания, которые повторно придут без проблем.
По поводу текстов в прозрачных кристаллах, для поглупевших потомков, нужно чередовать форматы записи, от визуально читаемых, со словарями и рисунками (с помощью лупы или микроскопа) и тех данных, что можно прочитать только с машиной
Зато на мобильном и десктопе я периодически вижу ошибку undefined вместо содержимого окна (исправляется перезагрузкой страницы) или к примеру до сих пор кнопки перехода по непрочитанным комментариям снизу страницы не прикреплены к ней (при скроле до конца футер становится ниже) - это убожество буквально говорит какой верстальщик это г. сделал и на сколько отвратительно построена отладка на хабре.
С ростом количества видеокарт, будет расти проблема из-за передачи данных через процессор... Но да, всего две карты не дадут никакого профита, соединённые nvlink
Почему вы ожидаете, что llama.cpp будет поддерживать адекватную работу с nvlink? сам разработчик это не тестировал и спрашивал как там дела... nvlink универсально просто предоставляет виртуальный пул оперативной памяти всех подключенных gpu, когда как для оптимального его использования, необходимо спроектировать приложение таким образом, что бы задания были равномерно распределены были и что бы минимизировать передачу данных, так еще и указать, что данные нужно передавать именно через nvlink а не pci-e
Скрытый текст
inference для llm тут очень просто распределяется - по слоям, между gpu передавать приходится только промежуточный вектор, размерность которого квадратный корень от размера слоя, например в случае 70b модели это примерно 80 слоев, там порядка мбайта гуляющих между слоями данных, правда есть еще KV-cache, как его тут считать я хз
Наверное лучше тестировать на чем то типа vllm, и самое главное, не в задачах inference, а для finetuning. Либо выбрать режим batching, когда сеть обрабатывает одновременно несколько запросов (это сильно потребляет оперативную память gpu, но значительно, чуть ли не на порядок, ускоряет итоговый результат, и соответственно нагружает железо по максимуму).
Был мини скандал, какой то кошелек для android использовал штатную клавиатуру для ввода seed фразы, и какой то разработчик (из Гугла?), имеющий доступ к собираемой этой клавиатурой информации, украл монеты.
vram это gpu ram, что я буду делать с обычной ram, работа нейросетей на ней примерно в 10-100 раз медленнее (а может еще больше разница, в зависимости от задач)
llm на базе gpt требуют именно суммарный объем оперативной памяти gpu (например топовая llama35 405g требует 1тб минимум),.. между нодами складывать ее так не получится (есть ситуации и задачи когда можно), и решают это дорогим железом, соединениями напрямую между gpu.
так где мне в россии за рубли купить сравнимую по производительности (интересует больше большой объем vram, потому что 24гб десктопных или 5-летней давности железа сравнимых по скорости с процессором - не подходит)
a100 80gb стоит $26k, в российских реалиях эту сумму нужно умножать на 2-5, для тюнинга 72b нужно 267gb vram (плюс место под обучающую выборку) это 4 карты
Прямо сейчас можно купить за 4кк рублей штучку (если умеешь через таможню возить, то да, покупай по $26k... рынок сейчас пустой, и будет таковым пока не появится функциональных конкурентов)
p.s. инференс на процессоре с 8бит ... 4бит квантизацией очень медленный, для поиграться хватает, но не больше. Я собрал на 2х nvidia 4060 ti 16gb, с помощью llama.cpp недостающая память задействует cpu ram, работает лучше чем просто на процессоре, но все еще недостаточно хорошо, чтобы не ждать ответ десятками секунд, плюс квантизация к сожалению влияет на результат в некоторых случаях (использую 5bit где это менее заметно).
Попробуйте в проводнике в адресной строке напишите ftp:// (тот еще квест, найти работающий ftp сервер для теста) - получите ie, или посмотрите на Process Explorer Help (он еще не везде убран, если честно заменили его вызовом онлайн справки, что не добавляет оптимизма) - он тоже на основе ie (посмотрите с помощью какого-нибудь ProcessExplorer, в списке подключенных библиотек будет ieframe.dll и еще несколько ie*.dll)
p.s. win11 не изучал, и если честно хотелось бы как можно дольше этого не делать, обещали что из него полностью вытравят остатки ie, хз зачем и почему, но обещали
Кажется большинство, включая 'власти австралии', не поняли проблемы... не соцсети несут проблему, а алгоритмы ИИ для удержания внимания (формулировать долго сложно непонятно...), из-за которых дети и другие слабые духом индивиды, тратят на потребление контента слишком много времени.
А мне нравится что он был встроен в ОС, а не так что ВСЕ кому не лень таскают с собой полноценный движок, никакого переиспользования, потребление оперативной памяти улетает в небеса, процессорный кеш буквально не может быть использован (потому что два запущенных приложения с браузером в основе - это две независимые dll, загружаемые дважды..), в общем худший вариант, не говоря о том что обновлять весь зоопарк централизованно до сих пор никто не собирается (спасибо майкрософту которые до сих пор не удосужились сделать адекватную систему репозитариев, попытавшись замкнуть на себе все и вся, собирая за это еще и деньги)
p.s. мне не нравилось что файловый проводник был (вроде бы и сейчас) сделан на его основе, это породило столько проблем и тормозов, что боюсь до сих пор их не решили.
солидолом нужно мазать ж..у условным 'китайцам', которые делают вещи максимально недолговечными с целью продавать чаще и больше
дикари переплавят металл сразу, 'потому что нужны танки и бомбы, а ученые там про какую то информацию талдычат, на кол их, юродивых'
эти инструкции не проживут и сотни лет
Расшифровка простых шифров и сами шифры - естественные знания, которые повторно придут без проблем.
По поводу текстов в прозрачных кристаллах, для поглупевших потомков, нужно чередовать форматы записи, от визуально читаемых, со словарями и рисунками (с помощью лупы или микроскопа) и тех данных, что можно прочитать только с машиной
Зато на мобильном и десктопе я периодически вижу ошибку undefined вместо содержимого окна (исправляется перезагрузкой страницы) или к примеру до сих пор кнопки перехода по непрочитанным комментариям снизу страницы не прикреплены к ней (при скроле до конца футер становится ниже) - это убожество буквально говорит какой верстальщик это г. сделал и на сколько отвратительно построена отладка на хабре.
<сарказм>идея лучше - голосовые сообщения</сарказм>
в android firefox можно, устанаваливал ради поддержки socks proxy, ublock origin и переводчик
С ростом количества видеокарт, будет расти проблема из-за передачи данных через процессор... Но да, всего две карты не дадут никакого профита, соединённые nvlink
Почему вы ожидаете, что llama.cpp будет поддерживать адекватную работу с nvlink? сам разработчик это не тестировал и спрашивал как там дела... nvlink универсально просто предоставляет виртуальный пул оперативной памяти всех подключенных gpu, когда как для оптимального его использования, необходимо спроектировать приложение таким образом, что бы задания были равномерно распределены были и что бы минимизировать передачу данных, так еще и указать, что данные нужно передавать именно через nvlink а не pci-e
Скрытый текст
inference для llm тут очень просто распределяется - по слоям, между gpu передавать приходится только промежуточный вектор, размерность которого квадратный корень от размера слоя, например в случае 70b модели это примерно 80 слоев, там порядка мбайта гуляющих между слоями данных, правда есть еще KV-cache, как его тут считать я хз
Наверное лучше тестировать на чем то типа vllm, и самое главное, не в задачах inference, а для finetuning. Либо выбрать режим batching, когда сеть обрабатывает одновременно несколько запросов (это сильно потребляет оперативную память gpu, но значительно, чуть ли не на порядок, ускоряет итоговый результат, и соответственно нагружает железо по максимуму).
Был мини скандал, какой то кошелек для android использовал штатную клавиатуру для ввода seed фразы, и какой то разработчик (из Гугла?), имеющий доступ к собираемой этой клавиатурой информации, украл монеты.
vram это gpu ram, что я буду делать с обычной ram, работа нейросетей на ней примерно в 10-100 раз медленнее (а может еще больше разница, в зависимости от задач)
llm на базе gpt требуют именно суммарный объем оперативной памяти gpu (например топовая llama35 405g требует 1тб минимум),.. между нодами складывать ее так не получится (есть ситуации и задачи когда можно), и решают это дорогим железом, соединениями напрямую между gpu.
Зачем им это?
Заявления - мы сделаем свой браузер с блекджеком и ИИ это просто пиар ход, тратить значительные суммы и усилия на это бессмысленно.
так где мне в россии за рубли купить сравнимую по производительности (интересует больше большой объем vram, потому что 24гб десктопных или 5-летней давности железа сравнимых по скорости с процессором - не подходит)
С людьми общаться не так опасно как под контролем ИИ, не надо сравнивать
Кто у кого там у вас спросил, но могу догадаться, что общение людей с людьми загнобили по политическим причинам
a100 80gb стоит $26k, в российских реалиях эту сумму нужно умножать на 2-5, для тюнинга 72b нужно 267gb vram (плюс место под обучающую выборку) это 4 карты
Прямо сейчас можно купить за 4кк рублей штучку (если умеешь через таможню возить, то да, покупай по $26k... рынок сейчас пустой, и будет таковым пока не появится функциональных конкурентов)
p.s. инференс на процессоре с 8бит ... 4бит квантизацией очень медленный, для поиграться хватает, но не больше. Я собрал на 2х nvidia 4060 ti 16gb, с помощью llama.cpp недостающая память задействует cpu ram, работает лучше чем просто на процессоре, но все еще недостаточно хорошо, чтобы не ждать ответ десятками секунд, плюс квантизация к сожалению влияет на результат в некоторых случаях (использую 5bit где это менее заметно).
Попробуйте в проводнике в адресной строке напишите ftp:// (тот еще квест, найти работающий ftp сервер для теста) - получите ie, или посмотрите на Process Explorer Help (он еще не везде убран, если честно заменили его вызовом онлайн справки, что не добавляет оптимизма) - он тоже на основе ie (посмотрите с помощью какого-нибудь ProcessExplorer, в списке подключенных библиотек будет ieframe.dll и еще несколько ie*.dll)
p.s. win11 не изучал, и если честно хотелось бы как можно дольше этого не делать, обещали что из него полностью вытравят остатки ie, хз зачем и почему, но обещали
Кажется большинство, включая 'власти австралии', не поняли проблемы... не соцсети несут проблему, а алгоритмы ИИ для удержания внимания (формулировать долго сложно непонятно...), из-за которых дети и другие слабые духом индивиды, тратят на потребление контента слишком много времени.
А мне нравится что он был встроен в ОС, а не так что ВСЕ кому не лень таскают с собой полноценный движок, никакого переиспользования, потребление оперативной памяти улетает в небеса, процессорный кеш буквально не может быть использован (потому что два запущенных приложения с браузером в основе - это две независимые dll, загружаемые дважды..), в общем худший вариант, не говоря о том что обновлять весь зоопарк централизованно до сих пор никто не собирается (спасибо майкрософту которые до сих пор не удосужились сделать адекватную систему репозитариев, попытавшись замкнуть на себе все и вся, собирая за это еще и деньги)
p.s. мне не нравилось что файловый проводник был (вроде бы и сейчас) сделан на его основе, это породило столько проблем и тормозов, что боюсь до сих пор их не решили.
8b модели можно даже не рассматривать, открытые очень слабые. Их тюнинг, без наличия исходной обучающей выборки ломает более чем полностью.
Младшие, имеющие хоть какой то смысл - это 70b и 90b (для vision), старшие это llama3.2 405b.
Ну и что бы как следует поиграться с моделями от той же алибабы qwen домашних карточек к сожалению не хватает.
тиктоки запретили, а ютуб шортсы нет?