А могли бы подсказать где взять правильно-квантованые 70b? Потому что у меня опыт схожий, где-то ниже 4-5-6 70B была совсем неочень, при том что 8B отрабатывала бодро и весело. 70B 6-7-8кванты - медленно и заметно лучше 8B отвечали
Алгоритм Шора (по крайней мере наиболее известный, сходу не припомню другой семантики) находит множители числа. Проверка того, что "множитель" полученный от квантовой части действительно множитель (а там действительно после свертки может получится "любое число"), выполняется банальным выполнением деления на классическом компьютере. Именно поэтому алгоритм Шора один из наиболее известных квантовых алгоритмов, поскольку даёт заметное и понятное ускорение операции, классически выполняемое гораздо дольше (в терминах сложности алгоритмов). И там без шуток, проверка делимости прям предполагается классически в самом алгоритме.
Про число Пи не скажу, навскидку не помню, чтобы был квантовый алгоритм вычисления его знаков, тем более 70 трлн сразу..
Я понимаю конечно, что в рамках попавших в открытый доступ моделей лицензии - дело весьма специфически применяемое, но для интереса прочитал то, что они предлагают как соглашение для коммерческого использования и вообще не очень понял, кому оно на этих условиях за обозначенную плату может быть нужно
Даже если и был, это не мешало литресу с момента основания выкачивать пиратские библиотеки и после этого начинать с ними усиленно бороться, те ещё тридварасы.
Как понимю, речь о какой-то мобильной версии A2000, десктопная вроде существенно больше памяти должна нести, и, значит i7 Gen12 тоже мобильный..
Вы сможете например запустить Llama3 8B, 70B целиком в RAM, работать будет. Очень неспешно (навскидку могу предположить, что 70B где-то по несколько минут на ответ, но надо проверять). На этих примерах вероятно сможете оценить, насколько результат ответов вас устраивает и нужно ли копать дальше.
Размер видео рам критичен для скорости. Для работоспособности некритичен. 4Gb не помогут никак (ну тоесть как-то помогут, но это все равно будет очень больно). 8Gb имхо минимум для экспериментов без особых ожиданий. В 8Gb уже влезет LLama3 8B слегка квантованая. На 16Gb можно уже сгрузить какое-то число слоёв 70B, чтобы эффект был хорошо заметным.
Смысла параллелить ноуты в этих условиях я не вижу. На днях пробегала статья - там товарищ говорил, что нужен минимальный интерконнект в 50Gbps. Ну тоесть на 40gbps вероятно еще можно попробовать, но врядли вы такое в ноутах сможете организовать. Да и это уже не из разряда типовых решений - придется свои велосипеды строить.
А? А что не так с собирательством и коллекционированием музыки? Винамп до сих пор работает кстати, но если вам он не по душе, то теги никто не отменял и они работают для почти любого вменяемого плеера..
После анонса этой "фичи" взял большую пачку попкорна и понемножку откусываю оттуда глядя на то, как микрософт годами игнорируя нежелание пользователей сливать куда попало свои данные будет теперь убеждать их, что это прям нужно-нужно, безопасно-безопасно и никто ниоткуда ничего не украдёт и не воспользуется в дальнейшем обучении (привет ФБ с Адобе) и больше никаким образом ничего не сольётся. Потрясающий аттракцион.
Хм, а как? Потому что когда от второго пользователя захожу, винда первого разлогинивает
Это было ограничение версии/лицензии, десктоп "разлогинивал", сервер - разрешал чуть больше, rdp-сервер - еще больше. Сначала, насколько помню правилось вообще ключом реестра, потом подкладыванием dll-ки из сереврной версии, сейчас даж не знаю, давно не интересовался. Если список процессов в винде откроете - там легко увидеть запущенные процессы от разных пользователей и сейчас, пусть и для системных целей. Т.е. несколько gui/десктопов добиться нелегко, а запущенных параллельно процессов разных пользователей - сколько угодно.
Зато удобно получающему. Как только служба безопасности позвонила в неурочное время - время идти за посылку. Эти орлы успевали еще до оповещений самого сдэка оповестить ;)
На десятке нормально работают. И производительные и энергоэффективные. Насколько могу судить, ровно по тем же убогим алгоритмам что и на 11.
А могли бы подсказать где взять правильно-квантованые 70b? Потому что у меня опыт схожий, где-то ниже 4-5-6 70B была совсем неочень, при том что 8B отрабатывала бодро и весело. 70B 6-7-8кванты - медленно и заметно лучше 8B отвечали
Современные это которые?
Ась?
Алгоритм Шора (по крайней мере наиболее известный, сходу не припомню другой семантики) находит множители числа. Проверка того, что "множитель" полученный от квантовой части действительно множитель (а там действительно после свертки может получится "любое число"), выполняется банальным выполнением деления на классическом компьютере. Именно поэтому алгоритм Шора один из наиболее известных квантовых алгоритмов, поскольку даёт заметное и понятное ускорение операции, классически выполняемое гораздо дольше (в терминах сложности алгоритмов). И там без шуток, проверка делимости прям предполагается классически в самом алгоритме.
Про число Пи не скажу, навскидку не помню, чтобы был квантовый алгоритм вычисления его знаков, тем более 70 трлн сразу..
Открытое, но не свободное. Так бывает.
А могли бы написать, какими провайдерами пользуетесь?
Я понимаю конечно, что в рамках попавших в открытый доступ моделей лицензии - дело весьма специфически применяемое, но для интереса прочитал то, что они предлагают как соглашение для коммерческого использования и вообще не очень понял, кому оно на этих условиях за обозначенную плату может быть нужно
Даже если и был, это не мешало литресу с момента основания выкачивать пиратские библиотеки и после этого начинать с ними усиленно бороться, те ещё тридварасы.
Как понимю, речь о какой-то мобильной версии A2000, десктопная вроде существенно больше памяти должна нести, и, значит i7 Gen12 тоже мобильный..
Вы сможете например запустить Llama3 8B, 70B целиком в RAM, работать будет. Очень неспешно (навскидку могу предположить, что 70B где-то по несколько минут на ответ, но надо проверять). На этих примерах вероятно сможете оценить, насколько результат ответов вас устраивает и нужно ли копать дальше.
Размер видео рам критичен для скорости. Для работоспособности некритичен. 4Gb не помогут никак (ну тоесть как-то помогут, но это все равно будет очень больно). 8Gb имхо минимум для экспериментов без особых ожиданий. В 8Gb уже влезет LLama3 8B слегка квантованая. На 16Gb можно уже сгрузить какое-то число слоёв 70B, чтобы эффект был хорошо заметным.
Смысла параллелить ноуты в этих условиях я не вижу. На днях пробегала статья - там товарищ говорил, что нужен минимальный интерконнект в 50Gbps. Ну тоесть на 40gbps вероятно еще можно попробовать, но врядли вы такое в ноутах сможете организовать. Да и это уже не из разряда типовых решений - придется свои велосипеды строить.
Внизу статьи список ссылок. Кликаете по девятому номеру. Переходите в раздел input, скачиваете файл.
*слушая прямо сейчас один из треков той подборки*
А? А что не так с собирательством и коллекционированием музыки? Винамп до сих пор работает кстати, но если вам он не по душе, то теги никто не отменял и они работают для почти любого вменяемого плеера..
Проверку на традиционных вычислительных системах никто не отменял. Собственно один из шагов того самого Шора ровно в этом и состоит.
Так может Змей Горыныч вовсе и не змей был? :D
После анонса этой "фичи" взял большую пачку попкорна и понемножку откусываю оттуда глядя на то, как микрософт годами игнорируя нежелание пользователей сливать куда попало свои данные будет теперь убеждать их, что это прям нужно-нужно, безопасно-безопасно и никто ниоткуда ничего не украдёт и не воспользуется в дальнейшем обучении (привет ФБ с Адобе) и больше никаким образом ничего не сольётся. Потрясающий аттракцион.
Врали как и все остальные. Со смешанными чувствами смотрю как от года к году это поделие умудряется быть всё хуже и хуже.
На фоне прошедшей последней переписи населения в России это очень милый вопрос
Это было ограничение версии/лицензии, десктоп "разлогинивал", сервер - разрешал чуть больше, rdp-сервер - еще больше. Сначала, насколько помню правилось вообще ключом реестра, потом подкладыванием dll-ки из сереврной версии, сейчас даж не знаю, давно не интересовался. Если список процессов в винде откроете - там легко увидеть запущенные процессы от разных пользователей и сейчас, пусть и для системных целей. Т.е. несколько gui/десктопов добиться нелегко, а запущенных параллельно процессов разных пользователей - сколько угодно.
Зато удобно получающему. Как только служба безопасности позвонила в неурочное время - время идти за посылку. Эти орлы успевали еще до оповещений самого сдэка оповестить ;)
Любопытно, а сколько не отразили? И на какую сумму?
эфирке это ж не помешало..