При анализе мема с совой, модель не поняла два важнейших аспекта этого мема: 1. "Нас тупило" - это слово "наступило", разделенное на две части. Причем получилось это как бы случайно, потому что для записи слова "наступило" не хватает ширины плаката и приходится разрывать слово. 2. Совы - ночные птицы и утро их реально отупляет: они становятся усталыми и сонными после ночной охоты. То, что плакат держит именно "сова" - главная аллегория этого мема, где ночная птица ассоциируется с людьми-"совами", которые действительно часто тупят по утрам.
У меня на домашнем дексктопе модель Llama 3.1 405B IQ2_XS вполне нормально работает на 128GB RAM и двух недорогих карточках GeForce RTX 4060Ti 16G с опять же дешевым десктопным 8-ядерником AMD Ryzen 7 7700. Контекст до 32К, скорость выдачи - приблизительно 0.25 токена/сек. Что я делаю не так?
P.S.: Две видеокарты сугубо для скорости инференса, на одной тоже бы все запустилось, просто чуть медленнее.
Нет, есть много моделей со снятой (или почти снятой) цензурой. Например, Lexi-Llama-3-8B-Uncensored или Llama-3-70b-Uncensored-Lumi-Tess. Также есть модели, у которой цензура не очень жесткая "из коробки".
RTX 4070 16G - экономически не очень выгодный вариант. RTX 4060 Ti 16G на локальных моделях почти не отличается по скорости инференса, особенно если модель не влазит в память целиком и используется лишь частичный GPU Offload (а на моделях 70+ происходит именно так), при разнице в цене более чем в полтора раза.
Скоро во всех мейнстрим-новостях: "Эксперты портала habr.com высказали мысль о том, что компания Apple осознанно накачивает ремешки своих часов смертоносными бактериями".
Сейчас кто-то в компании «Верность качеству» гордо говорит коллегам: "Вот не зря я говорил, что не нужно спешить с продажей домена, а лучше подождать более высокой цены!"
Программа на Rust показала намного большую производительность при вычислении членов возвратной последовательности, чем программа на Go: 367 млн. итераций в секунду против 44 млн. Обращаем внимание на этот факт, но не беремся делать из него глубокие выводы, поскольку сравнение производительности программ, написанных на этих языках, не входило в задачи исследования.
В следующей статье предлагаю сравнить прохождение одного и того же виража гоночным болидом на скорости 367 км/час и Ладой Приорой на скорости 44 км/час. Очень жду выводов о том, что Лада Приора прошла этот вираж намного ровнее, ни разу не выехав на встречную полосу, а гоночный болид ехал по какой-то совсем странной траектории.
О взломе пояса верности я написал отдельную статью несколько дней назад. К сожалению, модераторы оставили ее в «песочнице». Но ее можно прочесть прямо там: habr.com/ru/sandbox/145958
При анализе мема с совой, модель не поняла два важнейших аспекта этого мема:
1. "Нас тупило" - это слово "наступило", разделенное на две части. Причем получилось это как бы случайно, потому что для записи слова "наступило" не хватает ширины плаката и приходится разрывать слово.
2. Совы - ночные птицы и утро их реально отупляет: они становятся усталыми и сонными после ночной охоты. То, что плакат держит именно "сова" - главная аллегория этого мема, где ночная птица ассоциируется с людьми-"совами", которые действительно часто тупят по утрам.
У меня на домашнем дексктопе модель Llama 3.1 405B IQ2_XS вполне нормально работает на 128GB RAM и двух недорогих карточках GeForce RTX 4060Ti 16G с опять же дешевым десктопным 8-ядерником AMD Ryzen 7 7700. Контекст до 32К, скорость выдачи - приблизительно 0.25 токена/сек. Что я делаю не так?
P.S.: Две видеокарты сугубо для скорости инференса, на одной тоже бы все запустилось, просто чуть медленнее.
Пяти раз не хватит.
Нужно делать приблизительно 100 - 120 нажатий в минуту до приезда скорой или возобновления самостоятельной сердечной активности.
Нет, есть много моделей со снятой (или почти снятой) цензурой.
Например, Lexi-Llama-3-8B-Uncensored или Llama-3-70b-Uncensored-Lumi-Tess.
Также есть модели, у которой цензура не очень жесткая "из коробки".
RTX 4070 16G - экономически не очень выгодный вариант.
RTX 4060 Ti 16G на локальных моделях почти не отличается по скорости инференса, особенно если модель не влазит в память целиком и используется лишь частичный GPU Offload (а на моделях 70+ происходит именно так), при разнице в цене более чем в полтора раза.
Удалось ли кому-то осуществить ввод изображений через GUI LM Studio?
(если что - кнопки аттачмента в строке ввода запросов там нет)
Ну вот почему, как только появляется какой-то годный функционал, сразу же находятся те, кто пытается его запретить?!
Как альтернативный вариант - можно взять обычную смышленую девушку и уже в процессе отношений сделать из нее айтишницу.
Вряд ли у них были какие-то шансы.
Скоро во всех мейнстрим-новостях: "Эксперты портала habr.com высказали мысль о том, что компания Apple осознанно накачивает ремешки своих часов смертоносными бактериями".
Выглядит как пиар-статья спрея Lysol, где все остальное, кроме упоминания этого средства, просто для контекста.
Если цена действительно $89.00, то это очень неплохо (на мой взгляд, по крайней мере).
Тестеры не тестируют, тестеры "поверяют" ;)
Сейчас кто-то в компании «Верность качеству» гордо говорит коллегам:
"Вот не зря я говорил, что не нужно спешить с продажей домена, а лучше подождать более высокой цены!"
В следующей статье предлагаю сравнить прохождение одного и того же виража гоночным болидом на скорости 367 км/час и Ладой Приорой на скорости 44 км/час. Очень жду выводов о том, что Лада Приора прошла этот вираж намного ровнее, ни разу не выехав на встречную полосу, а гоночный болид ехал по какой-то совсем странной траектории.
"Больше бэкдоров, хороших и разных!"
Это если ветры попутные.
А если кому-то захочется по этому маршруту обратно полететь?
Лихо вы прибили NetworkManager :)