Можно было бы начать с полноценного промпта и с тонких настроек каждой из моделей. Плюс фото с нескольких ракурсов с кратким контекстом. Прописать структуру ответа. Свести результаты в таблицу с балльной оценкой относительно эталона. Без этого сравнение моделей вряд ли возможно.
Hardware Unboxed пишет: одним из требований Nvidia было не сравнивать RTX 5060 с RTX 4060 в этих «предварительных» обзорах. Поэтому в подобных публикациях новинку сравнивают с RTX 3060 и RTX 2060 прошлых поколений. Более того, Nvidia поставила условие проводить тесты RTX 5060 с включённым мультикадровым генератором в режиме x4, что значительно «раздувает» количество выдаваемых ею кадров в секунду, большая часть которых является ненастоящими. В таких условиях видеокарты RTX предыдущего поколения без поддержки этого пресловутого мультикадрового генератора выглядят значительно хуже на графиках сравнений, где старые видеокарты в 3–4 раза отстают от новичка.
И она сейчас на Озоне мелькает по 46к р. Взять парочку таких и уже Qwen3 30B Q8/Gemma3 27B Q8 помещаются. Хороший вариант для локальных сеток вместо старичка 3090.
Перевели всех на Teams. Обнаружили, что в нем нет записи звонков, нельзя процитировать выделенную часть сообщения, нельзя переслать сообщение в соседнюю группу. Картинки пережимает как будто сильнее, чем Скайп. В общем, неуютный этот тимс.
Заменить requestBody на мистралевский по их докам (deepseek подскажет как поменять), добавить паузу между запросами секунд 5. Возможно, внести небольшие правки в функцию разбора ответа.
И да, Gemini из РФ можно пользоваться, но это другая история.
Gemma-3 неплохо читает скриншоты, следует промптам, хорошо говорит по-русски, можно ее приспособить, но нужно железо.
Странно, что Qwen2.5 не прошел проверку, подозреваю, что температуру и промпт надо покрутить для лучшего результата.
Попробуйте подробнее описать задачу, роль, цель, что на входе, что на выходе, посулите денежное вознаграждение/угрозу жизни - это существенно поднимает качество работы сеток.
Телесуфлер нужен, чтобы взгляд был направлен в сторону камеры? Если да, то в Nvidia Broadcast есть такая функция "Eye contact". С ней глаза всегда смотрят в камеру, даже если надеты очки.
К сожалению, API Gemini в РФ без ухищрений недоступно. Но можно взамен по API подключить бесплатный Mistral Large. Или локально запустить Gemma-3/Qwen2.5. Результат будет не сильно хуже Gemini.
И я был удивлен, узнав из статьи, что Vimeo не заблокирован.
Можно было бы начать с полноценного промпта и с тонких настроек каждой из моделей. Плюс фото с нескольких ракурсов с кратким контекстом. Прописать структуру ответа. Свести результаты в таблицу с балльной оценкой относительно эталона. Без этого сравнение моделей вряд ли возможно.
Да, конечно можно, 2*16 VRAM + XX RAM. Дешево и сердито.
Через LM-Studio настройки производятся в два клика.
Hardware Unboxed пишет: одним из требований Nvidia было не сравнивать RTX 5060 с RTX 4060 в этих «предварительных» обзорах. Поэтому в подобных публикациях новинку сравнивают с RTX 3060 и RTX 2060 прошлых поколений. Более того, Nvidia поставила условие проводить тесты RTX 5060 с включённым мультикадровым генератором в режиме x4, что значительно «раздувает» количество выдаваемых ею кадров в секунду, большая часть которых является ненастоящими. В таких условиях видеокарты RTX предыдущего поколения без поддержки этого пресловутого мультикадрового генератора выглядят значительно хуже на графиках сравнений, где старые видеокарты в 3–4 раза отстают от новичка.
И она сейчас на Озоне мелькает по 46к р. Взять парочку таких и уже Qwen3 30B Q8/Gemma3 27B Q8 помещаются. Хороший вариант для локальных сеток вместо старичка 3090.
Интересно было бы посмотреть на сиспромпты Гигачата и Яндекса.
Там столько удивительного и необычного должно обнаружиться.
Перевели всех на Teams. Обнаружили, что в нем нет записи звонков, нельзя процитировать выделенную часть сообщения, нельзя переслать сообщение в соседнюю группу. Картинки пережимает как будто сильнее, чем Скайп. В общем, неуютный этот тимс.
На HF полно сеток с тегом abliterated.
Возможно встроили Text Extractor.
Под регулированием понимается глубокое цензурирование?
Не уверен, что математика и рассуждения - сильная сторона гигачата. Есть взрослые LLM, которые способны правильно решать подобные задачи.
Математики: 10/5 = 2
Программисты: 10/5 = 2.00000000000000003
Excel: 10/5 = 5-Oct-2022 0:00:00AM
Роман, было бы здорово увидеть модели insctruct переходного размера - 14B и 27B.
Для истории. Все еще не работает. Седьмой час полной недоступности.
По Python не подскажу. Но план-минимум правок такой:
Заменить API endpoint на:
url = "https://api.mistral.ai/v1/chat/completions"Model = "mistral-large-latest"api_key = "your-api-key"Заменить requestBody на мистралевский по их докам (deepseek подскажет как поменять), добавить паузу между запросами секунд 5. Возможно, внести небольшие правки в функцию разбора ответа.
И да, Gemini из РФ можно пользоваться, но это другая история.
Gemma-3 неплохо читает скриншоты, следует промптам, хорошо говорит по-русски, можно ее приспособить, но нужно железо.
Странно, что Qwen2.5 не прошел проверку, подозреваю, что температуру и промпт надо покрутить для лучшего результата.
Попробуйте подробнее описать задачу, роль, цель, что на входе, что на выходе, посулите денежное вознаграждение/угрозу жизни - это существенно поднимает качество работы сеток.
Предположу, что у 4070 GDDR6X выше частота разгона. Штатная - 2625, в разгоне целых 3125 МГц.
Телесуфлер нужен, чтобы взгляд был направлен в сторону камеры? Если да, то в Nvidia Broadcast есть такая функция "Eye contact". С ней глаза всегда смотрят в камеру, даже если надеты очки.
Для моих кейсов Gemma-3 27b очень хороша в VL, даже 12b качественно распознает и описывает картинки. В обоих случаях использовал Q6_K.
Спасибо за проект!
К сожалению, API Gemini в РФ без ухищрений недоступно. Но можно взамен по API подключить бесплатный Mistral Large. Или локально запустить Gemma-3/Qwen2.5. Результат будет не сильно хуже Gemini.
И я был удивлен, узнав из статьи, что Vimeo не заблокирован.
Вилами по воде написано? Я еще не читал.