В принципе это похоже на то, как возникает решение у человека: сначала "в общих деталях", а потом уже прорабатываются подробности реализации. Возможно, в итоге победит какой-нибудь смешанный подход.
>максимум со скоростью 200 токенов в секунду Это до недавнего внедрения спекулятивного декодирования, которое на "строгих" темах типа программирования ускоряет генерацию раза в 2?
Сравнивать качество работы с 7В моделями как-то несерьёзно: на домашнем стоящем весьма умеренных денег ПК вполне запускаются 32В, и даже 70В, если постараться.
Свежие модели достаточно стабильны. Во всяком случае, в темах, где не может быть сильно отличающихся и при этом одновременно правильных ответов, как в гуманитарных "что имел в виду автор произведения...".
Если посмотреть, сколько вычислительных мощностей доступно авторам этой статьи, и сколько -- исследователям из стран, где делают упомянутые DeepSeek и СhatGPT, то станет понятно, что стыдиться, в общем-то, нечего. Люди работают на том, что есть. Что поделать, передовые микросхемы делают всего на одном острове, причём делают без преувеличения всем миром.
Ого, "продвинутый" из ошибки переводчика на кассетах VHS уже превратился в языковую норму? Не знал... А что же произошло с отлично подходящими для данного примера словами: "улучшенный", "передовой", "усовершенствованный", "качественный", и т.д. -- их теперь использовать не модно?
Спасибо за ваши труды и поддержание высокого уровня специалистов в передовых технологиях в стране. Однако, сравниваете вы в публикации YandexGPT 5 Pro, но выложили сильно сокращённую версию. Это подталкивает не самых внимательных читателей к ложному выводу. На практике для нынешних моделей можно только начинать думать об использовании, а не для "поиграться и забыть", начиная где-то с 32b. Хотя phi-4 пытается это утверждение сейчас и оспорить. Что будет, если выложить YandexGPT 5 Pro - упадут продажи Алисы? Это вряд ли: желающих поиграться с pro-моделью (тем более, она по качеству сравнима с тем, что уже и так доступно) наберётся хорошо если тысяча-другая, и вряд ли они собирались покупать устройство с Алисой. Хорошо, когда люди проявляют "добрую волю" (естественно, понимая, что на длинном горизонте планирования это принесёт прибыль; конечно -- без прибыли в нынешнем капиталистическом мире и пальцем никто не шевелит, тут ни у кого иллюзий нет). Моя "добрая воля", например, заключается в том, что я исправно плачу за Яндекс+, но им почти не пользуюсь, рассматривая это как свой "добровольный вклад в развитие российских технологий". Впрочем, я бы вам лучше добровольно перевёл целевые деньги на покупку H200 (уже видел в продаже на яндекс-маркете), чтоб вы охотнее делились результатами своих интеллектуальных трудов с праздношатающейся общественностью -- это я про себя, так как запускаю и "тестирую" модели уже который год пока исключительно из любопытства, но вижу их быстрый рост и надеюсь скоро получать от этого хоть какую-нибудь помощь, отсюда и готовность к "инвестициям" в приятной и не обязывающей никого форме вида "добровольное пожертвование".
ya.ru был когда-то максимально минималистичным, на нём много лет не было совершенно ничего, кроме строки поиска, а вся ненужная муть была на yandex.ru - да, хорошие были времена...
>Q8_0 отказалась загружаться вовсе, сославшись на нехватку ресурсов Это связано с ошибкой работы с памятью posix_memalign в Электроне, на котором работает LM-studio. Решение такое: надо пересобрать Электрон с ключом "без posix_memalign" и подменить его в сборке. Или подождать, пока в новом Электроне или LMstudio авторы это не исправят сами.
Операторы сотовой связи предоставляют автоответчик. Некоторые банки (которые позиционируют себя как нечто большее, чем просто банки) предоставляют автоответчик. Работает даже на кнопочном телефоне: достаточно просто "сбросить" звонок, как он автоматически уходит на автоответчик, где со звонящим побеседует алгоритм; не очень умный, но вполне достаточный для того, чтобы записать то, что с той стороны хотели сказать.
Если на уровне закона не заставят помечать все подобные сгенерированные данные, включая картинки, то ходить в интернет станет почти незачем. Уже сейчас отфильтровывать самому сайты, наполненные безмозглыми генераторами текста, огромная проблема. В итоге просто перестаёшь заходить куда-либо, кроме тех, про которые знаешь (или хотя бы предполагаешь), что там этого нет (пока нет).
Начальник сам решает, с кем, когда и в каком формате говорить. Также подчинённые могут поговорить с ним по своей инициативе в ~любое время. Имитация бурной деятельности, основным элементом которой является принудиловка к регулярной пустопорожней болтовне, людей думающих сильно демотивирует.
Лучше всего работает практика: "умеющий хорошо общаться с людьми квалифицированный начальник, которого за его знания и опыт уважают подчинённые, и которому его начальство по этой же причине доверяет". Все эти бесконечные отчёты и проверки -- плохо работающее лекарство от недоверия, а недоверие - от низкой квалификации(по обе стороны) и сомнительных моральных качеств.
В принципе это похоже на то, как возникает решение у человека: сначала "в общих деталях", а потом уже прорабатываются подробности реализации. Возможно, в итоге победит какой-нибудь смешанный подход.
>максимум со скоростью 200 токенов в секунду
Это до недавнего внедрения спекулятивного декодирования, которое на "строгих" темах типа программирования ускоряет генерацию раза в 2?
Сравнивать качество работы с 7В моделями как-то несерьёзно: на домашнем стоящем весьма умеренных денег ПК вполне запускаются 32В, и даже 70В, если постараться.
Свежие модели достаточно стабильны. Во всяком случае, в темах, где не может быть сильно отличающихся и при этом одновременно правильных ответов, как в гуманитарных "что имел в виду автор произведения...".
Судя по размеру моделей, эти ребята сидят на голодном пайке. Да уж, сложно конкурировать без ресурсов...
Что такое html Android?
А обобщённое решение для произвольных чисел он смог найти?
Если посмотреть, сколько вычислительных мощностей доступно авторам этой статьи, и сколько -- исследователям из стран, где делают упомянутые DeepSeek и СhatGPT, то станет понятно, что стыдиться, в общем-то, нечего. Люди работают на том, что есть.
Что поделать, передовые микросхемы делают всего на одном острове, причём делают без преувеличения всем миром.
Ого, "продвинутый" из ошибки переводчика на кассетах VHS уже превратился в языковую норму? Не знал... А что же произошло с отлично подходящими для данного примера словами: "улучшенный", "передовой", "усовершенствованный", "качественный", и т.д. -- их теперь использовать не модно?
Спасибо за ваши труды и поддержание высокого уровня специалистов в передовых технологиях в стране.
Однако, сравниваете вы в публикации YandexGPT 5 Pro, но выложили сильно сокращённую версию. Это подталкивает не самых внимательных читателей к ложному выводу. На практике для нынешних моделей можно только начинать думать об использовании, а не для "поиграться и забыть", начиная где-то с 32b. Хотя phi-4 пытается это утверждение сейчас и оспорить.
Что будет, если выложить YandexGPT 5 Pro - упадут продажи Алисы? Это вряд ли: желающих поиграться с pro-моделью (тем более, она по качеству сравнима с тем, что уже и так доступно) наберётся хорошо если тысяча-другая, и вряд ли они собирались покупать устройство с Алисой. Хорошо, когда люди проявляют "добрую волю" (естественно, понимая, что на длинном горизонте планирования это принесёт прибыль; конечно -- без прибыли в нынешнем капиталистическом мире и пальцем никто не шевелит, тут ни у кого иллюзий нет). Моя "добрая воля", например, заключается в том, что я исправно плачу за Яндекс+, но им почти не пользуюсь, рассматривая это как свой "добровольный вклад в развитие российских технологий". Впрочем, я бы вам лучше добровольно перевёл целевые деньги на покупку H200 (уже видел в продаже на яндекс-маркете), чтоб вы охотнее делились результатами своих интеллектуальных трудов с праздношатающейся общественностью -- это я про себя, так как запускаю и "тестирую" модели уже который год пока исключительно из любопытства, но вижу их быстрый рост и надеюсь скоро получать от этого хоть какую-нибудь помощь, отсюда и готовность к "инвестициям" в приятной и не обязывающей никого форме вида "добровольное пожертвование".
Когда выйдет следующая часть?
del
>шарит за технологическую часть
Вы таки одессит?
ya.ru был когда-то максимально минималистичным, на нём много лет не было совершенно ничего, кроме строки поиска, а вся ненужная муть была на yandex.ru - да, хорошие были времена...
А в "ВВС" из фильма "АССА" морзянкой идёт Хармс про Пушкина.
>Q8_0 отказалась загружаться вовсе, сославшись на нехватку ресурсов
Это связано с ошибкой работы с памятью posix_memalign в Электроне, на котором работает LM-studio. Решение такое: надо пересобрать Электрон с ключом "без posix_memalign" и подменить его в сборке. Или подождать, пока в новом Электроне или LMstudio авторы это не исправят сами.
Если это всё в браузере, то какой смысл ставить Windows?
"Лидер", "сраться" -- какие лидеры, такой и лексикон.
Операторы сотовой связи предоставляют автоответчик. Некоторые банки (которые позиционируют себя как нечто большее, чем просто банки) предоставляют автоответчик. Работает даже на кнопочном телефоне: достаточно просто "сбросить" звонок, как он автоматически уходит на автоответчик, где со звонящим побеседует алгоритм; не очень умный, но вполне достаточный для того, чтобы записать то, что с той стороны хотели сказать.
Если на уровне закона не заставят помечать все подобные сгенерированные данные, включая картинки, то ходить в интернет станет почти незачем. Уже сейчас отфильтровывать самому сайты, наполненные безмозглыми генераторами текста, огромная проблема. В итоге просто перестаёшь заходить куда-либо, кроме тех, про которые знаешь (или хотя бы предполагаешь), что там этого нет (пока нет).
топология "дерево"
Начальник сам решает, с кем, когда и в каком формате говорить. Также подчинённые могут поговорить с ним по своей инициативе в ~любое время. Имитация бурной деятельности, основным элементом которой является принудиловка к регулярной пустопорожней болтовне, людей думающих сильно демотивирует.
Лучше всего работает практика: "умеющий хорошо общаться с людьми квалифицированный начальник, которого за его знания и опыт уважают подчинённые, и которому его начальство по этой же причине доверяет".
Все эти бесконечные отчёты и проверки -- плохо работающее лекарство от недоверия, а недоверие - от низкой квалификации(по обе стороны) и сомнительных моральных качеств.