Роботы в инстаграмм не ходят, им белых списков достаточно. А вот с навигацией проблемы действительно. Но они должны ориентироваться как минимум по камерам, что бы хотя бы дорогу переходить.
5090 имеет гораздо большую площадь. Да она обычным воздухом охлаждается до 60°. Плотность теплового потока (а соответственно и электрического тока) в ней в несколько раз меньше чем в топовых процессорах.
Температуру и top_* настройки можно передавать прям в запросе. Например вы можете использовать один и тот же инстанс модели с высокой температурой для оркестрации и с низкой для сабагентов. Самое худшее что в этом случае может случиться - не попадете в кэш и llama начнет весь контекст заново парсить.
Гонял локально 27B и 35B. Не знаю что там по тестам, но на практике лично для меня 27B выдает более качественные ответы. 35B иногда ломается и даже тулы перестает запускать, вместо этого в чат выкидывает xml теги тулов.
Важное уточнение: обе модели каантизованы в q4. Но без этого даже 32 гигов в 5090 будет мало.
DigiNotar обанкротилась после продажи. StartCom закрыли тоже.
А как вы представляете себе банкротство компании? Такая компания как центр сертификации, которая делает деньги буквально из воздуха, это в первую очередь люди и клиенты. Там никаких материальных активов нет. Что нужно было сделать с командой инженеров? Сжечь их? Конечно их забрали к себе конкуренты путем покупки компании за бесценок.
Дело в том, что разработчики браузеров и операционных систем точно так же подчиняются OFAC. Закон им просто запретит встраивать эти сертификаты. А владельцам бизнесов запретят покупать сертификаты у государст где OFAC не действует.
В остальном же вы всегда можете самостоятельно поставить нужные сертификаты или пользоваться готовым софтом вроде Авроры, Яндекс браузера или альт линукса.
Да вы слишком придераетесь к названиям. Гугл и Фейсбук это просто одни из самых популярных не российских компаний, первое что на ум приходит для примера. А в США они или ещё где-нибудь не имеет значения.
Замените их на "иностранные сервисы", смысл от этого не поменяется.
Ну и mitm в российском сегменте это не сказка, а реальность. Не могу сейчас проверить ввиду отсутствия мобильного интернета. Но пару лет назад МТС на все http сайты внедрял свой баннер сверху со своей рекламой. Те же сайты через ростелеком были без баннера. Т.е. механизм давно уже обкатан, осталось людей заставить сертификат минцифры поставить.
Так же у нас dns провайдеры подменяют A записи. Например рутрекер долгое время был заблочен исключительно по dns. Dns сервер просто отдавал ip адрес на заглушку. Естественно у большинства пользователей она не открывалась из-за сертификата.
Дальше больше, DNS протокол открытый. Провайдер легко меняет трафик. Но даже этого не нужно, т.к. публичные DNS сервера вроде 8.8.8.8 и 1.1.1.1 это anycast. Провайдеру достаточно поменять маршруты и забесплатно приземлить трафик на свои сервера. Что собственно и происходит. Обращение к этим адресам без vpn сейчас ведет на российские dns серверы. DOT/DOH не спасает, т.к. трафик все равно будет завернут на наши dns, сервера, но DOH хендшейк не пройдёт.
И сертификат минцифры это последний ключик к полному контролю трафика. Сейчас без него фишинговый сайт не откроется, а с ним вы даже не узнаете что сайт фишинговый.
Температура и другие параметры инференса это часть запроса. Можно на одном инстансе модели делать запросы с разной температурой.
То что вы в llama настраиваете это просто дефолты, которые используются если в запросе ничего не передано.
Все так. Просто статья о том, как сложно подвести питание к чипу, а к 5090 не сложно.
Запустите модель на CPU. Скорее всего скорость генерации будет выше, а потом догадаетесь почему так.
Роботы в инстаграмм не ходят, им белых списков достаточно. А вот с навигацией проблемы действительно. Но они должны ориентироваться как минимум по камерам, что бы хотя бы дорогу переходить.
5090 имеет гораздо большую площадь. Да она обычным воздухом охлаждается до 60°. Плотность теплового потока (а соответственно и электрического тока) в ней в несколько раз меньше чем в топовых процессорах.
Но ведь в ванильной llama.cpp нет турбоквантов, только в форках?
Температуру и top_* настройки можно передавать прям в запросе. Например вы можете использовать один и тот же инстанс модели с высокой температурой для оркестрации и с низкой для сабагентов. Самое худшее что в этом случае может случиться - не попадете в кэш и llama начнет весь контекст заново парсить.
А кто проверял компилятор?
У меня есть и клод и кодекс рабочий. Суть не в этом.
А температуру и другие настройки крутили?
Гонял локально 27B и 35B. Не знаю что там по тестам, но на практике лично для меня 27B выдает более качественные ответы. 35B иногда ломается и даже тулы перестает запускать, вместо этого в чат выкидывает xml теги тулов.
Важное уточнение: обе модели каантизованы в q4. Но без этого даже 32 гигов в 5090 будет мало.
На 5090 влезет квантизованная 27B с 256к контекстом. Если kv кэш опустить до q4, то и на 4090 влезает. 27B это плотная модель, она умнее 35B.
Ну они хотя бы выдумывать ничего не стали, а взяли за основу проверенный JodaTime.
Возвращаем иммутабельную обёртку, а потом получаем
ConcurrentModificationExceptionDigiNotar обанкротилась после продажи. StartCom закрыли тоже.
А как вы представляете себе банкротство компании? Такая компания как центр сертификации, которая делает деньги буквально из воздуха, это в первую очередь люди и клиенты. Там никаких материальных активов нет. Что нужно было сделать с командой инженеров? Сжечь их? Конечно их забрали к себе конкуренты путем покупки компании за бесценок.
Дело в том, что разработчики браузеров и операционных систем точно так же подчиняются OFAC. Закон им просто запретит встраивать эти сертификаты. А владельцам бизнесов запретят покупать сертификаты у государст где OFAC не действует.
В остальном же вы всегда можете самостоятельно поставить нужные сертификаты или пользоваться готовым софтом вроде Авроры, Яндекс браузера или альт линукса.
Вы наверное перепутали КНДР и КНР. Тяжело сломать то, чего нет и никогда не было.
Да вы слишком придераетесь к названиям. Гугл и Фейсбук это просто одни из самых популярных не российских компаний, первое что на ум приходит для примера. А в США они или ещё где-нибудь не имеет значения.
Замените их на "иностранные сервисы", смысл от этого не поменяется.
Ну и mitm в российском сегменте это не сказка, а реальность. Не могу сейчас проверить ввиду отсутствия мобильного интернета. Но пару лет назад МТС на все http сайты внедрял свой баннер сверху со своей рекламой. Те же сайты через ростелеком были без баннера. Т.е. механизм давно уже обкатан, осталось людей заставить сертификат минцифры поставить.
Так же у нас dns провайдеры подменяют A записи. Например рутрекер долгое время был заблочен исключительно по dns. Dns сервер просто отдавал ip адрес на заглушку. Естественно у большинства пользователей она не открывалась из-за сертификата.
Дальше больше, DNS протокол открытый. Провайдер легко меняет трафик. Но даже этого не нужно, т.к. публичные DNS сервера вроде 8.8.8.8 и 1.1.1.1 это anycast. Провайдеру достаточно поменять маршруты и забесплатно приземлить трафик на свои сервера. Что собственно и происходит. Обращение к этим адресам без vpn сейчас ведет на российские dns серверы. DOT/DOH не спасает, т.к. трафик все равно будет завернут на наши dns, сервера, но DOH хендшейк не пройдёт.
И сертификат минцифры это последний ключик к полному контролю трафика. Сейчас без него фишинговый сайт не откроется, а с ним вы даже не узнаете что сайт фишинговый.
Это мой скриншот моего скриншота. Оригинальный скриншот в архиве в облаке гугла, его долго было искать. А этот скриншот скриншота был под рукой.