зачем вы вносите ваше неудовольствие к абсрудным требованиям одного ресурса к другому, в котором ну нет ничего абсурдного.
Скрытый текст
p.s. я понимаю неудовольствие по поводу уничтожения децентрализации в интернете, что все больше сервисов не дают возможностей по созданию анонимного аккаунта, что везде требуется идти на поклон к буквально нескольким топовым компаниям, управляющим жизнью... но такова беда современного капиталистического общества, пока оно не изменится, такая централизация не исчезнет (и никаких предпосылок к этому нет)
А по поводу белых списков - ну вот вы и получили vk/mailru/google - вполне себе белый список, все они требуют sim-карту для регистрации (гугл позволяет без нее если аккаунт привязан к смартфону, с геопозицией, симкой и историей)
Скорее всего регистрация по логину и почте - для сотрудников. Простая почта не защищает сервис от множественных аккаунтов, чтобы пользователи не опустошали кошельки сервиса при использовании бесплатной возможности генерации.
Гугл/vk/mailru/.. следят за этим, поэтому до некоторой степени им можно доверить такой контроль.
Загляните в мир автомобилей, особенно с приходим китая, благодаря им в принципе появился класс автомобилей со сроком службы год-три.
Ну и запланированное устаревание - не единственная проблема, например вендорлок и отсутствие единых стандартов. Когда вместо создания единой экосистемы запчастей и комплектующих, каждый производитель специально разрабатывает несовместимое, да еще и ограничивая тот же ремонт только своими сервисами (т.е. xМНОГО лишних сервисов и лишних запчастей)..
Можно найти и другие методы создания добавочной стоимости через трату ресурсов, это самое простое, ведь в условиях глобальной экономики, реализовать адекватную систему оплаты через 'аренда оборудования но не покупка' - не получается, вот и реализуют тот же метод 'плати каждый год' через плохое качество, навязанные услуги ит.п.
Вы не совсем правы, основной способ ограничение срока службы - это искусственное ухудшение качества.. для каждого ухудшения качества должна быть видимая/осязаемая причина, чтобы не получить обвинения за намеренное повреждение устройства от производителя (да понимаю, что мало где можно судами защититься от этого), поэтому все поломки либо скрыты в специально созданных и просчитанных недостатках, либо заложены программно там где нельзя это доказать напрямую.
Отсюда, говнокачество - лучший способ уменьшить срок службы, 'неподходящее' качество материалов (например нити в обуви и одежде не нейлон а самое говно, или металл мягкий и недостаточно прочный в механизмах и 'силовых' узлах)
Я захожу в магазин покупать сушилку для белья... на выбор два варианта, из алюминевых трубок, толщиной с фольгу (ломается просто от мокрой тряпки), и по прочнее (до 25кг) и дороже раза в два, с пластиковыми 'шарнирами' но с идеологическим багом, отсутствуют диагональные распорки, из-за чего если ее нагруженную толкнуть, можно сломать.
Рынок заполнен говном, качественное и надежное приходится искать... это говно производят, тратят на это ресурсы и делают это специально.
Какой нафиг ИИ, несколько новых датацентров это капля в море.
А вот запланированное устаревание всех видов (производство не для того чтобы продукт можно было использовать как можно дольше и эффективнее, а для того чтобы его чаще покупали, носимая электроника, бытовая, машины,..) - вот действительно кошмар. Банально ножницы в магазине берешь, а они уже сразу бумагу не режут или гнутся через первого использования, сковородки уже 3 месяца живут, ручки продают такие, что ломаются до окончания чернил в комплектном стержне, машины делают неремонтопригодными (через повышенную стоимость владения) или максимально точно рассчитывают плохую теплопроводность поршней ДВС чтобы они быстрее ломались (специальная вставка из говна)... любой может своих историй накидать, таких что окажется что чего то вечного из последних 10-летий на руках и нет
Все ломается,... но после поломки не телепортиируются обратно на завод и энергия не возвращается, все едет на помойку.
Вся наша цивилизация сейчас работает на мусорку... выкидывая все добыцваемые ресурсы, энергию, интеллектуальные ресурсы.
p.s. и сверх ии не справится с этим, как в той истории с разумным егуртом.
на какой машине будет выделяться память под KV-cache? так как для для 128к нужно порядка 16гб памяти только под контекст, а ведь его нужно умножать еще на батчинг, который ускоряется значительно именно в случае испоьзования нескольких нод/видеокарт?!
Можно взять сразу llama.cpp, на нем она основана, придется вручную выбирать, какие именно модели использовать и качать именно тех версий что поддерживаются или самому скачивать .safetensor и конвертировать квантовать и т.п. Есть http api сервер со своей простенькой веб-мордой.
p.s. если есть gpu с достаточным количеством памяти то ставишь vllm (консольный), запускаешь встроенный в него openai api враппер и используешь в приложениях, которые это поддерживают (интерфейсы сейчас встраивают в среды разработки, пилят веб и десктоп версии типа pygpt и т.п.)
все просто, находишь порядка $10кк (мог ошибиться в количестве разрядов, скорее всего их больше), закупаешь/арендуешь дефицитное оборудование (серверные gpu), находишь дефицитных специалистов, собираешь датасет для данных, раньше было проще, теперь все кто 'владеет' данными (по факту это данные их пользователей), стали за них деньги просить и ставить палки в колеса их сбору...
И после того как ты проходишь этот квест, ты возможно получишь какой то результат, но пользоваться (продавать его) тебе не дадут регуляторы, которым нужно ублажить и копирастов, и повесточку и политкоректность (в 'нужную' сторону)...
p.s. точно знаю, народ тюнил llama, убирая из нее многие ограничения, но помним что finetuning ломает модель, ухудшая ее в общем (в лучшем случае, улучшая только в чем то одном).
У девушки Ани две сестры и один брат Петя, сколько сестер у Пети?
Ответы даже топовых сетей хаотичны и неверные... если сестер будет всего две, то верный ответ будет чаще.
p.s. все чаще пользуюсь подходом, значительно улучшающем результат, используя следующий шаблон:
{Исходный вопрос} Глубоко вдохни и подумай. {ждем ответ но не читаем его, пусть он будет в контексте} А если подумать еще раз? {снова ждем ответ но не читаем его} Итак, какой же будет ответ? {получаем верный ответ}
С этим подходом llama31-70b заметно лучше работает, в т.ч. с выше указанным запросом.
Не на того робота ссылки, эти работают в стерильных условиях (в смысле список того с чем робот может столкнуться - очень маленький и жестко прописан у робота алгоритмически, никаких ИИ там нет).
Смотреть лучше на решения от boston dynamic типа такого https://www.youtube.com/watch?v=5iV_hB08Uns и у него так же проблема с захватом, развалится коробка, придется звать кожанного
Лет 10 назад читал про исследовательский проект, то ли 40гигапиксельный то ли терапиксельный монохромный монитор с пикселами в 2-4нм (как не гуглю, не могу найти), небольшого размера экран, позволял выводить голограммы,.. а значит истинно трехмерный, но требования к вычислениям заоблачные (т.е. буквально нужно на суперкомпьютерах считать, понятно для вывода готовой картинки ума не надо), а в свете хайпа ИИ десктопы еще десятилетия нужный объем вычислительных мощностей не получат.
Подешевле - на основе лентикулярных линз, всего то нужен монитор, с очень высокой плотностью пикселов и пленка с линзами правильного размера (если сэкономить и взять горизонтальные, их продают рулонами, а вот точечные сложнее), очень просто считаешь картинку и выводишь, зрители в некоторых положениях относительно экрана будут видеть левым и правым глазом разные изображения, соответственно можно подавать стереоизображение.
Скрытый текст
Еще дешевле - театр одного зрителя, на обычном мониторе подгонять трехмерное изображение под текущее положение наблюдателя, совместив это с обычным 3d телевизором (на основе поляризационных или 'мигающих' очков) получится тот же эффект.
Замедление ssh будет сродни его отключения, через него проходит огромный объем трафика, или у вас это только к консоли терминала подключение? Любое копирование файлов уже давно через ssh
зачем вы вносите ваше неудовольствие к абсрудным требованиям одного ресурса к другому, в котором ну нет ничего абсурдного.
Скрытый текст
p.s. я понимаю неудовольствие по поводу уничтожения децентрализации в интернете, что все больше сервисов не дают возможностей по созданию анонимного аккаунта, что везде требуется идти на поклон к буквально нескольким топовым компаниям, управляющим жизнью... но такова беда современного капиталистического общества, пока оно не изменится, такая централизация не исчезнет (и никаких предпосылок к этому нет)
Очевидно что это другое.
А по поводу белых списков - ну вот вы и получили vk/mailru/google - вполне себе белый список, все они требуют sim-карту для регистрации (гугл позволяет без нее если аккаунт привязан к смартфону, с геопозицией, симкой и историей)
Скорее всего регистрация по логину и почте - для сотрудников. Простая почта не защищает сервис от множественных аккаунтов, чтобы пользователи не опустошали кошельки сервиса при использовании бесплатной возможности генерации.
Гугл/vk/mailru/.. следят за этим, поэтому до некоторой степени им можно доверить такой контроль.
жаль автор пока не допилил llama31 поддержку
именно это и ломается, коробка, полки, прокладки,...
Загляните в мир автомобилей, особенно с приходим китая, благодаря им в принципе появился класс автомобилей со сроком службы год-три.
Ну и запланированное устаревание - не единственная проблема, например вендорлок и отсутствие единых стандартов. Когда вместо создания единой экосистемы запчастей и комплектующих, каждый производитель специально разрабатывает несовместимое, да еще и ограничивая тот же ремонт только своими сервисами (т.е. xМНОГО лишних сервисов и лишних запчастей)..
Можно найти и другие методы создания добавочной стоимости через трату ресурсов, это самое простое, ведь в условиях глобальной экономики, реализовать адекватную систему оплаты через 'аренда оборудования но не покупка' - не получается, вот и реализуют тот же метод 'плати каждый год' через плохое качество, навязанные услуги ит.п.
Вы не совсем правы, основной способ ограничение срока службы - это искусственное ухудшение качества.. для каждого ухудшения качества должна быть видимая/осязаемая причина, чтобы не получить обвинения за намеренное повреждение устройства от производителя (да понимаю, что мало где можно судами защититься от этого), поэтому все поломки либо скрыты в специально созданных и просчитанных недостатках, либо заложены программно там где нельзя это доказать напрямую.
Отсюда, говнокачество - лучший способ уменьшить срок службы, 'неподходящее' качество материалов (например нити в обуви и одежде не нейлон а самое говно, или металл мягкий и недостаточно прочный в механизмах и 'силовых' узлах)
Без озвученных цен и брендов, этот спор бессмыслен.
А еще локацию бы озвучить, но это чтобы понять, что место на планете тоже определяет выбор потребителя и получаемое качество, само собой.
какой размер файла весов сети? llama 70b?
Я захожу в магазин покупать сушилку для белья... на выбор два варианта, из алюминевых трубок, толщиной с фольгу (ломается просто от мокрой тряпки), и по прочнее (до 25кг) и дороже раза в два, с пластиковыми 'шарнирами' но с идеологическим багом, отсутствуют диагональные распорки, из-за чего если ее нагруженную толкнуть, можно сломать.
Рынок заполнен говном, качественное и надежное приходится искать... это говно производят, тратят на это ресурсы и делают это специально.
Какой нафиг ИИ, несколько новых датацентров это капля в море.
А вот запланированное устаревание всех видов (производство не для того чтобы продукт можно было использовать как можно дольше и эффективнее, а для того чтобы его чаще покупали, носимая электроника, бытовая, машины,..) - вот действительно кошмар. Банально ножницы в магазине берешь, а они уже сразу бумагу не режут или гнутся через первого использования, сковородки уже 3 месяца живут, ручки продают такие, что ломаются до окончания чернил в комплектном стержне, машины делают неремонтопригодными (через повышенную стоимость владения) или максимально точно рассчитывают плохую теплопроводность поршней ДВС чтобы они быстрее ломались (специальная вставка из говна)... любой может своих историй накидать, таких что окажется что чего то вечного из последних 10-летий на руках и нет
Все ломается,... но после поломки не телепортиируются обратно на завод и энергия не возвращается, все едет на помойку.
Вся наша цивилизация сейчас работает на мусорку... выкидывая все добыцваемые ресурсы, энергию, интеллектуальные ресурсы.
p.s. и сверх ии не справится с этим, как в той истории с разумным егуртом.
на какой машине будет выделяться память под KV-cache? так как для для 128к нужно порядка 16гб памяти только под контекст, а ведь его нужно умножать еще на батчинг, который ускоряется значительно именно в случае испоьзования нескольких нод/видеокарт?!
olama, с интерфейсом chatgpt
Можно взять сразу llama.cpp, на нем она основана, придется вручную выбирать, какие именно модели использовать и качать именно тех версий что поддерживаются или самому скачивать .safetensor и конвертировать квантовать и т.п. Есть http api сервер со своей простенькой веб-мордой.
p.s. если есть gpu с достаточным количеством памяти то ставишь vllm (консольный), запускаешь встроенный в него openai api враппер и используешь в приложениях, которые это поддерживают (интерфейсы сейчас встраивают в среды разработки, пилят веб и десктоп версии типа pygpt и т.п.)
все просто, находишь порядка $10кк (мог ошибиться в количестве разрядов, скорее всего их больше), закупаешь/арендуешь дефицитное оборудование (серверные gpu), находишь дефицитных специалистов, собираешь датасет для данных, раньше было проще, теперь все кто 'владеет' данными (по факту это данные их пользователей), стали за них деньги просить и ставить палки в колеса их сбору...
И после того как ты проходишь этот квест, ты возможно получишь какой то результат, но пользоваться (продавать его) тебе не дадут регуляторы, которым нужно ублажить и копирастов, и повесточку и политкоректность (в 'нужную' сторону)...
p.s. точно знаю, народ тюнил llama, убирая из нее многие ограничения, но помним что finetuning ломает модель, ухудшая ее в общем (в лучшем случае, улучшая только в чем то одном).
Недавно же была статья, с отличным примером:
Ответы даже топовых сетей хаотичны и неверные... если сестер будет всего две, то верный ответ будет чаще.
p.s. все чаще пользуюсь подходом, значительно улучшающем результат, используя следующий шаблон:
С этим подходом llama31-70b заметно лучше работает, в т.ч. с выше указанным запросом.
по api не доступна всем, нужно tier5
Не на того робота ссылки, эти работают в стерильных условиях (в смысле список того с чем робот может столкнуться - очень маленький и жестко прописан у робота алгоритмически, никаких ИИ там нет).
Смотреть лучше на решения от boston dynamic типа такого https://www.youtube.com/watch?v=5iV_hB08Uns и у него так же проблема с захватом, развалится коробка, придется звать кожанного
Отдельным сервисам заработать на этом сложно, а затраты высокие, единственным выгодоприобретателем так или иначе будет VK а они не делятся.
Лет 10 назад читал про исследовательский проект, то ли 40гигапиксельный то ли терапиксельный монохромный монитор с пикселами в 2-4нм (как не гуглю, не могу найти), небольшого размера экран, позволял выводить голограммы,.. а значит истинно трехмерный, но требования к вычислениям заоблачные (т.е. буквально нужно на суперкомпьютерах считать, понятно для вывода готовой картинки ума не надо), а в свете хайпа ИИ десктопы еще десятилетия нужный объем вычислительных мощностей не получат.
Подешевле - на основе лентикулярных линз, всего то нужен монитор, с очень высокой плотностью пикселов и пленка с линзами правильного размера (если сэкономить и взять горизонтальные, их продают рулонами, а вот точечные сложнее), очень просто считаешь картинку и выводишь, зрители в некоторых положениях относительно экрана будут видеть левым и правым глазом разные изображения, соответственно можно подавать стереоизображение.
Скрытый текст
Еще дешевле - театр одного зрителя, на обычном мониторе подгонять трехмерное изображение под текущее положение наблюдателя, совместив это с обычным 3d телевизором (на основе поляризационных или 'мигающих' очков) получится тот же эффект.
Замедление ssh будет сродни его отключения, через него проходит огромный объем трафика, или у вас это только к консоли терминала подключение? Любое копирование файлов уже давно через ssh