Естественно API, а что, по API контекст другой, сильно больше? Такой-же, больше 1М пишут вообще проблема сделать без примочек типа RAG. Поэтому если скажем бизнес захочет сделать выжимку и анализ для отчета большого числа документов да ещё с картинками - 1М окажется не таким и большим.
А бизнес, который документы обрабатывает свои: анализ, поиск и т.п. - вы отбрасываете? Не сводите всё к "чатикам". Да и вот только если не только текст, то 1М токенов не так и много оказывается. Кроме того лучше если контекст заполняется до 50% или вообще 25% - на больших заполнениях по моим наблюдениям результаты хуже.
загнул, но с другой стороны есть-же "условно игровые" платформы где 128 гиг ставят: АМД делает, вот скоро nvidia rtx spark выйдет у которого в том числе и игровое позиционирование, Маки с большим объемом "поиграться". В интернетах пишут что можно запустить и на 10-16 видеопамяти + много обычной, но скорость пару токенов.
На основании чего говорили пару лет назад - для меня загадка, сошлюсь для простоты на это выступление: сейчас выкладывают выступления с датафеста и в выступлении Сергея Маркова (директор по развитию технологий искусственного интеллекта в Сбер) он озвучил свою экспертную оценку что только сейчас начали выходить на плато, но это не значит что улучшений совсем не будет - будут, будут "пылесосили" старые книги и взялись активно "ручную верификацию/составление" датасетов бтлее качественных, улучшать есть ещё куда, но отдачи на затраты будет меньше. Там кстати в конце выступления интересная часть - принципиальные проблемы современных LLM, с его слов - нужны принципиально новые подходы и архитектуры.
Во-во, я если пользую онлайн бесплатный для простых задач - китайские беру,"отдаю им свои данные", они опенсорсом потом отплатят, да и по подписке для простых не топовых задач китайские обходятся мне дешевле и не привязываюсь к месячной подписке, т.к. я не каждый день использую их.
И что это доказывает, то что китайские модели отстают примерно на пол года и так все знают, а что касается экономической выгоды для не топа - из графика это не очевидно, не всем нужны топы, которых у китайцев нет, для простых задач хватает и недорогих китайских моделей. И что толку от этих графиков, если американцы в глубоких убытках, по оценкам что встречал китайцы если и теряют, но гораздо меньше в процентах к расходам. Посмотрим чем всё это закончится, интереснее финал, как они потом из убытков будут вылезать, учитывая что Китай с открытыми моделями отъедает куски применений где не нужны топовые модели, а по отзывам спецов что встречал, есть все признаки считать что технология выходит "на плато" и улучшения даются всё тяжелее, что-то ещё выжмут улучшением датасетов. Я пока с попкорном наблюдаю, я скорее за китайцев болеют, т.к. от них есть открытые модели, которые можно использовать в закрытых контурах для не топовых задач.
Непонятно о чем вы: не упоминать китайских конкурентов в принципе - это "маркетинговый" прием, в логике "зачем пиарить конкурентов", даже если они слабее, бизнес, ничего личного.
А почему на задачах "преобразование Фурье или выполнение свёрток " сравнивают с процессором общего назначения (ARM), а не со специализированными - DSP ? Кажись Ti для своих DSP тоже писал что на этих задах они эффективнее по энергии во много раз по сравнению с ARM.
Такие ноутбуки всегда были для работы в "суровых" условий эксплуатации и военка. Рабочая температура обычно у них расширенная, сам корпус крепкий у такой техники. Опций много, как по портам, так и например усиленная батарея, батареи кстати съемные у такой техники, у некоторых моделях "на лету" можно снимать и ставить запасную. Универсальный экран по USB - это совершенно другой класс оборудования.
А что вас смущает? Чип специализированный, только для запуска, не для обучения, не универсальный. Специализированные микросхемы всегда были быстрее универсальных и сделать их легче для выделенной задачи, CUDA полноценный свой под них писать тоже не нужно. Обучать будут на NVidia, а на своих запускать и экономически при большом масштабе разработка может окупиться заметно.
Он просто не добавил свобода чьего слова, напомнило старый советский анекдот: "Я всегда думал, что демократия - это власть народа, но вот товарищ Рузвельт мне доходчиво объяснил, что демократия - это власть американского народа. "
Для этого нужно быть Очень крупным клиентом, иначе тебя посылают ... покупать стандартный продукт. Если ты мелкий - именно как у Китая не получится, по другому нужно, с более мелких шагов начинать.
а у него и дальше будут работать те, кто не 2 года учился, т.е. "элитное" образование никуда не денется в любое время, но доступно они будет далеко не всем, учить всех хорошо насколько возможно - это дорого и на это тратится никто не хочет. Ну и чем больше будет на рынке таких "2-х летних", тем лучше у него будут продажи токенов, по крайней мере на первый взгляд выглядит так его стратегия по образованию.
Это не чистый ASIC, в чистом ASIC перепроектируют все слои и структуру чипа, а когда меняют только несколько слоев в разное время у разных компаний называлось по разному, но смысл один: - Gate Array (базовый матричный кристалл, БМК). - Via-configurable / Via-programmable ASIC - LSI Logic — RapidChip - Altera (позже куплена Intel) — HardCopy список можно продолжать. Суть не нова, новое - это применение её к LLM.
Они не особо задумываются о физических ограничениях.
Ну так мы живем в мире "финансового мышления", когда очень многие считают что если что-то нужно, то достаточно как "в игре" просто денег выделить и всё само собой решится. Как в историях про "эффективных менеджерах", которые не всегда считают необходимым знать как работает производство, считая что главнее "контролировать денежные потоки", на каком-то этапе может работать, но если на производстве тоже "эффективные" - всё охлопывается.
Откуда вы это взяли? До сих пор уйма промышленной автоматизации работает на PID. Я, конечно, давно уже использовал и может чего забыл, но точно помню, что для условного теплого пола, вентиляции с регулировкой температуры, хватало свойств PID даже если получалась задержка на фильтрации датчика. Если не хватало - ставили примитивный наблюдатель, но это редко, и так всё работало.
Вполне себе хороший объект для нейросетевых алготимов.
Не совсем понял, при чем тут нейросетевые, это их другой области. Для дверей может и нечеткой логики хватит, там хоть понятно, как настраивать интуитивно.
Человека не интересует какая температура самого пола. Ну угадайте PID-ом когда человеку комфортно.
Вообще не понял, о чем речь. Человек ставит температуру, PID ему её с приемлемой точностью установит, в чем проблема? В куче простых контроллерах теплого пола стоят PID регуляторы, но может разве что с функцией автонастройки - сами прогревают пол, смотрят инерцию и считают сами параметры PID по простым формулам один раз, при первой настройке пола.
В чем сила PID - если всё сделано правильно "по книжкам", то он офигенно устойчивый и даёт приемлемый результат если объект сильно меняется, а параметры настроены даже если "на глазок". И при этом он простой, интуитивно понятный. Я что-то более сложно мутил только если для этого были причины, когда PID в принципе не устраивал.
ADRC и другие "математические" алгоритмы - это конечно здорово, но какой смысл тратить на них вычислительные ресурсы и разбираться, если у тебя "что-то простое, типа управления температурой пола", когда и PID работает более чем приемлемо, вычислительно элементарен, понимается интуитивно.
Судя по всему он наоборот разведет на максимально откровенные разговоры, что накинет потом годиков по делу в суде.
Естественно API, а что, по API контекст другой, сильно больше? Такой-же, больше 1М пишут вообще проблема сделать без примочек типа RAG. Поэтому если скажем бизнес захочет сделать выжимку и анализ для отчета большого числа документов да ещё с картинками - 1М окажется не таким и большим.
А бизнес, который документы обрабатывает свои: анализ, поиск и т.п. - вы отбрасываете?
Не сводите всё к "чатикам".
Да и вот только если не только текст, то 1М токенов не так и много оказывается.
Кроме того лучше если контекст заполняется до 50% или вообще 25% - на больших заполнениях по моим наблюдениям результаты хуже.
загнул, но с другой стороны есть-же "условно игровые" платформы где 128 гиг ставят: АМД делает, вот скоро nvidia rtx spark выйдет у которого в том числе и игровое позиционирование, Маки с большим объемом "поиграться". В интернетах пишут что можно запустить и на 10-16 видеопамяти + много обычной, но скорость пару токенов.
На основании чего говорили пару лет назад - для меня загадка, сошлюсь для простоты на это выступление: сейчас выкладывают выступления с датафеста и в выступлении Сергея Маркова (директор по развитию технологий искусственного интеллекта в Сбер) он озвучил свою экспертную оценку что только сейчас начали выходить на плато, но это не значит что улучшений совсем не будет - будут, будут "пылесосили" старые книги и взялись активно "ручную верификацию/составление" датасетов бтлее качественных, улучшать есть ещё куда, но отдачи на затраты будет меньше.
Там кстати в конце выступления интересная часть - принципиальные проблемы современных LLM, с его слов - нужны принципиально новые подходы и архитектуры.
Во-во, я если пользую онлайн бесплатный для простых задач - китайские беру,"отдаю им свои данные", они опенсорсом потом отплатят, да и по подписке для простых не топовых задач китайские обходятся мне дешевле и не привязываюсь к месячной подписке, т.к. я не каждый день использую их.
И что это доказывает, то что китайские модели отстают примерно на пол года и так все знают, а что касается экономической выгоды для не топа - из графика это не очевидно, не всем нужны топы, которых у китайцев нет, для простых задач хватает и недорогих китайских моделей.
И что толку от этих графиков, если американцы в глубоких убытках, по оценкам что встречал китайцы если и теряют, но гораздо меньше в процентах к расходам.
Посмотрим чем всё это закончится, интереснее финал, как они потом из убытков будут вылезать, учитывая что Китай с открытыми моделями отъедает куски применений где не нужны топовые модели, а по отзывам спецов что встречал, есть все признаки считать что технология выходит "на плато" и улучшения даются всё тяжелее, что-то ещё выжмут улучшением датасетов.
Я пока с попкорном наблюдаю, я скорее за китайцев болеют, т.к. от них есть открытые модели, которые можно использовать в закрытых контурах для не топовых задач.
Непонятно о чем вы: не упоминать китайских конкурентов в принципе - это "маркетинговый" прием, в логике "зачем пиарить конкурентов", даже если они слабее, бизнес, ничего личного.
А почему на задачах "преобразование Фурье или выполнение свёрток " сравнивают с процессором общего назначения (ARM), а не со специализированными - DSP ? Кажись Ti для своих DSP тоже писал что на этих задах они эффективнее по энергии во много раз по сравнению с ARM.
Такие ноутбуки всегда были для работы в "суровых" условий эксплуатации и военка. Рабочая температура обычно у них расширенная, сам корпус крепкий у такой техники. Опций много, как по портам, так и например усиленная батарея, батареи кстати съемные у такой техники, у некоторых моделях "на лету" можно снимать и ставить запасную.
Универсальный экран по USB - это совершенно другой класс оборудования.
А что вас смущает? Чип специализированный, только для запуска, не для обучения, не универсальный. Специализированные микросхемы всегда были быстрее универсальных и сделать их легче для выделенной задачи, CUDA полноценный свой под них писать тоже не нужно. Обучать будут на NVidia, а на своих запускать и экономически при большом масштабе разработка может окупиться заметно.
Он просто не добавил свобода чьего слова, напомнило старый советский анекдот: "Я всегда думал, что демократия - это власть народа, но вот товарищ Рузвельт мне доходчиво объяснил, что демократия - это власть американского народа. "
Для этого нужно быть Очень крупным клиентом, иначе тебя посылают ... покупать стандартный продукт. Если ты мелкий - именно как у Китая не получится, по другому нужно, с более мелких шагов начинать.
а у него и дальше будут работать те, кто не 2 года учился, т.е. "элитное" образование никуда не денется в любое время, но доступно они будет далеко не всем, учить всех хорошо насколько возможно - это дорого и на это тратится никто не хочет.
Ну и чем больше будет на рынке таких "2-х летних", тем лучше у него будут продажи токенов, по крайней мере на первый взгляд выглядит так его стратегия по образованию.
Это не чистый ASIC, в чистом ASIC перепроектируют все слои и структуру чипа, а когда меняют только несколько слоев в разное время у разных компаний называлось по разному, но смысл один:
- Gate Array (базовый матричный кристалл, БМК).
- Via-configurable / Via-programmable ASIC
- LSI Logic — RapidChip
- Altera (позже куплена Intel) — HardCopy
список можно продолжать. Суть не нова, новое - это применение её к LLM.
Ну так мы живем в мире "финансового мышления", когда очень многие считают что если что-то нужно, то достаточно как "в игре" просто денег выделить и всё само собой решится. Как в историях про "эффективных менеджерах", которые не всегда считают необходимым знать как работает производство, считая что главнее "контролировать денежные потоки", на каком-то этапе может работать, но если на производстве тоже "эффективные" - всё охлопывается.
Немного Оффтоп, но вспомнилось, позиция MS: "Наша корова и мы её доим".
Что-то у вас всё в кучу:
Откуда вы это взяли? До сих пор уйма промышленной автоматизации работает на PID. Я, конечно, давно уже использовал и может чего забыл, но точно помню, что для условного теплого пола, вентиляции с регулировкой температуры, хватало свойств PID даже если получалась задержка на фильтрации датчика. Если не хватало - ставили примитивный наблюдатель, но это редко, и так всё работало.
Не совсем понял, при чем тут нейросетевые, это их другой области. Для дверей может и нечеткой логики хватит, там хоть понятно, как настраивать интуитивно.
Вообще не понял, о чем речь. Человек ставит температуру, PID ему её с приемлемой точностью установит, в чем проблема? В куче простых контроллерах теплого пола стоят PID регуляторы, но может разве что с функцией автонастройки - сами прогревают пол, смотрят инерцию и считают сами параметры PID по простым формулам один раз, при первой настройке пола.
В чем сила PID - если всё сделано правильно "по книжкам", то он офигенно устойчивый и даёт приемлемый результат если объект сильно меняется, а параметры настроены даже если "на глазок". И при этом он простой, интуитивно понятный. Я что-то более сложно мутил только если для этого были причины, когда PID в принципе не устраивал.
ADRC и другие "математические" алгоритмы - это конечно здорово, но какой смысл тратить на них вычислительные ресурсы и разбираться, если у тебя "что-то простое, типа управления температурой пола", когда и PID работает более чем приемлемо, вычислительно элементарен, понимается интуитивно.
Что ещё имеет смысл - ссылки на литературу и источники информации, мне кажется будут полезны.