llama.cpp и популярная обертка вокруг него ollama выстрелила как царь пушка, потому что не нужно тащить с собой все эти python/numpy/pytorch и прочие сотни мегабайт бинарей "бэкендов" чтобы просто матмулы делать, так что vllm не является равнозначной альтернативой этому
а если форкнуть? код там довольно модульный. В любом случае замечательной была бы поддержка нативного таргета с простым интерфейсом из консоли, без wasm который даёт лишний оверхед и для которого нужен целый браузер
Можно только догадываться, но вопрос прям на поверхности, смогут ли деды в пушистом государственном департаменте прослушивать мобильный трафик всей планеты (там где есть покрытие Starlink) ?
Понятно всё с этим персонажем. Если написать диплом с помощью GPT и так чтобы про это написали все СМИ еще можно было списать за случайность, слабоумие и отвагу, вот всё это уже явно спланированная самопиарная история, к тому же судя по его инстаграму чел явно кайфует от самолюбования, даю прогноз что в итоге выродится в айти ии блогера другими словами attention economy whore.
Тест не полон без теста потери ёмкости через пол года - год на полке, бывает такое что поплярный расхваленный бренд с алиэкспресса, через год полностью разряжен пролежав на полке
Этот YaGPT нестолько соевый что чуть менее чем полностью бесполезный, понятно почему нет сравнений с chatgpt, будет ниже плинтуса из-за ответов вроде "Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое." на обычный текст из художественной литературы
Ничего не понятно о том как хорошо вы преуспели по сравнению с лидерами рынка, тем же chatgpt-3.5 или LLama-2
Из прошлой статьи,
Наша модель YaGPT умеет работать с 8 тыс. токенов (это примерно 40 тыс. символов) на входе. В продакшене контекст такой длины приведёт к значительному ожиданию ответа. К счастью, обычно такая длина и не нужна. Поэтому сейчас модель учитывает 2 тыс. токенов (10 тыс. символов) или 50 отдельных запросов (в зависимости от того, какой лимит будет достигнут раньше). Это значительно ускоряет ответы модели.
Яндекс, торт. Вот бы аналог Copilot, а то OpenAI вообще не Open ни разу и под каблуком санкций США, а GitHub совсем зажрался, аж 10$ в месяц за продукт, который они сделали поверх бесплатного лицензионного кода.
Согласен что обзор рекламный, в нормальном обзоре мы бы увидели внутренности, увидели бы оценку схемотехники и оценку электро, термо нагрузки на компоненты из которых было бы понятно настоящее время службы, а не рекламное.
Долго пытался понять про что статья на самом деле.
Хитро написано, но по сути это промоушен либы REMCU
Магическая штука, по сути вы реализовали jupyter kernel для микроконтроллера.
Если взять эту идею и реализовать для ESP8266/ESP32 то бомбанёт.
Занесите потом как взлетит ;)
Что можно выкладывать не могу подсказать, надо смотреть лицензии.
Изменить пока ничего.
Попросил выложить потому что если будет доступен код, то это огромный плюс в в сторону решения приобретать это устройство или нет.
"движка ollama" не существует, ollama это просто красивый фантик вокруг llama-cpp и ggml
llama.cpp и популярная обертка вокруг него ollama выстрелила как царь пушка, потому что не нужно тащить с собой все эти python/numpy/pytorch и прочие сотни мегабайт бинарей "бэкендов" чтобы просто матмулы делать, так что vllm не является равнозначной альтернативой этому
а если форкнуть? код там довольно модульный.
В любом случае замечательной была бы поддержка нативного таргета с простым интерфейсом из консоли, без wasm который даёт лишний оверхед и для которого нужен целый браузер
Было бы замечательно если бы вы поддержали AQLM в llama.cpp
Хоть что-то улучшили по следам этого доклада ?
CppCon 2018: Nicolai Josuttis “The Nightmare of Initialization in C++” https://www.youtube.com/watch?v=7DTlWPgX6zs
Сноуден Permanent Record
FISA
SpaceX Starshield
1 и 2 и 3 и шапочка из фольги.
Можно только догадываться, но вопрос прям на поверхности, смогут ли деды в пушистом государственном департаменте прослушивать мобильный трафик всей планеты (там где есть покрытие Starlink) ?
Понятно всё с этим персонажем. Если написать диплом с помощью GPT и так чтобы про это написали все СМИ еще можно было списать за случайность, слабоумие и отвагу, вот всё это уже явно спланированная самопиарная история, к тому же судя по его инстаграму чел явно кайфует от самолюбования, даю прогноз что в итоге выродится в айти ии блогера другими словами attention economy whore.
Тест не полон без теста потери ёмкости через пол года - год на полке, бывает такое что поплярный расхваленный бренд с алиэкспресса, через год полностью разряжен пролежав на полке
Если верить что GPT4 это 220B parameters and is a 16-way mixture model with 8 sets of weights https://www.youtube.com/watch?v=WJWHIZoBOj8
Насколько Яндекс и Сбер позади ?
Этот YaGPT нестолько соевый что чуть менее чем полностью бесполезный, понятно почему нет сравнений с chatgpt, будет ниже плинтуса из-за ответов вроде "Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое." на обычный текст из художественной литературы
Ничего не понятно о том как хорошо вы преуспели по сравнению с лидерами рынка, тем же chatgpt-3.5 или LLama-2
Из прошлой статьи,
Что-нибудь изменилось в этом плане?
Согласен что обзор рекламный, в нормальном обзоре мы бы увидели внутренности, увидели бы оценку схемотехники и оценку электро, термо нагрузки на компоненты из которых было бы понятно настоящее время службы, а не рекламное.
Хитро написано, но по сути это промоушен либы REMCU
Магическая штука, по сути вы реализовали jupyter kernel для микроконтроллера.
Если взять эту идею и реализовать для ESP8266/ESP32 то бомбанёт.
Занесите потом как взлетит ;)
Изменить пока ничего.
Попросил выложить потому что если будет доступен код, то это огромный плюс в в сторону решения приобретать это устройство или нет.
thepiratebay.se/torrent/6759028/Computer_Science_-_An_Overview__11th_Edition_BBS_