Я не помню чтоб LCPP из коробки поддерживал T2I-модели. Может, конечно, чего и поменялось (например, доделали поддержку Omni-моделей), но вроде бы это за рамками проекта. Ну и немного глупо обвинять проект в копипиздинге когда вся его суть - обёртка над llama. Тут больше вопросы к тому как Ollama упорно пытается выставить себя самостоятельным и независимым продуктом.
Они туда хотя бы контрибутят
Была пара коммитов от одного из членов ollama-org (и только от него), но основная масса кода выглядит как бойлерплейт, с которым и генератор в CLion справился бы.
В рамках обучения, все эти срезы углов имеют довольно незначительное воздействие. Самыми заметными вроде были переход с MHA на GQA (модели стала чуть хуже запоминать контекст, но стоимость контекста в байтах упала на порядок) и попытка внедрить YaRN (растягивание контекста как через RoPE, но на этапе обучения). В итоге с первым научились как-то жить, а второй оказался ничем не лучше RoPE.
В рамках работы модели все эти ухищрения могут уронить воспринимаемое качество очень сильно. Вообще, это отдельная дисциплина специальной олимпиады, потому что каждый раз в бенчмарках всё чудесно, великолепно и вообще снижение качества в рамках погрешности, а в действительности модель начинает внезапно говорить на клингонском или повторять текст за пользователем после 3к токенов.
Отчасти, это и случилось с CAI - они начали активно снижать себестоимость работы моделей через
Использование INT8 (вместо FP16\FP4);
Сжатие KV-кеша;
Слияния частей KV-кеша;
Переиспользования фрагментов KV (которое в некоторых условиях попросту не работает, и иногда даёт побочки);
Растягивания контекста через RoPE;
Сжатие окна attention'а.
Использование MQA вместо GQA (контекст в байтах становится ещё дешевле, но в KV начинается вакханалия).
В чём разница между MHA, GQA и MQA на простых прямоугольниках
Получилось как всегда - издержки для CAI стали меньше, цена для пользователей выросла (судя по последним новостям), качество ответов просело на голову.
С другой стороны, сказать что CAI и "на заре" был прям так хорош у меня язык не повернётся, там больше был вау-эффект от языковых моделей в целом.
На самом деле, ни то, ни другое. У Sipeed это что-то типа фишки уровня "смотри, что можно сделать". Хочешь - делаешь сам в меру кривизны рук, не хочешь - можешь купить у них готовое.
Они долгое время страдали похожей хренью со своими камерами Maix, с Tang FPGA, а с LicheePi устроили вообще лютую вакханалию - купи модуль и сделай из него одноплатник/планшет/неттоп/ноутбук/кластер/кашу из топора с привкусом RISC-V.
Там, где можно и нужно сделать специализированную PCB, Sipeed будет плодить костыли и велосипеды чтоб можно было использовать уже имеющиеся решения, даже если подходят они так себе.
Правило всемирного тяготения. Залетная планета на "неправильной" орбите долго не проживёт, есть шанс вмазаться в соседей, или шанс что эти самые соседи подрихтуют орбиту прямо в светило.
речь не про Трамплин, а про Эльбрус/Байкал, которые можно перепроектировать под другую фабрику
Базара нет, дайте денег на новый НИОКР. И фаб, который будет готов печатать. И список модулей, которые фаб умеет делать, чтоб было понятно что можно, а что не можно при перепроектировании использовать.
А ещё китайские фабы не печатают на заказ иностранных клиентов. Покупать китайское - пожалуйста, а печатать ваше они не будут.
В том же, в чём проблема перепроектировать JAC Москвич под фабрику Toyota. Придётся всё переделывать с нуля. То, что у Трамплина есть лицензия на Loongson, не означает что у них есть компетенции для внесения необходимых изменений.
Я как раз отталкивался от размера ОЗУ. Кто-то запускал Doom на STM32, и там как раз всё упёрлось в размер оперативной памяти.
Вероятно, не получится, самый маленький WAD с Doom 1 весит около мегабайта.
...накосячить.
https://store.steampowered.com/app/1341450/Yolo_Space_Hacker/
Тут, правда, больше в сторону пентестинга.
Я не помню чтоб LCPP из коробки поддерживал T2I-модели. Может, конечно, чего и поменялось (например, доделали поддержку Omni-моделей), но вроде бы это за рамками проекта. Ну и немного глупо обвинять проект в копипиздинге когда вся его суть - обёртка над llama. Тут больше вопросы к тому как Ollama упорно пытается выставить себя самостоятельным и независимым продуктом.
Была пара коммитов от одного из членов ollama-org (и только от него), но основная масса кода выглядит как бойлерплейт, с которым и генератор в CLion справился бы.
В рамках обучения, все эти срезы углов имеют довольно незначительное воздействие. Самыми заметными вроде были переход с MHA на GQA (модели стала чуть хуже запоминать контекст, но стоимость контекста в байтах упала на порядок) и попытка внедрить YaRN (растягивание контекста как через RoPE, но на этапе обучения). В итоге с первым научились как-то жить, а второй оказался ничем не лучше RoPE.
В рамках работы модели все эти ухищрения могут уронить воспринимаемое качество очень сильно. Вообще, это отдельная дисциплина специальной олимпиады, потому что каждый раз в бенчмарках всё чудесно, великолепно и вообще снижение качества в рамках погрешности, а в действительности модель начинает внезапно говорить на клингонском или повторять текст за пользователем после 3к токенов.
Отчасти, это и случилось с CAI - они начали активно снижать себестоимость работы моделей через
Использование INT8 (вместо FP16\FP4);
Сжатие KV-кеша;
Слияния частей KV-кеша;
Переиспользования фрагментов KV (которое в некоторых условиях попросту не работает, и иногда даёт побочки);
Растягивания контекста через RoPE;
Сжатие окна attention'а.
Использование MQA вместо GQA (контекст в байтах становится ещё дешевле, но в KV начинается вакханалия).
Получилось как всегда - издержки для CAI стали меньше, цена для пользователей выросла (судя по последним новостям), качество ответов просело на голову.
С другой стороны, сказать что CAI и "на заре" был прям так хорош у меня язык не повернётся, там больше был вау-эффект от языковых моделей в целом.
А почему почивший? На гитхабе последний коммит пять дней назад был.
В KoboldCPP интеграция SD.cpp уже как два года есть, поддерживает вроде бы как все известные архитектуры.
Ollama продолжает строить из себя
клоунаApple, выдавая, в общем-то, давно уже "стандартный" функционал за "новые" фичи.У YourChief прямо в профиле указаны ссылки на Snawoot. SenseUnit - организация с одним Snawoot в составе. Зачем и почему - мне неведомо.
Вот только автор оригинала и автор статьи - один и тот же человек.
Хоть убейте, но не могу в тексте постановления найти информацию о том, что этот мораторий ещё действует, тем более в отношении потребителей.
На самом деле, ни то, ни другое. У Sipeed это что-то типа фишки уровня "смотри, что можно сделать". Хочешь - делаешь сам в меру кривизны рук, не хочешь - можешь купить у них готовое.
Они долгое время страдали похожей хренью со своими камерами Maix, с Tang FPGA, а с LicheePi устроили вообще лютую вакханалию - купи модуль и сделай из него одноплатник/планшет/неттоп/ноутбук/кластер/кашу из топора с привкусом RISC-V.
Там, где можно и нужно сделать специализированную PCB, Sipeed будет плодить костыли и велосипеды чтоб можно было использовать уже имеющиеся решения, даже если подходят они так себе.
Так ведь WSL2 - это та же виртуалка, только менее явная.
Из-за этого я ради Steam Deck вспомнил сладкий экспериенс обновлений Quest 2 после 2022, а именно как настраивать КВН-точку-доступа с помощью RPi.
Правило всемирного тяготения. Залетная планета на "неправильной" орбите долго не проживёт, есть шанс вмазаться в соседей, или шанс что эти самые соседи подрихтуют орбиту прямо в светило.
У Techmoan есть видео, где ему кружка сказала обновить прошивку перед началом работы.
Полагаю, у вас есть чем подкрепить такое заявление?
Базара нет, дайте денег на новый НИОКР. И фаб, который будет готов печатать. И список модулей, которые фаб умеет делать, чтоб было понятно что можно, а что не можно при перепроектировании использовать.
А ещё китайские фабы не печатают на заказ иностранных клиентов. Покупать китайское - пожалуйста, а печатать ваше они не будут.
В том же, в чём проблема перепроектировать
JACМосквич под фабрику Toyota. Придётся всё переделывать с нуля. То, что у Трамплина есть лицензия на Loongson, не означает что у них есть компетенции для внесения необходимых изменений.