Запустим в дальнейшем GigaChat 3 Lightning и, возможно, Prview, наверное в анализе моделей сыграли предпочтения нашего коллеги)
100% отечественности сервера...на глаз прикинули) А если серьезно, то серверы полностью разрабатываются и производятся в России (за исключением нескольких компонентов, объективно недоступных российского производства), используют отечественный серверные процессоры (какие не можем упоминать их название в виду обязательств о неразглашении) и до того, как в сервер были установлены GPU-ускорители, он был близок к 100% отечественности.
Nvidia A100 не отечественный ускоритель, это понятно, но мы тестируем отечественные TPU и NPU ускорители и планируем их включить в список совместимости и представить решение для ИИ на базе российских ускорителей.
llama.cpp - это опенсорс (Open Source) ПО
NVIDIA Tesla A100 и по сей день является отличным выбором для реализации инференса, зачастую даже избыточным. Мы понимаем, большинство ИТ специалистом, тем более близких к тематике ИИ ездят на Феррари и Ламборджини, наверное, еще на Порше))), но если подходить к вопросу реализации LLM с коммерческой точки зрения и считать деньги, то выбор Tesla A100, действительно близок к оптимальному.
Я понимаю, что здесь принято все стебать, но за себя могу сказать, что вступление написано для того, чтобы не было ощущения присвоенных побед мне под моим аккаунтом)
Присоединяюсь к kernel128, подскажите модели, и нет, текст не сгенерирован ИИ, а написан вручную по итогам проведенной работы, а результаты работы были продемонстрированы на партнерском мероприятии меньше месяца назад.
Нет, статья свежая, указанная модель полностью соответствовала нашим задачам тестирования. Всегда есть модели больше, но в большинстве случаев достаточно более скромных вариантов.
Поправили BLOB как на пониженную частотку каналов, так и на одну линию. Аппаратчики убедились, что на качестве изображения это почти НИКАК не сказалось. А уже после их «правок» заработало и на стоковом BLOB.
IMHO (проверить невозможно), но в ASPEED стоковый BLOB от 2024 года будет работать в 75% реализаций без «ASPEED SDK grafix guide» и описываемого там дебага и тюнинга. Но если вдруг, мы сможем собрать теперь и свой «кастомный». )))
Для работы BMC модель хостового процессора сервера совершенно не принципиальна. А, например, реализация BMC в формате стандартного модуля позволяет использовать BMC везде.
Общий комментарий от программиста, упомянутого в статье.
"По адекватным комментариям вижу прямые и завуалированные претензии, что в этой статье трэк по багу не описали "от и до". Можно бы ограничиться великим комментарием авторства великого Андрея Сергеевича Аршавина июня 2012 года, но мы поступим иначе.
- Вы не описали лечение железной части. Почему?
Это потребует описания серверной системы целиком (в нашем случае специфического и даже уникального дизайна). А его пишем не мы, программисты, если вообще публично пишут.)
- О чем тогда статья?
Статья о дизассемблере ASPEED 2600 DP MCU и применении "дизасма в уме" для поиска проблем в работе железа (см. тэги).
В новых условиях "обрезанной поддержки" работать стало потруднее, но и интереснее. Наш кейс демонстрирует, что при должном умении и упорстве можно добиться результатов, чего и всем желаем. Never give up!
- Вы собираетесь дописать статью дальше?
Немного допишем в комментах, но в рамках своих компетенций (Software development). Соберутся ли аппаратчики - вопрос точно не к нам."
Это одна из 27 разработанных нами плат для серверной платформы М1. В ней используется чип ASPEED 2600. Задача была выводить наружу и VGA и DP. DP выходить не хотел) Поскольку частоты высокие, дорожки проходят во внутренних слоях - что происходит не понятно. Осциллографом на таких частотах тоже сложно что-то поймать. Поэтому необходимо было четкое понимание - проблемы в каких-то настройках или проблема все-таки в железе. Благодаря проделанной нами работе удалось однозначно сказать, что проблемы в железе. После этого наши крутые схемотехники засели с платой еще на несколько вечеров, нашли эту проблему и устранили. Это типичный процесс bring up.
Здравствуйте! Ознакомьтесь, пожалуйста с нашей разработкой, тогда поймете о чем идет речь https://t.me/E_Flops/31. ASPEED AST2600, это не "дешманская китайская поделка", а чип мирового уровня, который используют многие производители серверов для организации удаленного мониторинга и управления.
Уважаемый @tensorprogrammer, постараюсь разом на все ответить.
Запустим в дальнейшем GigaChat 3 Lightning и, возможно, Prview, наверное в анализе моделей сыграли предпочтения нашего коллеги)
100% отечественности сервера...на глаз прикинули) А если серьезно, то серверы полностью разрабатываются и производятся в России (за исключением нескольких компонентов, объективно недоступных российского производства), используют отечественный серверные процессоры (какие не можем упоминать их название в виду обязательств о неразглашении) и до того, как в сервер были установлены GPU-ускорители, он был близок к 100% отечественности.
Nvidia A100 не отечественный ускоритель, это понятно, но мы тестируем отечественные TPU и NPU ускорители и планируем их включить в список совместимости и представить решение для ИИ на базе российских ускорителей.
llama.cpp - это опенсорс (Open Source) ПО
NVIDIA Tesla A100 и по сей день является отличным выбором для реализации инференса, зачастую даже избыточным. Мы понимаем, большинство ИТ специалистом, тем более близких к тематике ИИ ездят на Феррари и Ламборджини, наверное, еще на Порше))), но если подходить к вопросу реализации LLM с коммерческой точки зрения и считать деньги, то выбор Tesla A100, действительно близок к оптимальному.
Я понимаю, что здесь принято все стебать, но за себя могу сказать, что вступление написано для того, чтобы не было ощущения присвоенных побед мне под моим аккаунтом)
Спасибо, исправили. Очепяткии, фингерпринт проблемс(
Присоединяюсь к kernel128, подскажите модели, и нет, текст не сгенерирован ИИ, а написан вручную по итогам проведенной работы, а результаты работы были продемонстрированы на партнерском мероприятии меньше месяца назад.
Нет, статья свежая, указанная модель полностью соответствовала нашим задачам тестирования. Всегда есть модели больше, но в большинстве случаев достаточно более скромных вариантов.
В точку! С падением уровня и/или возможностей официальной поддержки вендоров прибавилось работы у тех, кто способен её оказать.
В данном случае мы поддержку оказали сами себе. )))
Поправили BLOB как на пониженную частотку каналов, так и на одну линию. Аппаратчики убедились, что на качестве изображения это почти НИКАК не сказалось. А уже после их «правок» заработало и на стоковом BLOB.
IMHO (проверить невозможно), но в ASPEED стоковый BLOB от 2024 года будет работать в 75% реализаций без «ASPEED SDK grafix guide» и описываемого там дебага и тюнинга. Но если вдруг, мы сможем собрать теперь и свой «кастомный». )))
Для работы BMC модель хостового процессора сервера совершенно не принципиальна.
А, например, реализация BMC в формате стандартного модуля позволяет использовать BMC везде.
Общий комментарий от программиста, упомянутого в статье.
"По адекватным комментариям вижу прямые и завуалированные претензии, что в этой статье трэк по багу не описали "от и до". Можно бы ограничиться великим комментарием авторства великого Андрея Сергеевича Аршавина июня 2012 года, но мы поступим иначе.
- Вы не описали лечение железной части. Почему?
Это потребует описания серверной системы целиком (в нашем случае специфического и даже уникального дизайна). А его пишем не мы, программисты, если вообще публично пишут.)
- О чем тогда статья?
Статья о дизассемблере ASPEED 2600 DP MCU и применении "дизасма в уме" для поиска проблем в работе железа (см. тэги).
В новых условиях "обрезанной поддержки" работать стало потруднее, но и интереснее. Наш кейс демонстрирует, что при должном умении и упорстве можно добиться результатов, чего и всем желаем. Never give up!
- Вы собираетесь дописать статью дальше?
Немного допишем в комментах, но в рамках своих компетенций (Software development). Соберутся ли аппаратчики - вопрос точно не к нам."
Это интересная для наших программистов ветка обсуждения. Просили передать спасибо комментаторам! И, увы, пока единственная из интересных.
Это одна из 27 разработанных нами плат для серверной платформы М1. В ней используется чип ASPEED 2600. Задача была выводить наружу и VGA и DP. DP выходить не хотел) Поскольку частоты высокие, дорожки проходят во внутренних слоях - что происходит не понятно. Осциллографом на таких частотах тоже сложно что-то поймать. Поэтому необходимо было четкое понимание - проблемы в каких-то настройках или проблема все-таки в железе. Благодаря проделанной нами работе удалось однозначно сказать, что проблемы в железе. После этого наши крутые схемотехники засели с платой еще на несколько вечеров, нашли эту проблему и устранили. Это типичный процесс bring up.
Статья написана программистами, схемотехникой у нас занимаются другие люди, которые пока на Хабр не пишут, но все возможно в будущем.
Вы абсолютно правы!
Здравствуйте! Ознакомьтесь, пожалуйста с нашей разработкой, тогда поймете о чем идет речь https://t.me/E_Flops/31. ASPEED AST2600, это не "дешманская китайская поделка", а чип мирового уровня, который используют многие производители серверов для организации удаленного мониторинга и управления.
Ссылку на файлы добавил в тексте, спасибо, за комментарии!