Так а что в этом хорошего? То, что в прошлом так делали - не значит что так лучше и нужно вернуться к этим практикам. На мой взгляд товарищам из МФТИ действительно очень грустно, что все хотят стать айтишниками и учат/сдают информатику и поступают на соответствующие специальности.
У меня например на чисто айтишном направлении в Бауманке вообще физики не было в программе, и возможности сдать физику вместо информатики на IT специальность тоже не давали, что на мой взгляд правильно. Инженер - сдавай физику, айти - сдавай информатику, зачем всех под одну гребенку?
Если говорить про полноценную модель (671B), то CPU а-ля Epyc 9684X + от 200 до 800 гигабайт RAM в зависимости от квантизации, и примерно 700 гигабайт на диске чисто для скачивания модели.
Видел уже люди запускали локально без GPU (естественно там скорость порядка пары токенов в секунду), там нужно от 200GB (q2) до 800GB (full, fp8) RAM + хороший процессор, это сетап на 2-10k зеленых.
Для запуска на GPU полноценной модели (с соответствующей скоростью) нужно столько же видеопамяти, это от 100к $.
А вообще 32b и 70b хорошо идут даже на последних маках с 32+ GB RAM.
Здесь ключевой момент не в том, что это новый чатбот, а в том, что (по заявлениям разработчиков) создание модели обошлось в десятки раз дешевле чем ChatGPT, и самое главное использование модели стоит примерно в 30 раз дешевле.
Получается китайцы выложили в опенсорс модель уровня ChatGPT o1, которая при этом стоит копейки. Вот и полетели вниз акции в первую очередь Nvidia, которая производит чипы для инференса жирнющих моделей OpenAI)
А еще лучше Whisky (приятный интерфейс для Wine+GPTK с автоматической установкой) + Heroic Launcher (Epic Games / Steam для маков с автоматическим запуском через whisky)
Тот же самый spoof-dpi не сложно посмотреть, всего пару тысяч строк на Go, большая часть из которого boilerplate. Я вот перед установкой посмотрел исходники, и да, скомпилировал сам
Так а что в этом хорошего? То, что в прошлом так делали - не значит что так лучше и нужно вернуться к этим практикам. На мой взгляд товарищам из МФТИ действительно очень грустно, что все хотят стать айтишниками и учат/сдают информатику и поступают на соответствующие специальности.
У меня например на чисто айтишном направлении в Бауманке вообще физики не было в программе, и возможности сдать физику вместо информатики на IT специальность тоже не давали, что на мой взгляд правильно. Инженер - сдавай физику, айти - сдавай информатику, зачем всех под одну гребенку?
Если говорить про полноценную модель (671B), то CPU а-ля Epyc 9684X + от 200 до 800 гигабайт RAM в зависимости от квантизации, и примерно 700 гигабайт на диске чисто для скачивания модели.
Нам, потребителям, такое только в плюс. Пусть и дальше выкладывают годные модельки в опенсорс :)
8b это совсем маленькая моделька)
Попробуйте 32b или 70b - совершенно другой уровень.
Видел уже люди запускали локально без GPU (естественно там скорость порядка пары токенов в секунду), там нужно от 200GB (q2) до 800GB (full, fp8) RAM + хороший процессор, это сетап на 2-10k зеленых.
Для запуска на GPU полноценной модели (с соответствующей скоростью) нужно столько же видеопамяти, это от 100к $.
А вообще 32b и 70b хорошо идут даже на последних маках с 32+ GB RAM.
Здесь ключевой момент не в том, что это новый чатбот, а в том, что (по заявлениям разработчиков) создание модели обошлось в десятки раз дешевле чем ChatGPT, и самое главное использование модели стоит примерно в 30 раз дешевле.
Получается китайцы выложили в опенсорс модель уровня ChatGPT o1, которая при этом стоит копейки. Вот и полетели вниз акции в первую очередь Nvidia, которая производит чипы для инференса жирнющих моделей OpenAI)
А еще лучше Whisky (приятный интерфейс для Wine+GPTK с автоматической установкой) + Heroic Launcher (Epic Games / Steam для маков с автоматическим запуском через whisky)
Тот же самый spoof-dpi не сложно посмотреть, всего пару тысяч строк на Go, большая часть из которого boilerplate. Я вот перед установкой посмотрел исходники, и да, скомпилировал сам
За spoof-dpi могу сказать что там всего около тысячи строчек кода на Go, ничего необычного и трафик точно ни в какие лишние места не идет :)