Комментарии 7
А какой вообще требуется компьютер для работы уже обученной нейросети уровня GPT-3/3.5 ? Имеются виду память, процессоры, ускорители ? Их вообще реально купить кому-то кроме майкрософт ? Есть что то под GPL лицензией ?
https://habr.com/ru/news/t/723638/
Недавно пробегало тут....
Для работы нейронок уровня 3/3.5 трнбуется около 40Гб видеопамяти. Работать из оперативкм они могут, но это боль
Да, реддит говорит нам что в бюджете около 3-5 к$ можно стартануть сопостовимые модели с приемлимым откликом
Да и несколько, но проблема в том, что уровня GPT3+ просто так вам не отдадут, нужно будет подписать кучу бумаг.
Реддит говорит, что с затратами на уровне 600$ удалось создать модель, обогнавшую по тестам chatGPT4.
Тут вопрос больше в сборе адекватного и с минимальным количеством ошибок датасета.... Американским грандам полафрики их за 2$/ч проверяет.... А вам кто будет создавать?
Ну вот, допустим, если хочется сначала оценить возможности, и понять что даст прибавка вычислительной мощности, то можно двумя командами запустить Alpaca 30b на CPU.
На моём R7 5700X 4.5 ГГц all-core модель готова стать для меня депрессивным хлебушком всего за полторы минуты на 14 потоках.
И это без вообще какой-либо настройки — мои первые попытки в промпт.
Не хочу раскрывать подробности моих игрищ с этим зверем, но за день можно добиться очень неплохого результата.
Nvidia представила решение для ChatGPT — ускоритель Hopper H100 NVL с 188 ГБ памяти на базе двух H100