Comments 6
Иронично, что в PR лламы на изменение лицензии люди отметили, что ллама была тренирована как раз чтобы эти серьёзные вычислительные мощности не приходилось тратить
From section 6. of your own paper on LLaMA: “The training of our models have consumed a massive quantity of energy, responsible for the emission of carbon dioxide. […] This means that developing these models would have cost around 2,638 MWh under our assumptions, and a total emission of 1,015 tCO2eq. We hope that releasing these models will help to reduce future carbon emission since the training is already done, and some of the models are relatively small and can be run on a single GPU.”
Собрать открытый датасет не проблема. Найти железо для обучения не имея бюджета будет сложнее.
Та же фигня. Сижу на отличном датасете и жду, пока головы более лысые умные, чем моя, упростят алгоритм.
Собрать открытый датасет пристойного качества, который можно использовать для создания продукта под лицензией Apache 2 - это вполне себе задача. Вот железо найти, как раз не проблема. Оно уже в проекте есть, судя по тому, что они сами пишут
RedPajama — open source LLaMa