ну если вдруг что то произойдет, смело переходи на палас, оочень шикарный инстурмент, еще и опенсорсный, еще и без негативных коментов. Супер имба собственно
я все таки хочу развивать именно мем палас от Милы, очень мощный инстурмент. Прям нереально мощный, еще и масштабируемый. Но я тебя услышал, если что попробую
я сделал пост новый про это, сильно прям не вдавался, но можешь прочитать. там про это написано. Пока я отсановился на том, что надо брать готовую модель и переписывать ее на архитектурном уровне. Умнее пока ничего не придумал
Я чуть позже сделаю еще один пост на эту тему, очень много информации прочитал, так что жди, в ближайшие пол часа будет пост, сформулирую сейчас нормальный пост и текст с ИИ, а то я такой себе оратор)))
ну для этих ядер тебе надо делать полноценное отдельное железо. Это если по правилам и чтобы максимально эффективно было. По сути, вся работа ЛЛМ идет на видеопамяти, и это правильно. Вносить какие то задачи на ЦП или РАМ - это бесполезно и очень медленно. Для твоей задачи надо несколько видеокарт. И одна ЛЛМ может учить другую ЛЛМ. В этом и суть. Сейчас сделано все так, что всяработа на видеопамяти работает. Нет резона делать на процессор, потмоу что слишком медленная вычислительная мощность. Если грубо, то у тебя в ЦП - 1 ядро - это один инженер. Да крутой умный но один. Даже если у тебя 30 ядер - это 30 инженеров. И это медленно. Когда как даже на 8гб видеокарте, можно запустить десятки тысяч обычных работяг, не таких умных как инженеры, но их тысячи и работа будет в любом случае на нереальный порядок быстрее происходит. Для 30 инженеров написать простой код для питона допустим - это примерно 10-15 минут займет. Для одной видеокарты на 8гб - это 10-15 секунд. Разница очевидна. Так что тебе надо просто поменять подход, тогда будет лучше результат. А еще по поводу кода, надо делать не один большйо код, а кучу маленьких, с разными задачами, тогда тоже КПД вырастет.
ну по моим расчетам, даже 24гб видеопамяти мало для этого, я думаю разверунть систему на 64гб и там уже будет достаточно. А вообще тут прикол не в длинном коде основном, а в полноценной структуре архитектуры. Я иду по такому пути, беру рабочую ЛЛМ даю ей основную задачу, прописываю промт, вписываю в скиллы инстурменты, и через эти инстурменты она может что то делать. Разделил пространство машины на 2 части, одна на которой она сама висит, вторая - песочница с идентичной системой, но там первая может менять и вертеть как угодно. Может даже само ядро ЛЛМ переписывать, чтобы создать для себя свое собственное ядро... Но пока мощностей не хватает для этого.
ну если вдруг что то произойдет, смело переходи на палас, оочень шикарный инстурмент, еще и опенсорсный, еще и без негативных коментов. Супер имба собственно
я все таки хочу развивать именно мем палас от Милы, очень мощный инстурмент. Прям нереально мощный, еще и масштабируемый. Но я тебя услышал, если что попробую
я сделал пост новый про это, сильно прям не вдавался, но можешь прочитать. там про это написано. Пока я отсановился на том, что надо брать готовую модель и переписывать ее на архитектурном уровне. Умнее пока ничего не придумал
Я чуть позже сделаю еще один пост на эту тему, очень много информации прочитал, так что жди, в ближайшие пол часа будет пост, сформулирую сейчас нормальный пост и текст с ИИ, а то я такой себе оратор)))
ну для этих ядер тебе надо делать полноценное отдельное железо. Это если по правилам и чтобы максимально эффективно было.
По сути, вся работа ЛЛМ идет на видеопамяти, и это правильно. Вносить какие то задачи на ЦП или РАМ - это бесполезно и очень медленно. Для твоей задачи надо несколько видеокарт. И одна ЛЛМ может учить другую ЛЛМ. В этом и суть.
Сейчас сделано все так, что всяработа на видеопамяти работает. Нет резона делать на процессор, потмоу что слишком медленная вычислительная мощность. Если грубо, то у тебя в ЦП - 1 ядро - это один инженер. Да крутой умный но один. Даже если у тебя 30 ядер - это 30 инженеров. И это медленно. Когда как даже на 8гб видеокарте, можно запустить десятки тысяч обычных работяг, не таких умных как инженеры, но их тысячи и работа будет в любом случае на нереальный порядок быстрее происходит. Для 30 инженеров написать простой код для питона допустим - это примерно 10-15 минут займет. Для одной видеокарты на 8гб - это 10-15 секунд.
Разница очевидна. Так что тебе надо просто поменять подход, тогда будет лучше результат. А еще по поводу кода, надо делать не один большйо код, а кучу маленьких, с разными задачами, тогда тоже КПД вырастет.
ну по моим расчетам, даже 24гб видеопамяти мало для этого, я думаю разверунть систему на 64гб и там уже будет достаточно.
А вообще тут прикол не в длинном коде основном, а в полноценной структуре архитектуры. Я иду по такому пути, беру рабочую ЛЛМ даю ей основную задачу, прописываю промт, вписываю в скиллы инстурменты, и через эти инстурменты она может что то делать. Разделил пространство машины на 2 части, одна на которой она сама висит, вторая - песочница с идентичной системой, но там первая может менять и вертеть как угодно. Может даже само ядро ЛЛМ переписывать, чтобы создать для себя свое собственное ядро... Но пока мощностей не хватает для этого.