У меня моделями заведует сервер, и одна модель обслужвает сразу парк моих самописных приложений, скриптов и решений. Так что отключить на 30 минут llm ради генерации картинок будет означать для меня - создать аварийную ситуацию в моих приложениях и регулярных задачах)
Агенты кодят нынче удивительно хорошо, если не смотреть код. Качество продукта на выходе приемлимое, но опять-же на фронтирных моделях. Создавать сейчас вой язык - я бы крайне не рекомендовал, очевидно весь мир двигается к генерации кода, а для вашего языка не будет достойной обучающей базы, чтобы llm выдавали что-то адекватное. Дальше думаю развиваться будут лучше всего те языки, где уже сейчас такой объем openSource и доступного качественного кода, что модели уже умеют работать с ними отлично.
Бесплатные чатботы не доступны по api бесплатно, или сильно ограничены. А значит не применимы в проектах. Так они еще и сильно ограничены на длинну ответа - свой сервер может выдать вам хоть 20 страниц за заход если требование такое, проплаченный агент тоже, а вот веб - не больше пары страниц.
Не сказал бы что это невозможно. У меня есть сервис, который берет со всех ресурсов которые я читаю новые статьи (веб страницы целиком), и делает короткие выжимки материалов, а дальше позволяет как notebookml от гугл задавать по статье вопросы. Как небольшая часть вашей задумки - это уже похоже. Но даже он с 7 сайтами - уже страдает от скорости инференса, а если повесить на него еще и поиск интересных ресурсов, отбор под ваши конкретные интересы, классификацию товаров и услуг и проч. Не уверен даже что 1 агент на том-же chatGpt справится с таким объемом задач. Тут как будто нужно несколько моделей разной сложности и декомпозиция задач по ним. Но рано или поздно я думаю мы к такому примерно и придем)
Попробуйте для начала codex за 2к на месяц, если еще не пробовали, и использование его для ваших задач в режиме cli. Возможно вам и там лимитов в целом хватит, тогда видеокарта устареет быстрее чем затраты на подписку возьмут своё, и модели от openAi - это космические корабли против трактора, который получится запустить локально.
У меня модель на 26gb занимается раскладывание данных по полочкам (категоризация, выделение из общего текста конкретных данных), распознаванием текстов с картинок, составлением сводок, ведёт содержательные беседы с мошенниками которые пишут мне в телегу. Со всеми задачами на контексте в 100к - справляется отлично. Категоризация и распознавание - вообще даже слишком хорошо.
Так что сильно от задачи зависит. Если цель прямо генерировать много нового - то да, но если обратная - больше объем исходных данных привести к небольшим конечным - с этим как будто и компактные модели отлично справляются.
Если вам ок необходимость переключать модели (генератор картинок отдельной моделью) пойдет даже 8гб карта.
Понимание кода по общущениям неплохое у 30b-moe qwen, там насколько я помню хватало 1 карточки на 16gb. Написание - как будто вообще забей, лучше проплатить любую фронтир модель в подписке - слишком разница большая.
Тут нужны плотные модели - moe уже не очень, а значит что-то вменяемое - qwen 27b - это уже ~26gb для запуска в 4b кванте.
Ну тут пойдет тоже qwen 27b в теории, но у вас какая-то супер обширная задача - скорее всего скорости инференса не хватит.
Сейчас - я бы под ваши хотелки попробовал сборку из 2х 5060ti (правда цены давненько не смотрел), квантованную в 4b или даже возможно в 5b влезет плотную модель.
А были какие-то причины кроме исследовательских отказаться от igpu в пользу npu? Просто по ощущениям все эти npu нынче - не пришей кобыле хвост. Их повтыкали а применения пока особо не придумали (оно должно быть в том, что ты можешь использовать их когда igpu загружен другой работаой в параллель, но в вашем случае я так понял igpu в простое). Ну и если идея про энергопотребление - то тут надо сравнивать на производительность, чую я што igpu посчитает и уйдет в сон моментально в npu будет молоть медленно и планомерно и выйдет прожорливее.
Проблема как раз во второй части утверждения - скорее всего эти модели будут работать не столько на благо человечества, сколько на обогащение отдельных лиц, которые более того будут старательно мешать использовать модели на благо (например запрещать обучать другие модели на ответах своих)
По этому да - либо покупай все права на все что используется и fair use не работает, либо публикуй все веса и архитектуру модели в открытый доступ
Когда у таски есть чат из коробки это удобно. Когда чат отделен от таски - его нужно найти (особенно если поднял старую задачу), актуальность соблюдать сложнее (в чате обсудили изменение, надо обновить задачу - теперь её надо найти, чтобы обновить). Чаты могут дублироваться (один участник создал один чат, другой - другой).
Математические законы неопределенности накладывают жесткий физический запрет на любые долгосрочные прогнозы
Вот это поясните конкретно - какой математический закон накладывает физический запрет? И что вообще такое математический закон неопределённости?
В целом, я с вами конечно согласен, что анализ тенденций на графиках - не даёт достоверной картины будущего (хотя он не так плох как кажется - потому что на самом деле это не анализ графиков самих по себе, в анализ реакции масс людей на движение капитала, и в случае отсутствия внешних факторов на больших группах людей - это становится относительно предсказуемо), но выражение про законы - звучит как бессмыслица.
Даже если представить - что внутри действительно супер качественная начинка, которая стоит этих денег в сравнении с покупкой в магазине (что очевидно не совсем так) - всё равно выкупаю такую банку - вы покупаете бу девайс, с недолговечным и возможно уже практически мертвым акб (который большую часть жизни стоял в режиме циклирования 90-100 в лучшем случае, который очень быстро выносит литиевые батареи)
В подписке Pro x1 токенов (за 20$) в подписке Max за 200$ - 20 подписок Pro (x20) - так что купив 3 Pro - вы получили 3/20 от Max x20, а не столько-же.
Как-то на предыдущих моделях о которых по больше было известно - выходило что-то из разряда - на месячный лимит ~ можно 5 дней непрерывно занимать ускоритель h100 в монопольном режиме (на 20$ подписке), 120$ в месяц. - окупаемость h100 без учёта цены электричества ~13 лет. Сейчас инвесторы считают, что победитель из openAi или anthropic - заберёт себе всё - и можно субсидировать подписки до позеленения, лишь подсадить всех на себя и выдавить конкурента.
Есть вероятность, что правильная и лучшая программа, это хаос мешанины и полное отсутствие програмы (программа составления генератором случайных числел) - я к этому вел)))
Ну т.е. ни сколько не осуждаю вашу попытку как хобби придумать что нибудь этакое, просто предлагаю рассмотреть такой вариант реальности (который кажется эмпирически получил я), в котором ваша затея имеет смысл только как путь, но результат обречён)
Заметил на примере изучения игры на фортепиано - сначала ходил к репетитору и в школу, упражнения всякие, правильные произведения - шло ооочень медленно. Потом решил сам составить программу - по уму, чтобы постепенно, в правильном порядке - провал, лучше не стало. А потом я просто взял и стал играть чего нибудь, в разнобой, криво косо, и прогресс пошел в 10 раз быстрее.
К чему я - все эти программы, умные методики, подходы (и собственно ручно придуманные и логичные) - они логичны, изучены и работают для изучения дисциплин (последовательное знания с четкой связью, и огромным скрытым объемом знания, для понимания последовательности, который пропускается). И мы как технари экстраполируем этот подход на всё изучение.
Игра на фортепиано как и знание языка - механический навык, и внутренней нейросети нужно просто давать входы и выходы, и ограничения приводят к адаптации под конкретные маршруты, которую приходится снова с усилием преодолевать.
Именно по этому у людей которые попали в языковую среду - прогресс идёт быстрее - они не получают структурированные, выверенные пласты знаний, они просто получаею все подряд - и адаптация происходит целиком, а не постоянные поднастройки с разных сторон.
Как только они не смогут устанавливать привычные программы привычным способом - задача перестанет быть вполняема без бубна - и часть пользователей отвалится туда, где можно устанавливать привычные программы привычным способом.
На компьютерах есть gnu/lunux - который очень сложно будет ограничить. И это мешает apple и windows наглеть. На мобилках к сожалению все намного хуже - сборщиков android намного меньше а проприетарные загрузчики и драйвера - делают пользователя заложником ОС.
Может конечно мир ушел дальше и что-то изменилось, но кажется ооочень странно сравнивать ollama и llama.cpp.
Примерно как сравнивать chrome и edge - они оба chrome.
Так и ollama внутри себя использует в качестве основного движка llama.cpp несколько я помню, и по сути это сравнение llama.cpp разных версий.
У меня моделями заведует сервер, и одна модель обслужвает сразу парк моих самописных приложений, скриптов и решений. Так что отключить на 30 минут llm ради генерации картинок будет означать для меня - создать аварийную ситуацию в моих приложениях и регулярных задачах)
Агенты кодят нынче удивительно хорошо, если не смотреть код. Качество продукта на выходе приемлимое, но опять-же на фронтирных моделях. Создавать сейчас вой язык - я бы крайне не рекомендовал, очевидно весь мир двигается к генерации кода, а для вашего языка не будет достойной обучающей базы, чтобы llm выдавали что-то адекватное. Дальше думаю развиваться будут лучше всего те языки, где уже сейчас такой объем openSource и доступного качественного кода, что модели уже умеют работать с ними отлично.
Бесплатные чатботы не доступны по api бесплатно, или сильно ограничены. А значит не применимы в проектах. Так они еще и сильно ограничены на длинну ответа - свой сервер может выдать вам хоть 20 страниц за заход если требование такое, проплаченный агент тоже, а вот веб - не больше пары страниц.
Не сказал бы что это невозможно. У меня есть сервис, который берет со всех ресурсов которые я читаю новые статьи (веб страницы целиком), и делает короткие выжимки материалов, а дальше позволяет как notebookml от гугл задавать по статье вопросы. Как небольшая часть вашей задумки - это уже похоже. Но даже он с 7 сайтами - уже страдает от скорости инференса, а если повесить на него еще и поиск интересных ресурсов, отбор под ваши конкретные интересы, классификацию товаров и услуг и проч. Не уверен даже что 1 агент на том-же chatGpt справится с таким объемом задач. Тут как будто нужно несколько моделей разной сложности и декомпозиция задач по ним. Но рано или поздно я думаю мы к такому примерно и придем)
Попробуйте для начала codex за 2к на месяц, если еще не пробовали, и использование его для ваших задач в режиме cli. Возможно вам и там лимитов в целом хватит, тогда видеокарта устареет быстрее чем затраты на подписку возьмут своё, и модели от openAi - это космические корабли против трактора, который получится запустить локально.
У меня модель на 26gb занимается раскладывание данных по полочкам (категоризация, выделение из общего текста конкретных данных), распознаванием текстов с картинок, составлением сводок, ведёт содержательные беседы с мошенниками которые пишут мне в телегу. Со всеми задачами на контексте в 100к - справляется отлично. Категоризация и распознавание - вообще даже слишком хорошо.
Так что сильно от задачи зависит. Если цель прямо генерировать много нового - то да, но если обратная - больше объем исходных данных привести к небольшим конечным - с этим как будто и компактные модели отлично справляются.
Если вам ок необходимость переключать модели (генератор картинок отдельной моделью) пойдет даже 8гб карта.
Понимание кода по общущениям неплохое у 30b-moe qwen, там насколько я помню хватало 1 карточки на 16gb. Написание - как будто вообще забей, лучше проплатить любую фронтир модель в подписке - слишком разница большая.
Тут нужны плотные модели - moe уже не очень, а значит что-то вменяемое - qwen 27b - это уже ~26gb для запуска в 4b кванте.
Ну тут пойдет тоже qwen 27b в теории, но у вас какая-то супер обширная задача - скорее всего скорости инференса не хватит.
Сейчас - я бы под ваши хотелки попробовал сборку из 2х 5060ti (правда цены давненько не смотрел), квантованную в 4b или даже возможно в 5b влезет плотную модель.
А были какие-то причины кроме исследовательских отказаться от igpu в пользу npu? Просто по ощущениям все эти npu нынче - не пришей кобыле хвост. Их повтыкали а применения пока особо не придумали (оно должно быть в том, что ты можешь использовать их когда igpu загружен другой работаой в параллель, но в вашем случае я так понял igpu в простое). Ну и если идея про энергопотребление - то тут надо сравнивать на производительность, чую я што igpu посчитает и уйдет в сон моментально в npu будет молоть медленно и планомерно и выйдет прожорливее.
Проблема как раз во второй части утверждения - скорее всего эти модели будут работать не столько на благо человечества, сколько на обогащение отдельных лиц, которые более того будут старательно мешать использовать модели на благо (например запрещать обучать другие модели на ответах своих)
По этому да - либо покупай все права на все что используется и fair use не работает, либо публикуй все веса и архитектуру модели в открытый доступ
Когда у таски есть чат из коробки это удобно. Когда чат отделен от таски - его нужно найти (особенно если поднял старую задачу), актуальность соблюдать сложнее (в чате обсудили изменение, надо обновить задачу - теперь её надо найти, чтобы обновить). Чаты могут дублироваться (один участник создал один чат, другой - другой).
Когда всё в одном месте - это сподручнее.
Значит до внесения изменений в законодательство и рентабельность будет глубоко отрицательная
Тут либо законодательство кривое, либо настройки самих ботов. Это никак не проблема беспилтоных транспортных средств как класса устройств.
Вот это поясните конкретно - какой математический закон накладывает физический запрет? И что вообще такое математический закон неопределённости?
В целом, я с вами конечно согласен, что анализ тенденций на графиках - не даёт достоверной картины будущего (хотя он не так плох как кажется - потому что на самом деле это не анализ графиков самих по себе, в анализ реакции масс людей на движение капитала, и в случае отсутствия внешних факторов на больших группах людей - это становится относительно предсказуемо), но выражение про законы - звучит как бессмыслица.
Даже если представить - что внутри действительно супер качественная начинка, которая стоит этих денег в сравнении с покупкой в магазине (что очевидно не совсем так) - всё равно выкупаю такую банку - вы покупаете бу девайс, с недолговечным и возможно уже практически мертвым акб (который большую часть жизни стоял в режиме циклирования 90-100 в лучшем случае, который очень быстро выносит литиевые батареи)
В подписке Pro x1 токенов (за 20$) в подписке Max за 200$ - 20 подписок Pro (x20) - так что купив 3 Pro - вы получили 3/20 от Max x20, а не столько-же.
Как-то на предыдущих моделях о которых по больше было известно - выходило что-то из разряда - на месячный лимит ~ можно 5 дней непрерывно занимать ускоритель h100 в монопольном режиме (на 20$ подписке), 120$ в месяц. - окупаемость h100 без учёта цены электричества ~13 лет. Сейчас инвесторы считают, что победитель из openAi или anthropic - заберёт себе всё - и можно субсидировать подписки до позеленения, лишь подсадить всех на себя и выдавить конкурента.
Разница в том, что агентные llm в отличии от спортзала могут решать многие задачи и без вас)
Художественную литературу все-же из списка исключим) там даже полезных мыслей сильно больше бывает)
Есть вероятность, что правильная и лучшая программа, это хаос мешанины и полное отсутствие програмы (программа составления генератором случайных числел) - я к этому вел)))
Ну т.е. ни сколько не осуждаю вашу попытку как хобби придумать что нибудь этакое, просто предлагаю рассмотреть такой вариант реальности (который кажется эмпирически получил я), в котором ваша затея имеет смысл только как путь, но результат обречён)
Я думаю вы неправильно изучаете язык.
Заметил на примере изучения игры на фортепиано - сначала ходил к репетитору и в школу, упражнения всякие, правильные произведения - шло ооочень медленно. Потом решил сам составить программу - по уму, чтобы постепенно, в правильном порядке - провал, лучше не стало. А потом я просто взял и стал играть чего нибудь, в разнобой, криво косо, и прогресс пошел в 10 раз быстрее.
К чему я - все эти программы, умные методики, подходы (и собственно ручно придуманные и логичные) - они логичны, изучены и работают для изучения дисциплин (последовательное знания с четкой связью, и огромным скрытым объемом знания, для понимания последовательности, который пропускается). И мы как технари экстраполируем этот подход на всё изучение.
Игра на фортепиано как и знание языка - механический навык, и внутренней нейросети нужно просто давать входы и выходы, и ограничения приводят к адаптации под конкретные маршруты, которую приходится снова с усилием преодолевать.
Именно по этому у людей которые попали в языковую среду - прогресс идёт быстрее - они не получают структурированные, выверенные пласты знаний, они просто получаею все подряд - и адаптация происходит целиком, а не постоянные поднастройки с разных сторон.
Гипотеза такова)
Копироваться такой текст конечно нормально не будет, а только с искажением смысла
Как только они не смогут устанавливать привычные программы привычным способом - задача перестанет быть вполняема без бубна - и часть пользователей отвалится туда, где можно устанавливать привычные программы привычным способом.
На компьютерах есть gnu/lunux - который очень сложно будет ограничить. И это мешает apple и windows наглеть. На мобилках к сожалению все намного хуже - сборщиков android намного меньше а проприетарные загрузчики и драйвера - делают пользователя заложником ОС.