Не хочу обижать, но это графоманство без базовых знаний в чистом виде. Прочитайте для начала, что такое клональная линия, затем перейдите к эволюционной теории рака. В итоге вы поймёте насколько сложна и малоизучена эволюция клеток и их колоний. После этого у вас напрочь отпадет желание пытаться рассматривать эволюцию целых организмов т.к. не понимая ничерта в малом, не стоит разявать роток на крупное.
Ясно, тогда хорошо. Но я делаю чуть по другому. В очереди лежат ссылки на стор (s3). Я их сортирую по размеру контекста, группирую с тресхолдом типа 16к и уже после этого батчу по группам.
А чем больше батчишь тем меньше точность и тем выше вероятность галюников, тем меньше время уверенной работы чейна. Не работает, забудь, как раз наоборот нужно чем чаще разбивать тем лучше.
Все уже случилось: нужно думать, что с этим делать и возврат в прошлое не вариант (а точнее маразм). Самое логичное (что и делают люди по всему миру): отпустить, дать всему разрушиться и самостоятельно возродиться в новом более естественном виде. Нужно научиться отпускать, а не держаться зубами за прошлое.
Если я начинаю аналогичную чипенгузню (о великом прошлом) окружающим втюхивать, то жена сразу выписывает мне по первое число. И правильно делает. В итоге я научился даже в самой нервной ситуации расслабляться, отпускать и не передавливать (как бы сказала Вероника Степанова).
Вообще я очень хорошо отношусь к индуизму. Наши страдания возникают из-за того, что мы цепляемся за результаты нашего труда. Отпустить - не значит наплевать, это значит осознать, что эти результаты временны.
Я объясняю вам причину той проблемы, на которую вы указываете. Причем объясняю строго в том же стиле, в котором вы написали ваш комментарий. И причина этой проблемы - это ваше же воспитание. Если вам будет приятнее, то могу написать "мы" вместо "вы".
Мы с вами воспитали поколение, которое устроило апокалипсис в виде коммерционализации и приватизации. Это сделал не дядя из-за океана, а мы. Можем ли мы теперь предъявлять какие претензии к молодому поколению? Нет. Мы можем только сидеть тихонько и как говорит моя жена "не гаукать".
Сами воспитываете детей-потребителей, а потом удивляетесь откуда коммерция и потребители беруться. Если девочка, то всегда принцесса, к ее ногам все надо кидать. Если мальчик, то ему к 18 годам нужно машину и квартиру положить. Разняньчили детей, разбаловали в уматину, а потом сами же и недовольны. Может быть уже задуматься как детей воспитывать или пока еще рано? Может надо еще 20 лет пытаться их высюсюкивать пока все окончательно не развалится в хламидомонаду?
Тендер проигран в чистом виде по цене т.е. по объективной причине. Отечественная сборка настолько дороже, что ей не помогут никакие заградительные пошлины. Значит туда ей и дорога.
А подняли вой: суверенитет, капитализм и тд. А тут надо свой аппетит уменьшать, чтобы быть конкунтоспособными. И не важно какая система.
Более простой и животрепещущий пример. Автоматизировали Верочку, которая приносила кофе. А потом, когда уволили, поняли, что кроме кофе они делала еще 20 задач, о которых даже не подозревали. Извинились перед Верочкой, подняли ей зарплату и вернули на позицию. Получили от инвесторов, пострвдали в зарплате, не нравится. Больше не будем автоматизировать.
Ии мне помгает не допускать глупых ошибок и писать юнит тесты. Точнее я начинаю писать юнит тесты и он в моем же стиле напузивает еще 10-15 штук чтобы протестить все боундари. Удобно.
Проблем там огромное количество. Во первых используется когнитивная нагрузка в виде mcp протоколов и тул колинга. Даже несчастная запись в файл делается через джсон. Люди не могут понять, что создавая когнитивную нагрузку, нагружают модель ненужным форматированием. А нужно использовать маркдаун или вообще простую горизонтальную линию, после которой идет аутпут.
Кроме того в самом проекте ланг чеин промпты весьма наивные и думают что модель ответит верно с 1 раза. Нет мульти аутпута и ранжирования ответов llm судьями. Да и вообще нет даже элементарной проверки на self bleu или rouge. И тд.
Все это говорит о том что наработки и абстракции ланг чеин можно юзать, но только в ознакомительных целях.
Я крутил 27b q4 на двух 9070 с контекстом 128к, было отлично. Но потом раскидал 9070 на 2 машины и стал крутить 122b, в итоге общая производительность увеличилась а качество не упало.
Это не решало проблему полностью, но снижало количество «а что это за проект?» моментов процентов на 70. Доставал структуру проекта командой
Можно было нанять разработчика на подработку хотябы для того, чтобы он сделал тебе в проекте .skills или хотябы объяснил что это. Если ты и дальше будешь подколхоживать файнд, то продвинуться в поддержке приложения тебе не удасться.
Не хочу обижать, но это графоманство без базовых знаний в чистом виде. Прочитайте для начала, что такое клональная линия, затем перейдите к эволюционной теории рака. В итоге вы поймёте насколько сложна и малоизучена эволюция клеток и их колоний. После этого у вас напрочь отпадет желание пытаться рассматривать эволюцию целых организмов т.к. не понимая ничерта в малом, не стоит разявать роток на крупное.
Незаслуженно забыта 3070m, это сегодня самый дешевый и в тоже время разумный вариант для входа.
Ясно, тогда хорошо. Но я делаю чуть по другому. В очереди лежат ссылки на стор (s3). Я их сортирую по размеру контекста, группирую с тресхолдом типа 16к и уже после этого батчу по группам.
А чем больше батчишь тем меньше точность и тем выше вероятность галюников, тем меньше время уверенной работы чейна. Не работает, забудь, как раз наоборот нужно чем чаще разбивать тем лучше.
Видеокарты опять пошли расти в цене, значит люди надеются в этой ситуации на спасение от llama.cpp.
Все уже случилось: нужно думать, что с этим делать и возврат в прошлое не вариант (а точнее маразм). Самое логичное (что и делают люди по всему миру): отпустить, дать всему разрушиться и самостоятельно возродиться в новом более естественном виде. Нужно научиться отпускать, а не держаться зубами за прошлое.
Если я начинаю аналогичную чипенгузню (о великом прошлом) окружающим втюхивать, то жена сразу выписывает мне по первое число. И правильно делает. В итоге я научился даже в самой нервной ситуации расслабляться, отпускать и не передавливать (как бы сказала Вероника Степанова).
Вообще я очень хорошо отношусь к индуизму. Наши страдания возникают из-за того, что мы цепляемся за результаты нашего труда. Отпустить - не значит наплевать, это значит осознать, что эти результаты временны.
Я объясняю вам причину той проблемы, на которую вы указываете. Причем объясняю строго в том же стиле, в котором вы написали ваш комментарий. И причина этой проблемы - это ваше же воспитание. Если вам будет приятнее, то могу написать "мы" вместо "вы".
Мы с вами воспитали поколение, которое устроило апокалипсис в виде коммерционализации и приватизации. Это сделал не дядя из-за океана, а мы. Можем ли мы теперь предъявлять какие претензии к молодому поколению? Нет. Мы можем только сидеть тихонько и как говорит моя жена "не гаукать".
Сами воспитываете детей-потребителей, а потом удивляетесь откуда коммерция и потребители беруться. Если девочка, то всегда принцесса, к ее ногам все надо кидать. Если мальчик, то ему к 18 годам нужно машину и квартиру положить. Разняньчили детей, разбаловали в уматину, а потом сами же и недовольны. Может быть уже задуматься как детей воспитывать или пока еще рано? Может надо еще 20 лет пытаться их высюсюкивать пока все окончательно не развалится в хламидомонаду?
Вот как раз сейчас этому заводу придётся выживать на частных закупках или гордо закрываться. Посмотрим, что они выберут.
Тендер проигран в чистом виде по цене т.е. по объективной причине. Отечественная сборка настолько дороже, что ей не помогут никакие заградительные пошлины. Значит туда ей и дорога.
А подняли вой: суверенитет, капитализм и тд. А тут надо свой аппетит уменьшать, чтобы быть конкунтоспособными. И не важно какая система.
Более простой и животрепещущий пример. Автоматизировали Верочку, которая приносила кофе. А потом, когда уволили, поняли, что кроме кофе они делала еще 20 задач, о которых даже не подозревали. Извинились перед Верочкой, подняли ей зарплату и вернули на позицию. Получили от инвесторов, пострвдали в зарплате, не нравится. Больше не будем автоматизировать.
Ии мне помгает не допускать глупых ошибок и писать юнит тесты. Точнее я начинаю писать юнит тесты и он в моем же стиле напузивает еще 10-15 штук чтобы протестить все боундари. Удобно.
Программисты запустили ии и ушли в отпуск, через год вернулись на повышенную зарплату. Ии навалил техдолг и заказчик плакал чтобы кто то это разгреб.
Проблем там огромное количество. Во первых используется когнитивная нагрузка в виде mcp протоколов и тул колинга. Даже несчастная запись в файл делается через джсон. Люди не могут понять, что создавая когнитивную нагрузку, нагружают модель ненужным форматированием. А нужно использовать маркдаун или вообще простую горизонтальную линию, после которой идет аутпут.
Кроме того в самом проекте ланг чеин промпты весьма наивные и думают что модель ответит верно с 1 раза. Нет мульти аутпута и ранжирования ответов llm судьями. Да и вообще нет даже элементарной проверки на self bleu или rouge. И тд.
Все это говорит о том что наработки и абстракции ланг чеин можно юзать, но только в ознакомительных целях.
Я крутил 27b q4 на двух 9070 с контекстом 128к, было отлично. Но потом раскидал 9070 на 2 машины и стал крутить 122b, в итоге общая производительность увеличилась а качество не упало.
Живой проект vs мертвый форк (или реимплемент), действительно что же выбрать?
Типа замена всех в т.ч. девопса на красного рака. Очень смешно.
Можно было нанять разработчика на подработку хотябы для того, чтобы он сделал тебе в проекте .skills или хотябы объяснил что это. Если ты и дальше будешь подколхоживать файнд, то продвинуться в поддержке приложения тебе не удасться.
31b плотная и 27b тоже плотная.
По бенчам она хуже квен 3.5 27b, нету смысла. Как максимум - на должность судьи.