Ну и работоспособность "китайской" версии подтверждена теми, кто собственно её создавал - и это вовсе не китайцы. Это наработки из ныне удалённого дискорда, по которым собственно John Pry и написал исследование. Китайцы просто их каким-то образом заполучили и опубликовали в готовом к употреблению виде.
Т.е. сейчас вообще нет никакой поддержки, даже в теории и даже через какие-то чаты ничего не получишь. На что оно надо?
> Человек открывает бумажник и покупает A100, B200 или что ему ещё угодно. Речь идет не о человеке, а о компании. https://github.com/allover326/deepseek-v4-cmp170hx Наша компания была бы не против развернуть вот так дипсик флеш на 4 картах. Пожалуйста, у нас есть стойка, есть мамка, опертивы мешок и розетка 24/7, я могу взять и установить. Но сейчас, когда я уточнил детали я реджектаю эту таску.
Если я за это возьмусь, то весь этот гемор и ответственность ляжет именно на меня. Я буду отвечать за несовместимости с новыми драйверами и новыми версиями ядра. Я смогу если что случится подтянуть новую версию ядра или драйвера? Нет. Оно мне надо? Нет.
Компания будет платить за аренду A100.
Я не понимаю о каких физ лицах вообще может идти речь. Вы знаете сколько сейчас стоит 2-х головая мамка и 1.5 тб оперативы? Оно стоит хату, причем хорошую хату.
> Пока тесты памяти на всех анлокнутых картах показывают полную стабильность в пределах 8->64 и 10->40. Это все писано вилами по воде. Надежда на то, что отбраковка памяти не проводилась. Пологаться на авось? Если бы карта стоила 500 баксов пожалуйста, можно рискнуть и купить 8 карт, чтобы авось получить 4 рабочих. Но за 1500 баксов за одну такую карту это дурь.
Все эти перекупы, закупившиеся cmp 170 спузяться и прогорят.
Патчи на ядро весьма сомнительные: применяются какие-то маск оффсеты, ничего не задументировано и ничего не понятно. Вполне возможно, что китайцы что-то надекомпилировали и связали оффсеты из нвидия драйвера с текущей версией ядра 6.8, чтобы симулировать A100.
Но это означает, что можно юзать фиксированную версию нвидия драйвера и старое 6.8 ядро. А если версия нвидия драйвера обновилась? А если человек хочет более свежее ядро? Поддерживать эти патчи для актуальных версий ядра и новых версий драйвера никто не будет. Досвидания.
Более того сама компания нвидия тестировала только 8-10 гб видеопамяти в этой карте. В каком состоянии находится память, которую вы собираетесь разблокировать никто не знает. Гарантии ноль.
А перекупы уже скупили все карты с авито и прочих площадок и собираются втюхивать их за оверпрайс. Я уже вижу там цены в 1500 баксов за карту и ролики на ютубе в стиле "я продал хату и скупил 200 карт cmp 170 на авито, покупайте у меня скорей". Ничего у них не выйдет, эта карта будет продаваться в самом лучшем случае за 500 баксов за штуку. За большие деньги никто серьезно заниматься этой ерундой не будет.
Ты не прочитал статью. Они запретили полностью любые правки от ллм, даже в том случае если ллм подключилась к работе на любом этапе. Не важно сначала писал человек и затем лмм или сначала человек и потом ллм. Они разрешили только анализ и генерацию тестовых примеров.
"Не деды" нагенерят, но поддержку организовать будет очень сложно.
В идеале сейчас деды с помощью ллм могли бы отрефакторить свое добро. После этого более-менее живой и понятный код передать молодежи. Но нет же, нейропластичности не хватает, они вообще отказались от ллм, а значит никакого рефакторинга, подвязки, подпорки и тд в итоге этот код просто уйдет в могилу.
> С чего бы? А ты потянешь поддержку gcc? Ты видал хоть раз в жизни этого монстра?
Нормальные девелоперы сделали бы рефакторинг любыми путями, хоть ллм, хоть чертом лысым, не важно. А дедам это просто не нужно. Они собираются в этом коде вручную помидоры подвязывать до самой отсечки. В итоге лет через 15 останется только один цланг. И что тогда?
Да госпади, я не против. Пусть деды живут, ломяться в поликлинику в 7 утра, пылесосят грядки на даче, организуют легаси у себя в подвале. Они просто самоустранились из конкуренции и будущего у них нет.
Деды уже сто лет как проиграли конкуренцию цланну, еще когда gcc был в 5 версии. Они там планировали массивный рефакторинг, но ничего не вышло. 26 год а воз и ныне там. Сейчас оно уже мало кому надо, может быть только супер легаси собирать да к ране прикладывать.
Я поревьювил их систему: они просто собирают дифф из гита и делают его ревью с помощью скилов и прочего. Фактически это интеграция ллм агента и гита, что не совсем верно.
Несколько последовательных версий файла в гите могут быть одинаково хороши. Это значит, что ревью диффа вперед и назад будет показывать отличные результаты. Я уже сам много раз встречал такую ситуацию. Это означает что современный гит не подходит для интеграции с агентами. По факту для каждого файла нужно хранить не одну последнюю версию, а несколько версий, которые считаются хороши с точки зрения ллм. Иначе ллм ревью зациклится и никогда не оставновится либо будет просто бессмысленный расход ресурсов.
Все хорошие версии файла должны быть предоставлены агенту во время рефакторинга и ревью сразу, прятать их нельзя. Текущий агент просто не имеет такой ф-ости и даже в теории не сможет собрать такие лучшие версии воедино.
Далее: сборка контекста осуществляется промптом в виде скила. Они просят агентов собрать некий бизнес контекст по проекту. А почему не собрать мануально ту часть контекста в которой ты уверен? Например есть ts файл, и ты за секунду может собрать основу его контекста в виде спеки, юзов и зависимостей (его, юзов и спеки). Зачем абстрагироваться в таком случае и вешать сборку контекста чисто на агентов? Глупый перерасход токенов.
Надо собирать базовый контекст готовым неабстрактным скриптом а затем еще дополнительно сверху добавлять сборку контекста агентом.
Вот недавно жаловался заказчик: настроили агентов и за 3 дня куда-то ушли 5 тыщ баксов. Причем никаких задач решено не было. В итоге спузили всех агентов на клоде и перенастроили на гпт. Там если что потери в 10 раз меньше.
Ясно, тогда хорошо. Но я делаю чуть по другому. В очереди лежат ссылки на стор (s3). Я их сортирую по размеру контекста, группирую с тресхолдом типа 16к и уже после этого батчу по группам.
А чем больше батчишь тем меньше точность и тем выше вероятность галюников, тем меньше время уверенной работы чейна. Не работает, забудь, как раз наоборот нужно чем чаще разбивать тем лучше.
Они не смогут поднять выше, чем GPT Luna т.е. выше 0.1 инпут 0.6 аутпут иначе будет не конкуретноспособно.
Т.е. сейчас вообще нет никакой поддержки, даже в теории и даже через какие-то чаты ничего не получишь. На что оно надо?
> Человек открывает бумажник и покупает A100, B200 или что ему ещё угодно.
Речь идет не о человеке, а о компании. https://github.com/allover326/deepseek-v4-cmp170hx Наша компания была бы не против развернуть вот так дипсик флеш на 4 картах. Пожалуйста, у нас есть стойка, есть мамка, опертивы мешок и розетка 24/7, я могу взять и установить. Но сейчас, когда я уточнил детали я реджектаю эту таску.
Если я за это возьмусь, то весь этот гемор и ответственность ляжет именно на меня. Я буду отвечать за несовместимости с новыми драйверами и новыми версиями ядра. Я смогу если что случится подтянуть новую версию ядра или драйвера? Нет. Оно мне надо? Нет.
Компания будет платить за аренду A100.
Я не понимаю о каких физ лицах вообще может идти речь. Вы знаете сколько сейчас стоит 2-х головая мамка и 1.5 тб оперативы? Оно стоит хату, причем хорошую хату.
> Пока тесты памяти на всех анлокнутых картах показывают полную стабильность в пределах 8->64 и 10->40.
Это все писано вилами по воде. Надежда на то, что отбраковка памяти не проводилась. Пологаться на авось? Если бы карта стоила 500 баксов пожалуйста, можно рискнуть и купить 8 карт, чтобы авось получить 4 рабочих. Но за 1500 баксов за одну такую карту это дурь.
Все эти перекупы, закупившиеся cmp 170 спузяться и прогорят.
Патчи на ядро весьма сомнительные: применяются какие-то маск оффсеты, ничего не задументировано и ничего не понятно. Вполне возможно, что китайцы что-то надекомпилировали и связали оффсеты из нвидия драйвера с текущей версией ядра 6.8, чтобы симулировать A100.
Но это означает, что можно юзать фиксированную версию нвидия драйвера и старое 6.8 ядро. А если версия нвидия драйвера обновилась? А если человек хочет более свежее ядро? Поддерживать эти патчи для актуальных версий ядра и новых версий драйвера никто не будет. Досвидания.
Более того сама компания нвидия тестировала только 8-10 гб видеопамяти в этой карте. В каком состоянии находится память, которую вы собираетесь разблокировать никто не знает. Гарантии ноль.
А перекупы уже скупили все карты с авито и прочих площадок и собираются втюхивать их за оверпрайс. Я уже вижу там цены в 1500 баксов за карту и ролики на ютубе в стиле "я продал хату и скупил 200 карт cmp 170 на авито, покупайте у меня скорей". Ничего у них не выйдет, эта карта будет продаваться в самом лучшем случае за 500 баксов за штуку. За большие деньги никто серьезно заниматься этой ерундой не будет.
Я использую LLM для глубокого рефакторинга (не меинстримные агенты по верхам) и все работает прекрасно.
Ты не прочитал статью. Они запретили полностью любые правки от ллм, даже в том случае если ллм подключилась к работе на любом этапе. Не важно сначала писал человек и затем лмм или сначала человек и потом ллм. Они разрешили только анализ и генерацию тестовых примеров.
"Не деды" нагенерят, но поддержку организовать будет очень сложно.
В идеале сейчас деды с помощью ллм могли бы отрефакторить свое добро. После этого более-менее живой и понятный код передать молодежи. Но нет же, нейропластичности не хватает, они вообще отказались от ллм, а значит никакого рефакторинга, подвязки, подпорки и тд в итоге этот код просто уйдет в могилу.
> С чего бы?
А ты потянешь поддержку gcc? Ты видал хоть раз в жизни этого монстра?
Нормальные девелоперы сделали бы рефакторинг любыми путями, хоть ллм, хоть чертом лысым, не важно. А дедам это просто не нужно. Они собираются в этом коде вручную помидоры подвязывать до самой отсечки. В итоге лет через 15 останется только один цланг. И что тогда?
Да госпади, я не против. Пусть деды живут, ломяться в поликлинику в 7 утра, пылесосят грядки на даче, организуют легаси у себя в подвале. Они просто самоустранились из конкуренции и будущего у них нет.
Откуда берете столько токенов? Закупили h200 или пытаетесь утилизировать какое-то настольное железо?
Деды уже сто лет как проиграли конкуренцию цланну, еще когда gcc был в 5 версии. Они там планировали массивный рефакторинг, но ничего не вышло. 26 год а воз и ныне там. Сейчас оно уже мало кому надо, может быть только супер легаси собирать да к ране прикладывать.
Так была же идея удалить всех кто за монитором, так что: свистать всех обратно¿
Снижение нейропластичности у стариков, тяжело адаптироваться. Как следствие деградация и смерть проекта в будущем. И это хорошо.
Если китайцы выложат квен 3.8 115b, то лагуну люди сразу же спузят в окно.
Непонятно теперь кто это будет поддерживать, клод или автор. Он ведь там теперь сто процентов ни в зуб ногой не разберется.
Я поревьювил их систему: они просто собирают дифф из гита и делают его ревью с помощью скилов и прочего. Фактически это интеграция ллм агента и гита, что не совсем верно.
Несколько последовательных версий файла в гите могут быть одинаково хороши. Это значит, что ревью диффа вперед и назад будет показывать отличные результаты. Я уже сам много раз встречал такую ситуацию. Это означает что современный гит не подходит для интеграции с агентами. По факту для каждого файла нужно хранить не одну последнюю версию, а несколько версий, которые считаются хороши с точки зрения ллм. Иначе ллм ревью зациклится и никогда не оставновится либо будет просто бессмысленный расход ресурсов.
Все хорошие версии файла должны быть предоставлены агенту во время рефакторинга и ревью сразу, прятать их нельзя. Текущий агент просто не имеет такой ф-ости и даже в теории не сможет собрать такие лучшие версии воедино.
Далее: сборка контекста осуществляется промптом в виде скила. Они просят агентов собрать некий бизнес контекст по проекту. А почему не собрать мануально ту часть контекста в которой ты уверен? Например есть ts файл, и ты за секунду может собрать основу его контекста в виде спеки, юзов и зависимостей (его, юзов и спеки). Зачем абстрагироваться в таком случае и вешать сборку контекста чисто на агентов? Глупый перерасход токенов.
Надо собирать базовый контекст готовым неабстрактным скриптом а затем еще дополнительно сверху добавлять сборку контекста агентом.
Вот недавно жаловался заказчик: настроили агентов и за 3 дня куда-то ушли 5 тыщ баксов. Причем никаких задач решено не было. В итоге спузили всех агентов на клоде и перенастроили на гпт. Там если что потери в 10 раз меньше.
Навайбкодили dpi, сломали хозяйскую систему и в кусты. А отвечать будет Друзь. Ага.
Ясно, тогда хорошо. Но я делаю чуть по другому. В очереди лежат ссылки на стор (s3). Я их сортирую по размеру контекста, группирую с тресхолдом типа 16к и уже после этого батчу по группам.
А чем больше батчишь тем меньше точность и тем выше вероятность галюников, тем меньше время уверенной работы чейна. Не работает, забудь, как раз наоборот нужно чем чаще разбивать тем лучше.
Видеокарты опять пошли расти в цене, значит люди надеются в этой ситуации на спасение от llama.cpp.