Это пока $20. Когда инвесторы придут спрашивать у ИИ-компаний о возврате инвестиций, будет $200 за не самую жирную подписку, если вообще подписки останутся. Иначе экономика не сходится.
У меня как раз такая конфигурация работала, пока 2080ti 22 gb не сгорела. Два месяца. Скорость вполне приемлемая была - примерно 30-40 t/s с mtp и 500 t/s на заполнение.
А я вот не очень себе представляю, как можно организовать разработку проекта ИИ чтобы он не дублировал код. Написать в промпт: придерживайся принципов DRY при разработке? Но как агент, у которого задача напилить определенную фичу узнает, что такая функция уже есть в другой части проекта и надо вместо того чтобы запилить дубль, провести рефакторинг и генерализовать эту функцию? Как это приблизит его к результату? Какая проблема для программиста, который читает и пишет код со скоростью несколько тысяч знаков с секунду запилить дубль?
Так в чем проблема, возьмите и создайте. Вон в соседней новости "рой ИИ-агентов Cursor создал SQLite с нуля за $1339", а тут надо собрать из готовых сервисов продукт. Думаю в $100 уложитесь, а киноиндустрия эту разработку с руками оторвет.
Суть моей мысли в том, что зрячие ученые тоже не могут увидеть многие явления - электромагнитное изучение за пределами видимого спектра, гравитацию, атомы, элементарные частицы и т.д. Открывали их очень по-разному, что-то случайно, как побочный эффект в других экспериментах, что-то сначала сформулировали математически, а потом подтвердили, что-то стало возможно исследовать благодаря техническому совершенствованию инструментов (телескопы, микроскопы, ускорители частиц...). Поэтому придумывать, как конкретно к этим открытиям бы пришли слепые ученые - неблагодарное занятие, вариантов масса, но я не вижу тут непреодолимой границы.
Раз сервер звук не микширует, участники обязаны соединяться друг с другом сами. Для двоих это одно соединение, для группы «каждый с каждым» число соединений растёт как : впятером это 10, вдесятером уже 45, и каждый шлёт свой звук всем остальным отдельным потоком.
Почему бы для обхода этого недостатка не назначить одного из пиров главным (мастер-нода) и чтобы все остальные подключались к нему? Уменьшится количество соединений, можно микшировать поток в одном месте и раздавать его всем пирам, плюс появляются возможности управления трансляцией, принудительного отключения пиров, например. Из минусов - нагрузка на мастер-ноду: должна быть хорошая сеть и достаточно ресурсов и, если мастер-нода отвалится то всё.
Все данные на виртуальном рабочем месте в корпоративном облаке. А на ноутбуке залоченная напрочь ОС с заранее настроенным корпоративным VPN и клиентом для доступа на удаленный рабочий стол.
Да какая там цепочка. Выяснили, что существует некий источник, который нагревает предметы. Построили некий прибор, который измеряет это явление. Далее, в процессе совершенствования этого прибора будет измерена скорость света, проведен двухщелевой опыт, а далее уже открыт прямой путь к квантовой физике. Как конкретно будет реализован этот прибор, сколько времени займет его создание и совкршенствование можно фантазировать, но это уже тема большая, в комментарии такое писать долго и лень. В качестве референса можно посмотреть историю открытия ионизирующего излучения.
Идею, которую вы пытались донести я в принципе понял, но аналогия считаю, неудачная. Слепые учёные вполне могут догадаться о существовании электромагнитного излучения без визуального наблюдения оного (например, по теплу от солнца). А после этого создание приборов, которые могут его измерять уже дело техники. Проблема современной науки в том, что она подошла к пределам, которые невозможно преодолеть инструментальными методами, хотя теория пазывает, что там есть "что-то", но подтвердить или опровергнуть это невозможно.
Упор идет в память. На 2080ti qwen3.6-35b грузит cuda-ядра на 60-70%, при этом дает 70т/с. У 5070ti пропускная способность примерно на 30% выше (память быстрее, но шина более узкая). Поэтому я так оцениваю. Gpu быстрее, но при генерации он простаивает из-за того что память не успевает подгружать новые данные. Вот prefill может быть значительно быстрее, поскольку он обрабатывает токены пачками.
Это пока $20. Когда инвесторы придут спрашивать у ИИ-компаний о возврате инвестиций, будет $200 за не самую жирную подписку, если вообще подписки останутся. Иначе экономика не сходится.
У меня как раз такая конфигурация работала, пока 2080ti 22 gb не сгорела. Два месяца. Скорость вполне приемлемая была - примерно 30-40 t/s с mtp и 500 t/s на заполнение.
Видимо начальству тоже не хватает знаний, чтобы правильные слова в промпт писать )) "Сделай красиво" - работает как-то не так.
А я вот не очень себе представляю, как можно организовать разработку проекта ИИ чтобы он не дублировал код. Написать в промпт: придерживайся принципов DRY при разработке? Но как агент, у которого задача напилить определенную фичу узнает, что такая функция уже есть в другой части проекта и надо вместо того чтобы запилить дубль, провести рефакторинг и генерализовать эту функцию? Как это приблизит его к результату? Какая проблема для программиста, который читает и пишет код со скоростью несколько тысяч знаков с секунду запилить дубль?
А мог просто пивом угостить. Был бы и интернет и другие плюшки от дружбы с админом )))
Интереснее узнать производительность prefill. Вангую что низкая.
Так в чем проблема, возьмите и создайте. Вон в соседней новости "рой ИИ-агентов Cursor создал SQLite с нуля за $1339", а тут надо собрать из готовых сервисов продукт. Думаю в $100 уложитесь, а киноиндустрия эту разработку с руками оторвет.
Про дистилляцию и дистиллированную воду, это вы ловко придумали. Я даже не понял сначала.
Суть моей мысли в том, что зрячие ученые тоже не могут увидеть многие явления - электромагнитное изучение за пределами видимого спектра, гравитацию, атомы, элементарные частицы и т.д. Открывали их очень по-разному, что-то случайно, как побочный эффект в других экспериментах, что-то сначала сформулировали математически, а потом подтвердили, что-то стало возможно исследовать благодаря техническому совершенствованию инструментов (телескопы, микроскопы, ускорители частиц...).
Поэтому придумывать, как конкретно к этим открытиям бы пришли слепые ученые - неблагодарное занятие, вариантов масса, но я не вижу тут непреодолимой границы.
Это комментарий к словам "ощущения не те" ))
Почему бы для обхода этого недостатка не назначить одного из пиров главным (мастер-нода) и чтобы все остальные подключались к нему? Уменьшится количество соединений, можно микшировать поток в одном месте и раздавать его всем пирам, плюс появляются возможности управления трансляцией, принудительного отключения пиров, например. Из минусов - нагрузка на мастер-ноду: должна быть хорошая сеть и достаточно ресурсов и, если мастер-нода отвалится то всё.
А user_id - инкрементальный счетчик ))?
Да нормально, работать можно. Даже по 4G. Если это не геймдев какой-нибудь. При обычной работе (кодинг, документы) 200мс задержка не особо напрягает.
Аналогия с незащищенным c*ксом глубже чем кажется - ощущения конечно не те, но и риск подцепить вирус или нежелательного пассажира кратно меньше ))
Все данные на виртуальном рабочем месте в корпоративном облаке. А на ноутбуке залоченная напрочь ОС с заранее настроенным корпоративным VPN и клиентом для доступа на удаленный рабочий стол.
Да какая там цепочка. Выяснили, что существует некий источник, который нагревает предметы. Построили некий прибор, который измеряет это явление. Далее, в процессе совершенствования этого прибора будет измерена скорость света, проведен двухщелевой опыт, а далее уже открыт прямой путь к квантовой физике. Как конкретно будет реализован этот прибор, сколько времени займет его создание и совкршенствование можно фантазировать, но это уже тема большая, в комментарии такое писать долго и лень. В качестве референса можно посмотреть историю открытия ионизирующего излучения.
Идею, которую вы пытались донести я в принципе понял, но аналогия считаю, неудачная. Слепые учёные вполне могут догадаться о существовании электромагнитного излучения без визуального наблюдения оного (например, по теплу от солнца). А после этого создание приборов, которые могут его измерять уже дело техники. Проблема современной науки в том, что она подошла к пределам, которые невозможно преодолеть инструментальными методами, хотя теория пазывает, что там есть "что-то", но подтвердить или опровергнуть это невозможно.
Если что-то и существует, то это просто наша недоработка)))
Не понятно, как сетевое подключение в таких сборках реализовано. Через USB?
Упор идет в память. На 2080ti qwen3.6-35b грузит cuda-ядра на 60-70%, при этом дает 70т/с. У 5070ti пропускная способность примерно на 30% выше (память быстрее, но шина более узкая). Поэтому я так оцениваю. Gpu быстрее, но при генерации он простаивает из-за того что память не успевает подгружать новые данные. Вот prefill может быть значительно быстрее, поскольку он обрабатывает токены пачками.