А насколько точны подобные сенсоры или они показывают погоду на Марсе?
Когда была ковидная волна постов про делаем "Центр Контроля и Мониторинга Качества Воздуха" из ардуино и что под руку попало то там вроде говорили что их нужно калибровать эталонным воздухом на 400ppm CO2 либо там внутри была неонка колбочка с эталонным газом.
Ну как мне показалось 3x-ui просто вешается от количества открытых соединений при этом показывая утилизацию проца в районе <10% и пару сотен метров памяти. Скорее на VPS c сетевой частью будут проблемы чем с процем или памятью. Опять же хз, исключительно личный опыт.
Можно подумать от того что возьмешь 4 гига вместо 512мб и два ядра то впн станет быстрее работать. Особенно если торренты не гонять а только "запрещенку".
Практически от балды берем количество параметров(400b). Делим на pi, потому что не все параметры активируются. Берем мощность h100, умножаем на два получам полтора киловата. Берем количество TFLOPS, делим на десять, почему бы и нет.
Выкидываем все получившееся в мусорку, просто считаем 1token = 1 секунда работы h100 а утилизацию 70%. 1t/s x 1500 x 0.7 = 0.3 W x h.
Экспертненько, мы так лабы в универе делали методом матрицы-подгониана.
Технически главный поток в браузере оффлоадит как минимум все сетевые операции на пул тредов работающих с сетью(BrowserThread::IO). Так что без многопоточности он бы колом вставал во время фетча, как при старом (не)добрым синхронном Аяксе и никакой отзывчивости бы не было и в помине.
Так вот выделенный сервер нужной конфигурации и нужной локации на заданное время найти реально только у облачных провайдеров
Так в том то и дело что в формулировке задачи "нужен 1 сервер с 6тб рам " DO(и еще много других) не дешевле или дороже а просто непригодны для ее решения. Не может быть отношения больше-меньше между числом и отсутствием числа.
О чем стоило написать что DO непригоден а не вводить в заблуждение что у DO есть по-месячный ценник для решения этой задачи.
Следующий вопрос это стоимость трафика, внутри региона в облаках от амазон или гугл трафик бесплатный, а вот использование нескольких разных провайдеров зачастую делает стоимость трафика между ними неподъемной.
Вот тут люди в посте кстати и влетели причем даже не на трафике. А на платных API запросах с response 403 сделанных сторонними людьми. Что вообще разумному подсчету не поддавалось, это полностью out of control. Тарифицировать подобное просто безумно. К счастью для них им счет простили но при этом как будто великодушие проявили.
В DO S3 такого не могло возникнуть, там только storage+трафик тарифицируются. И к тому же у них 1тб outbound + 250gb storage они идут за 5$. На AWS это будет около соточки за счет outbound. Ну и в целом outbound у DO в разы дешевле чем на AWS(наверное этот outbound траффик и делает для AWS всю кассу). В данном конкретном случае получается что DO лучше для разворачивания s3 чем AWS. Наверняка есть что-то лучше чем DO S3, как ваш CF Free Tier.
Я вообще тут ничего не рекомендую ни DO ни AWS ни дедик(откуда они вообще взялись если вы обсуждали DO и AWS?) я писал исключительно про нестыковки в ваших комментарии.
Конкретно про то что сначала вы сравнили часовую стоимость с месячной а потом оказалось что и месячной(да и вообще никакой) стоимости то нет у одной из сторон сравнения. Аналогично поступаете и комментарием выше https://habr.com/ru/companies/wunderfund/articles/879130/comments/#comment_27903514. Та же самая логика, вы либо платите по часам либо просто у DO нет такого продукта. Такой опции как арендовать помесячно сотни инстансов отсуствующих в таблице прайсинга у DO у вас просто нет а значит и цену обсуждать бессмысленно. Либо если они все же есть вы так же можете арендовать по часам как и EC2.
В остальной части я с вами полностью согласен, если CF предоставляет что-то дешевле то почему его не взять? В идеале затраты владельца на сервис должны приближаться к 0$. Например сервис-медиаконвертер выполняющийся на клиентском Wasm а не требующий флота из 2000 инстансов на беке. Или на крайняк использующий спотовые инстансы.
То есть вы привели пример опровергающий именно дешевизну DO сравнив часовую цену с месячной заведомо зная что
а) DO не предлагает почасовую ренту инстансов с 6TB. б) DO не предлагает помесячную ренту инстансов с 6TB. в) DO в принципе не предлагает ренту таких инстансов ни в каком виде и не предлагает колокейшна. Все верно?
Возвращаясь к аренде недвижимости это как утверждать что 12 комнатные квартиры у Кремля дешевле в Москве потому что в Новосибирске их нет да и Кремль тоже отсутствует.
Может для вас это и логично но КМК в вопросе дешевле/дороже нужно сравнивать одинаковые товары имеющиеся в наличии. Например GPU сервера с H100. Или 2gb дроплет c t2.small.
Очевидно, месячная плата за такой инстанс (если есть) на Digital Ocean будет на пару порядков (в сотни раз) выше.
Очевидно лишь то что вы сравниваете месячную аренду с почасовой. Только не понятно с какой целью, с учетом того что вы ровно одним комментарием выше выяснили что на DO тоже есть почасовая аренда.
Вы же не делаете вывод что в Новосибирске аренда кв в среднем будет дороже чем в Москве на том основании что в НС за месяц выходит больше чем за сутки в Москве?
Забавный факт №2 - получается что те компании которые неправильно настроили stress load и нанесли 1300$ ущерба они не виноваты, у них лапки. Но при этом если ты откроешь возможность записи и попытаешься монетизировать то что они туда пишут то это уже уголовная статья, по версии автора.
Wireguard блочится многими провайдерами на территории РФ(а еще в той же Турции говорят блочат), поэтому всяческие TailScale не заведутся. SSH пока что не додумались блочить но могут троттлить.
А вообще если нет большого RPS то лучше подумать о том как фронт закинуть на github pages а бек на лямбды. Можно даже и во Free Tier вписаться.
Кроме авторского права есть еще коммерческая тайна. Можете спокойно слать чела лесом, вы сами придумали идею, вложили свой труд и получили инструмент (не произведение искусства) который не по выставкам таскаете, а используете для своего бизнеса.
Даже коммерческая тайна тут не нужна при такой постановке вопроса. Можно просто слать чела лесом, без всяких оговорок.
Можно на CPU. Тогда вы достигнете около 1 токена в секунду (как автор статьи) ЕСЛИ у вас вся модель поместится в оперативную память (для маленьких моделей 7B будет быстрее - но это явно не про DeepSeek)
А насколько точны подобные сенсоры или они показывают погоду на Марсе?
Когда была ковидная волна постов про делаем "Центр Контроля и Мониторинга Качества Воздуха" из ардуино и что под руку попало то там вроде говорили что их нужно калибровать эталонным воздухом на 400ppm CO2 либо там внутри была
неонкаколбочка с эталонным газом.Насколько с тех пор техника шагнула вперед?
Ну как мне показалось 3x-ui просто вешается от количества открытых соединений при этом показывая утилизацию проца в районе <10% и пару сотен метров памяти. Скорее на VPS c сетевой частью будут проблемы чем с процем или памятью. Опять же хз, исключительно личный опыт.
Можно подумать от того что возьмешь 4 гига вместо 512мб и два ядра то впн станет быстрее работать. Особенно если торренты не гонять а только "запрещенку".
Ого, оказывается это называется исследование.
Практически от балды берем количество параметров(400b). Делим на pi, потому что не все параметры активируются. Берем мощность h100, умножаем на два получам полтора киловата. Берем количество TFLOPS, делим на десять, почему бы и нет.
Выкидываем все получившееся в мусорку, просто считаем 1token = 1 секунда работы h100 а утилизацию 70%. 1t/s x 1500 x 0.7 = 0.3 W x h.
Экспертненько, мы так лабы в универе делали методом матрицы-подгониана.
/del
Технически главный поток в браузере оффлоадит как минимум все сетевые операции на пул тредов работающих с сетью(BrowserThread::IO). Так что без многопоточности он бы колом вставал во время фетча, как при старом (не)добрым синхронном Аяксе и никакой отзывчивости бы не было и в помине.
Наверное все же не член команды по выравниванию, а команды контроля над AI или хотя бы согласования.
Так в том то и дело что в формулировке задачи "нужен 1 сервер с 6тб рам " DO(и еще много других) не дешевле или дороже а просто непригодны для ее решения. Не может быть отношения больше-меньше между числом и отсутствием числа.
О чем стоило написать что DO непригоден а не вводить в заблуждение что у DO есть по-месячный ценник для решения этой задачи.
Вот тут люди в посте кстати и влетели причем даже не на трафике. А на платных API запросах с response 403 сделанных сторонними людьми. Что вообще разумному подсчету не поддавалось, это полностью out of control. Тарифицировать подобное просто безумно. К счастью для них им счет простили но при этом как будто великодушие проявили.
В DO S3 такого не могло возникнуть, там только storage+трафик тарифицируются. И к тому же у них 1тб outbound + 250gb storage они идут за 5$. На AWS это будет около соточки за счет outbound. Ну и в целом outbound у DO в разы дешевле чем на AWS(наверное этот outbound траффик и делает для AWS всю кассу). В данном конкретном случае получается что DO лучше для разворачивания s3 чем AWS. Наверняка есть что-то лучше чем DO S3, как ваш CF Free Tier.
Я вообще тут ничего не рекомендую ни DO ни AWS ни дедик(откуда они вообще взялись если вы обсуждали DO и AWS?) я писал исключительно про нестыковки в ваших комментарии.
Конкретно про то что сначала вы сравнили часовую стоимость с месячной а потом оказалось что и месячной(да и вообще никакой) стоимости то нет у одной из сторон сравнения. Аналогично поступаете и комментарием выше https://habr.com/ru/companies/wunderfund/articles/879130/comments/#comment_27903514. Та же самая логика, вы либо платите по часам либо просто у DO нет такого продукта. Такой опции как арендовать помесячно сотни инстансов отсуствующих в таблице прайсинга у DO у вас просто нет а значит и цену обсуждать бессмысленно. Либо если они все же есть вы так же можете арендовать по часам как и EC2.
В остальной части я с вами полностью согласен, если CF предоставляет что-то дешевле то почему его не взять? В идеале затраты владельца на сервис должны приближаться к 0$. Например сервис-медиаконвертер выполняющийся на клиентском Wasm а не требующий флота из 2000 инстансов на беке. Или на крайняк использующий спотовые инстансы.
3090 еще на научились перепаивать на 48gb? Или там без шансов?
То есть вы привели пример опровергающий именно дешевизну DO сравнив часовую цену с месячной заведомо зная что
а) DO не предлагает почасовую ренту инстансов с 6TB.
б) DO не предлагает помесячную ренту инстансов с 6TB.
в) DO в принципе не предлагает ренту таких инстансов ни в каком виде и не предлагает колокейшна.
Все верно?
Возвращаясь к аренде недвижимости это как утверждать что 12 комнатные квартиры у Кремля дешевле в Москве потому что в Новосибирске их нет да и Кремль тоже отсутствует.
Может для вас это и логично но КМК в вопросе дешевле/дороже нужно сравнивать одинаковые товары имеющиеся в наличии. Например GPU сервера с H100. Или 2gb дроплет c t2.small.
Очевидно лишь то что вы сравниваете месячную аренду с почасовой. Только не понятно с какой целью, с учетом того что вы ровно одним комментарием выше выяснили что на DO тоже есть почасовая аренда.
Вы же не делаете вывод что в Новосибирске аренда кв в среднем будет дороже чем в Москве на том основании что в НС за месяц выходит больше чем за сутки в Москве?
Туда же freebsd jail и solaris zones. ЕМНИП это еще прошлый век был.
Забавный факт №2 - получается что те компании которые неправильно настроили stress load и нанесли 1300$ ущерба они не виноваты, у них лапки.
Но при этом если ты откроешь возможность записи и попытаешься монетизировать то что они туда пишут то это уже уголовная статья, по версии автора.
Британские бы поругались на этапе разбивания яйца.
Вообще не знать != не лезть туда. Ваш второй абзац обосновывает "не лезть".
Wireguard блочится многими провайдерами на территории РФ(а еще в той же Турции говорят блочат), поэтому всяческие TailScale не заведутся. SSH пока что не додумались блочить но могут троттлить.
А вообще если нет большого RPS то лучше подумать о том как фронт закинуть на github pages а бек на лямбды. Можно даже и во Free Tier вписаться.
Даже коммерческая тайна тут не нужна при такой постановке вопроса. Можно просто слать чела лесом, без всяких оговорок.
Да скорее всего дело в ddr5, + у него 12 каналов на проц а у вас 6. Вот тут еще наткнулся на информацию: https://www.reddit.com/r/LocalLLaMA/comments/1h3doy8/stream_triad_memory_bandwidth_benchmark_values/
если она верна то пара 9135 выдаст еще в два раза больше bandwidth правда и стоят они в два раза дороже. По 1500 за штуку.
Вот тут писали про 5-6 токенов в секунду на CPU - https://threadreaderapp.com/thread/1884244369907278106.html Это преувеличение или тут есть разница какая-то в железе/llm/размере контекста?