Комментарии 59
Примерно так и зарождались раньше хостинг провайдеры. Удачи вам в своих начинаниях.
Имеется ли что-нибудь по типу прайс-листа чтоб сориентироваться по ценам аренды имеющегося железа или это все обсуждается в индивидуальном порядке?
Получается ли конкурировать с сервисами по типу vast.ai/clore.ai etc и сдаете ли там свои серверы в случае их простоя из-за отсутсвия клиентов?
По части KVM возможно окажется полезным вот этот проект https://github.com/pikvm/pikvm#the-future-v3-platform-work-in-progress
Есть 2 прайса:
Серверы на базе AMD Ryzen по стоечкам, копикат Hetzner AX Line ? https://unit7.cloud/dedicated_servers/
GPU-серверы произвольной конфигурации ? https://unit7.cloud/gpu_server_configurator/
vast.ai/clore.ai — это агрегаторы чужих GPU-серверов, у нас серверы свои. Чтобы «конкурировать» пока не дотягиваем до их уровня. В случае простоя пока не сдаём, такие мысли были, спасибо за напоминание!
По части KVM. Да, спасибо, буквально вчера его обсуждали!
Итоговое фото, другой вендор мат.плат, другие CPU-кулеры, новые полочки
О, вы таки пришли к использованию top-down кулеров, с достаточно крупным вентилятором чтобы обдувать и материнку (по крайней мере важные части, вроде вторичных преобразователей и M.2 SSD), что добавляет разумной надёжности за относительно небольшие деньги.
У меня был похожий опыт с микросистемами минимальной высоты для домашнего использования. В итоге я понял, что чисто горизонтальный продув, пусть он и выглядит геометрически более правильным, требует использования мелких и скоростных вентиляторов серверного типа. А это дорого и/или шумно.
Вообще статья понравилась, и ваш подход к решению задачи выглядит очень рационально.
отсутствие сертификации от Uptime Institute, аттестации ФСТЭК и лицензии связи. Я решил не продавать компанию, а продолжить её развитие
Надеюсь, что у вас таки есть exit plan на случай, если ваш бизнес дорастёт до того размера, который заинтересует налоговую уважаемых людей. Или если какой-то из ваших клиентов наследит в вашу сторону чем то расходящимся с генеральной линией партии...
«О, вы таки пришли к использованию top-down кулеров, с достаточно крупным вентилятором чтобы обдувать и материнку»
Да, именно так. Мы бегали по рынку CPU-кулеров и наткнулись на top-down формат, пока не набрели на «ID-Cooling IS-50X V3», который охлаждает в т.ч. зону VRM. Хотя он подходит не ко всем материнским платам с сокетом AM5 (что было неожиданно).
«exit plan на случай, если ваш бизнес дорастёт до того размера, который заинтересует налоговую уважаемых людей»
Представляете, какого размера должны быть выручка и прибыль, чтобы им заинтересовались? — Вот за эти лет 10 роста такой план и появится ?
«Или если какой-то из ваших клиентов наследит в вашу сторону чем то расходящимся с генеральной линией партии»
Да, план есть. В основном, он заключается в соблюдении законов и открытой жизненной позиции.
он заключается в соблюдении законов
Хм, а лицензия на передачу данных есть (а она необходима в вашем случае) и согласованные с УФСБ специальные условия?
Как только вы действительно начнёте соблюдать все требования, ваши цены неожиданно сравняются, а то и превысят HETZNER. Увы.
Про ИФНС я даже не упоминаю.
И любой ваш конкурент или недруг, который возьмёт у вас в аренду сервер и совершит с него противоправные действия, поставит крест не только на вашем бизнесе, но и на вашей свободе.
Я тоже был таким. И построил крупный телеком в гараже. И знаю не понаслышке то, о чем написал.
Но это было 20 лет назад. Сейчас я бы не стал так рисковать.
Круто, спасибо! Проработаю риски с юристами чуть глубже. Тут, кстати, новый закон с 1 декабря обязывает зарегистрироваться в РКН и всё такое. Так что, да, приключений ещё будет.
Про цены Hetzner. По цене с ними конкурировать не получается, там цена капитала гораздо ниже (больше длинных денег). Поэтому цены не то, что ниже их не сделать, но и близко к ним не приблизиться. Я бы тут процитировал генерального Селектела, но сейчас уже не найду эти комменты под какой-то статьёй на vc. Суть в том, что пока на рынке РФ цены такие, что мой дата центр жизнеспособен и прибылен (и политика РКН работает как попутный ветер). Как только что-то изменится, то и я буду менять бизнес.
Про канал на новом месте ничего не сказали
Да, пардон. На новом месте арендовали сначала 200 МБит/с, затем 1 Гбит/с, на прошлой неделе провели оптику с физическим каналом в 10 Гбит/с, пока работает на 2 Гбит/с. Смотрим. Подход тот же: прилаживать бизнес к запросам клиентов.
Есть понимание, что нужно подключать +1 интернет-провайдера для отказоустойчивости и тоже по оптике. Но пока проблема с enterprise коммутаторами в стране, эту задачу не просто решить в лоб. Пока что мы ушли в глубокое перепроектирование сети. А уже затем выплывем оттуда с конкретными критериями к интернет-провайдерам.
Да не только с enterprise коммутаторами, а вообще с таким оборудованием и адекватности цен :(
Здравствуйте.
У вас 2 пути, если хотите развиваться дальше как хостинг-провайдер, то вам потребуется своя AS, и свой блок IP адресов, PI или PA. После того, как у вас появляется своя AS, вы обязаны соблюдать требования по установке СОРМ, а потом и ТСПУ. Теоретически, есть возможность закрывать эти вопросы по типу IaaS, некоторые upstream провайдеры предоставляют такую услугу.
Главное, найдите грамотного сетевика, кто поможет вам с проектированием и строительством сети.
А аренда AS им не поможет?
Все зависит от требований. Судя по общему подходу в этом ДЦ с открытыми вариантами и не обязательно web-нагрузками можно пробовать такие же, более бюджетные подходы. Например, динамическое изменение DNS адресов или какая-то договоренность роутинга PI адресов с двумя провайдерами с настройкой и их стороны. Также можно найти мелкую компанию, которая просто возьмет все эти вещи на себя, может есть такие же мелкие как этот ДЦ с неординарными решениями.
Если смотреть на коммутацию - Eltex неплох. 10 Гб линки сейчас обычное дело. Да, eltex надо уметь готовить, но он работает.
Если нужно недорогое решение в плане роутинга/файрволлинга - посмотрите в сторону https://youtube.com/@Alt-info-pro
Надеюсь, у вас есть понимание, что на десктопных оперативках нет коррекции ошибок :)
Хотя у самого ноутбук работал в роли своего сервера под пет проекты пару лет и без проблем
Да, есть. Разным клиентам нужны разные вещи. Мои согласны на ускорение на ~15% в обмен на риск ошибок в ОЗУ. Как-то так. Т.е. скорость работы важнее отсутствия ошибок. Разные клиенты, разные задачи, разные требования к железу.
Да ну о чём речь. ОЗУ ничем не отличается и коррекция ошибок номинальная, единственное, что там мы можем узнать из edac, плохо памяти или нет, а тут просто по бсодам и плохому состоянию работы системы. Всё чинится отладкой, заменой модулей или настройкой частот и таймингов. Так что я глобально не вижу большой разницы в безбуферных и регистровых с коррекцией. Просто нужно подходить с энтузиазмом и внимательно всё делать как нужно и всё будет работать)
Главное чтобы они понимали, что у них файловая система может повредиться. Вероятность не очень большая, но есть.
Полностью симпатизирую проекту и подходу, но вот придут с требованиями поставить СОРМ и установить прочие "плюшки" -- так сразу этот колхоз и прикроется. Хорошо, если еще никого не посадят. :((((
СОРМ - это спецусловия лицензии на ТУС и ПД. Там санкции - приостановление деятельности. А подтянут не за это, а за "осуществление предпринимательской деятельности без соответствующих разрешений (лицензий) для отдельных видов деятельности". В народе - незаконное предпринимательство. В зависимости от размера полученного дохода - статья была уголовная и несмешная совершенно.
Я тоже симпатизирую. Но не реализованному проекту, а идее. Спрос есть. И ниша свободна. Но порог входа - не сотни тысяч. Делать сразу нужно по уму. И уж как минимум, не переживать за свою свободу.
Я уж не говорю про резервирование питания, свою AS с несколькими аплинками, пожаро-охранную сигнализацию и службу безопасности.
В народе - незаконное предпринимательство.
Не в народе, а в том самом УК РФ ст.171. А вот в КоАП РФ ст.14.1 это называется "Осуществление предпринимательской деятельности без государственной регистрации или без специального разрешения (лицензии)".
Хотя суть та же.
Правда есть поддержанное в своё время РКН мнение, что деятельность хостеров не подпадает под услуги связи. Если, конечно, хостер "до кучи" не предоставляет сервисы почты, ВКС, или еще чего-то в этом духе.
Но зато от ряда других обязанностей это не освободит, в частности - по реагированию на запросы РКН по удалению информации; по сбору, хранению и предоставлению гос. органам информации о действиях своих пользователей...
Правда есть поддержанное в своё время РКН мнение, что деятельность хостеров не подпадает под услуги связи.
К сожалению, давно уже не так. Выделяешь клиенту IP - оказываешь услуги ПД. Увы.
Даже IX'ы подтянули.
К сожалению, давно уже не так. Выделяешь клиенту IP - оказываешь услуги ПД. Увы.Даже IX'ы подтянули.
Ну не совсем не так - под услугу связи подпадает колокейшен, т.к. там оборудование клиентское. При сдаче в аренду своих ресурсов - услуга связи на самом хостере и заканчивается.
С IX вообще в своё время намутили еще в "Законе о Чебурнете", а в этом году еще и ТСПУ туда решили поставить (большая часть закона, конечно, о другом, но в конце аккуратно втиснули ТСПУ). Каждую кроссировку, похоже, пропускать через ТСПУ надо будет, хе-хе.
Правда есть свежачок от Горелкина от лета этого года, пока внесёные которым изменения в т.ч. в закон "О связи" еще не полностью вступили в силу (и в отношении которого шум спустили в сторону использования иностранный емейлов при регистрации, "замылив" остальные положения этого закона) - там хостеров действительно "донагрузили" СОРМом прямо в законе и требованием включаться в реестр. Так что для них особой разницы теперь уже не будет в этом плане.
интересно, а можно исключить применение этой статьи через такую схему: Услуги хостинга оказываются бесплатно, чтобы не подпадать под коммерцию, но не всем а держателям "клубных карт". В то же время, клиентам для пользования услугами будет предлагаться сделать пожертвование в некий фонд (или даже частному лицу) просто так, по дружески. Сделал пожертвование - ты нормальный парень, держи клубную карту. А если проверяющие органы приходят - "мы не оказываем услуги, у нас хостинг клуба друзей и всё".
Спасибо, прикольно. Я в одном месте нечто подобное уже несколько лет наблюдаю... Видимо, работает.
Метод достаточно древний. Работать может и сейчас.
Но тут надо не перестараться - а то могут признать притворной сделкой и раскрутить "как должно быть", включая неуплаченные налоги. Собственно, "зайти" к клубу как со стороны налогов, так и со стороны силовиков - условно говоря, какой-то придурок пошлёт письмо c вашей сети с сообщением о минировании, и правоохранители захотят узнать, от какого реального пользователя это ушло?
Это если хостинга пользователи предоставляют ококонечный сервис неограниченному кругу лиц. А если нет, а это всего лишь GPU бэкенд, или 1С-ка, например - это вообще внутрикорпоративный сервис и там РКН не интересно.
Это получается комната 28 м2 будет нагреваться обогревателем мощностью 50 киловатт??? (а вроде бы и больше хотите потом).
Жарковато.
Так не все уходит в тепло, при правильной вентиляции вообще не проблема, у меня приход был 75киловатт , расход 46 киловатт, но это на GPU фермах, стояло 5 выдувных промышленных ( постоянно работало 3, остальные 2 в зависимости от погодных условий) вход через фильтры без нагнетания, снизу помещения, метр от пола, но помещение было небольшое и отдельно стоящее.
Так не все уходит в тепло
А куда девается?))
Ну. Киловатт-то 50, но это максимум, на что способна местная проводка. Например, в розетке у вас дома максимум 3 кВт, но это не значит, что от этой розетки нужно отводить 3 кВт тепла, верно? Это значит, что есть вероятность того, что в ней может быть пиковая нагрузка в 3 кВт. Т.е. в какой-то момент времени может получиться так, что 3 чайника одновременно будут кипятиться.
У нас стоит промышленный кондиционер, который всё отводит достаточно эффективно.
Как минимум киловатт на 20 скачивается клиентом в виде результата расчетов нейросетей, клиентов много поэтому не чувствуется :)
Обычно, это всё таки проблема и самая сложная часть в проектировании серверной/ЦОД. Чтобы подача воздуха была не в метре от пола, а в фальшпол, иначе оборудование тоже должно быть в метре от пола. И чтобы фрикулинг справлялся с задачей, а он в принципе не может справляться если на улице +30.
"От интернета 800 Мбит/с осталась только вторая часть - Мбит/с" Как же я ржу ????
А вы знакомы с pikvm? А то может свой ipkvm и не понадобится
Есть ли программная совместимость между, например, ASPEED AST 2500 BMC и мат.платой от MSI на чипсете AMD B650 или <любое другое сочетание IPMI чипа и мат платы с сокетом AM5>
А должна быть? BMC по большей части прикидывается вполне устройствами и общается по стандартным интерфейсам. Максимум в биосе будет настройка сети, как на материнках Supermicro. Другой вопрос по барабану ли, самой железке с BMC к кому она общается, а даже если нет, то OpenBMC в помощь. Хотелось бы этот момент поподробнее уточнить, далеко не все вкурсе этих тонкостей (даже я)
И ещё вопрос, а есть ли вообще отдельные платы расширения с ASPEED за адекватные деньги? Всё ещё горю желанием при сборке домашней рабочей станции воткнуть туда IPMI. Но смотря на ценники современных плат (аля ASUS IPMI/ASRock Rack PAUL), возникает мысль, что проще купить плату со встроенным BMC
Ну вот, самые интересные пункты не описаны(
А вы хостите железо клиентов?
По поводу IP-KVM - у себя на проектах использовал комбинацию 8x1 KVM с TCP-IP/RS232 управлением и IP-KVM tinypilotkvm.com (который под капотом является RbPi + Python обертки и nginx), и в который можно зайти по SSH и подтюнить оболочку
у вас майнинг ферма ?
Очумелые ручки. Кулера на процессорах зажаты сверху полкой...
"мусорные" сервера, вполне себе решения для ЦОД, в свое время в Московском департаменте ИТ поднимался вопрос о строительстве либо аренде таких вариантов.
А ваш клиент/покупатель бизнеса был готов к тому, что вы откажетесь его продавать? Как удалось в итоге договориться?
К ОП несколько вопросов
Как накатываете системы на полностью выделенные системы? Вручную или как то через PXE?
За сколько вышло арендовать новые помещения на заводе и как вышло договориться с руководством предприятия?
Так же, могу лишь пожелать удачи в развитии этого бизнеса)
Спасибо!
Пока через флешку. Вопрос накатывания через PXE исследуем, экспериментируем.
На рыночных условиях. Завод принадлежит гос-ву, так что, там всякие кадастровые оценки и прочие штуки, цена декларирована. Не понимаю подоплёки вопроса: звонишь, встречаешься, смотришь помещение, соглашаешься, подписываешь договор, ставишь печать, получаешь ключи, приезжаешь со строительной бригатой, согласовываешь проект, подписываешь договор со строителями, ждёшь, принимаешь работу, подписываешь акт, въезжаешь.
Спасибо за статью! Давно мечтал о чём-то подобном, но во времена общедоступных облачных решений от флагманов рынка эта история показалась довольно бессмысленной
Давно со мной такого не было, но статью прочитал с интересом!
Очень порадовала Ваша статья, особенно то, что не побоялись выйти на этот рынок, который казался насыщеным. И решения интересные.
Действительно, я тоже заметил, что производители всегда пытаются сделать мощные конфигурации для серверов. К примеру, если посмотреть на storage серверы, которые обычно предлагают, то всегда в них что-то типа 2 процессора Xeon, хотя чисто для хранения это не нужно все. В свое время когда я искал конфигурации для storage, я использовал Supermicro материнки, которые основаны на desktop процессорах. Например, в то время были с Core Duo конфигурации, но памяти было маловато правда. Иногда в них был Intel ME, который работает почти как IPMI. Цены, правда, у этих материнок были раза в 4 больше десктопных. Но и работают они 15 лет без проблем до сих пор.
Гугл, кстати, тоже давно писали, что у них открытый дизайн без корпусов, но не знаю куда они дошли с этим. Что интересно, это что они еще экспериментировали с установкой аккумулятора в каждый сервер. И это логично, потому что блок питания понижающий уже там есть и можно обойтись без двойной конвертации и дорогих больших аккумуляторов в больших UPS на 220В. Я знаю, что у Supermicro такие конфигурации тоже есть.
Еще, возможно, Вам будет полезен этот линк. Тут Cloudflare рассказывает про их модульный BMC.
Но, в общем, удачи Вам, очень классный проект.
Классная статья! Особенно грамотно поступили, когда перенесли всё оборудование на территорию завода, и проблема со светом сама собой решилась.
Спасибо! Да, типа того. Ну и UPS'ки промышленные смог поставить. 1 служебный комп включил без UPS, тупо «в розетку». Через пару недель материнка вошла в какой-то защищённый режим (без выкл. питания на пару минут не реагировала ни на что). Я решил, что там либо бывают какие-то перепады (завод же, сварка и всё такое), либо синусоида так себе, и не через UPS больше компы там не подключаю. Ну а с отключениями, да, решилась.
История одного домашнего дата-центра