Как стать автором
Обновить

Комментарии 265

Сначала прочитал как "25 мбит/с" и подумал - ну и фигня - у меня уже через вайфай по 300 мбит/сек.

Потом прочитал правильно - и как дошло!

25 гбит/с - это действительно круто!

Канал как у небольшой страны где-то в африке целиком...

Что еще удивительнее, так это то, что происходит это все в регионе DACH, где ADSL - просто норма вещей до сих пор, наряду с бумажной почтой и факсами.

Все таки DSL потом продолжил развитие, и современный какой-нибудь VDSL не так плох. К тому же все очень зависит от добросовестности провайдера, как обычно. Оптика конкретно в Швейцарии достаточно много где, если мы говорим про города с 1000+ человек. Вот в горах - да, есть шанс что какой-нибудь 5G будет работать лучше чем все остальные доступные варианты, или что в совсем маленькой деревне будет условный VDSL на 100/10 Мбит или что-нибудь такого уровня.

В Германии я жил какое-то время назад, там все по моим ощущениям было значительно хуже. Про Австрию не скажу.

Не так уж и плох только симметричный полнодуплексовый канал. Всё остальное мерить стоит по аплоуду. И по этому параметру ADSL очень плох.

В Германии подключен по адсл, но он прокачан, выдает 250 мегабит.

НЛО прилетело и опубликовало эту надпись здесь

Только вот, 250 обычно - это скорость приёма. Отдача при этом может не превышать 2-3 мегабита. Я так и не понял, то ли это прикол провайдера, то ли такие у них каналы.

Это что за провайдер? Обычно плюс-минус пропорционально, т.е. на 500 даунлинк должно быть под 100 аплинк.

Вообще говоря ADSL/VDSL это ассиметричные протоколы. Модем на отдачу просто в разы медленнее. VDSL2 upstream в самых лучших условиях на профиле 35b это 50 Mbps грязными.

Какая-то слабая у вас отдача... У меня лет 10 назад был VDSL от Ростелекома, там было 85/35, которые полностью подтверждались торрентами.

В Нидерландах например все еще DOCSIS очень в ходу, хоть и 500 Мбит выдает :)

Угу, хотя я когда жил в Нидерландах, получал тоже гигабит по оптике, от Tweak'а. Мне провайдер запомнился тем, что у них даже пришедший подключать все монтажник был с ноутом с Арчем.

В Британии DOCSIS прокачанный гигабит дает у Virgin'а - который наверное самый крупный провайдер. Но дальше все, дальше никак - а до оптики в каждый дом как до Луны пешком :-/

На практике оптики в каждый дом тоже конечно нет, но с этим становится все проще и проще.

Так тут был второй по качеству вариант - UPC (когда-то был Liberty Global'ом но они продали свой бизнес местным несколько лет назад), там тоже в последней редакции был гигабит по DOCSIS.

Местные, впрочем, купив UPC начали их на оптику переводить.

А, ну Virgin Media это и есть Liberty Global - смотрю, любят они DOCSIS.

Так упоминаемый чуть ниже нидерландский Ziggo тоже Liberty Global (совместное предприятие с Vodafone). Впрочем я про UPC оказывается ошибся - они до сих пор остались Liberty просто через новую компанию, которая одно время конкурировала с UPC :)

Ziggo уже года три минимум 1 ГБит/с предоставляет по DICSIS, а в последний год они, наконец осознав, что проигрывают рынок, переходят на оптику.

Сначала начал расшифровку DACH:
1) Deutchland — все понятно.
2) Должно же быть Österreich, но больше подходит — Austria. Ладно, ок
3) Тогда в конце должен быть Switzerland с такой логикой, опять по буквам не сходится.
В вики написано — Confoederatio Helvetica.
Именование веселое, однако.

В DACH сейчас самый быстроразвивающийся рынок оптики, при этом многие провайдеры перескакивают GPON (обычно 1 ГБит/с, но в лабораторныз условиях до 2.5 ГБит/с) сразу закупая XGSPON (до 10 ГБит/с) оборудование.

Слава богу не все, есть исключения как тот же init7, у которых можно получить простой человеческий Ethernet без этих GPON убожеств...

2.5 гига там честные на даунлоад, 1.25 на аплоад. Эти лабораторные условия на 20 км распространяются.

Главный вопрос для чего 25гигов, в 2023 половинка гига от РТ, не чем особо ее забить

Я вроде постарался дать ответ: потому что можно. На помесячную оплату это не влияет, только вложение в железо.

Вывод это статья ради статьи? Посмотрите у меня 25 Гб до провайдера, а дальше максимум 1 гб, и таймауты на трассе как у всех по 200-500.

Если вам с провайдером не повезло - не значит что у всех все также плохо. Я для следующих частей подумаю до чего можно потестировать скорость, чтобы было видно что некоторый смысл в более чем гигабите дома есть (а так про 10 vs 25 - основной смысл это сделать ради опыта и потому что могу, а не потому что в этом есть сакральный смысл)

Было бы интересно, к примеру, скачать ISO с самых быстрых европейских зеркал ubuntu.

Там, мне кажется, TCP окно не успевает открыться хорошо даже на 10Гбит линке и 4ГБ ISO образах...

Ещё было бы интересно скачать тяжёлую игру из Steam, гигабайт на 50+

можно организоваться с приятелем на взаимное хранение бекапов домашнего наса, которые каждую ночь будут обновляться из домашней сети. И сильно сэкономить таким образом на облачном провайдере.

Мои 10ТБ по гигабитному соединению от гугл-файбер заливаются более суток. На 25 гигабитах было бы гораздо веселее

А домашний NAS потянет такие скорости? ) Или он на nvme весь?

Перфоратор мне в пятку - в домашнем хранилище ежедневно 10тб новых файлов? Это у вас гостиница космос с 5 вебкамщицами на каждый номер 24\7 в 4к записываются? дифференциальные\ инкрементальные бекапы чем плохи?

ты меня поймал, настоящий объем в 5 раз меньше. А инкрементальные бекапы я не настраивал по причине ненадобности. Но мечтать не вредно же?

На монтаже видео пара терабайт материала в день - более чем реальный сценарий

Буква «З» - Зависть?

Вы правда можете построить в гараже небольшой датацентр или ровная полочка траффика, провайдера таки напряжет?

Ровная полочка разумных величин провайдера естественно напряжет и скорее всего он прилет с контрактом совсем на другую сумму в одной руке и ножницами в другой :)

На каком уровне полочки LGTM а на каком PTAL?

У провайдера прописано, что они могут начать задавать вопросы если я наберу 0.5 ПБ трафика. То есть можно на пару дней в полочку интерфейс использовать.

А, ну и частному лицу естественно никаких гарантий и все такое прочее. Естественно то что у меня 25 Гбит не значит, что у провайдера от их ближайшего POPа сильно больше :)

Ну 0,5ПБ это отлично! У меня на гигабите 150ТБ выходит в месяц исходящего. Думал что будут спрашивать - не спрашивают. Видимо им аплоад не критичен, ведь покупают полосу обычно симметричную, и я со своим аплоадом иду против мейнстрима, который качает вниз.

Если они дают юзерам 25, то у них инкременты минимум по 100Гбит/с в сторону поп-ов, скорее всего завернутые в DWDM, и Террабит-другой в одном волокне. Кто-то в вашем провайдере любит современное оборудование. Как и я, как и гугл :)

Ага, у них, когда они только анонсировали 25 гбитные домашние подключения, была статья (на немецком, естественно) с красивыми картинками оборудования и они явно говорили про то что минимум 100 Гбит на POP делают :) Естественно где больше клиентов, там и шире канал.

Торренты популярные качаются в принципе без ограничений скорости. Игры, фильмы, вот это все.
Из Steam достаточно просто выжать гиг, как и из Epic. Насчет 25, конечно, не скажу.
Качать с сайтов и файлопомоек, особенно в десятки потоков — тоже можно без ограничений с какого-нибудь жирного CDN. Linux ISO's платные обычно не жалеют скорости. Гиг забивается мгновенно при желании.
Я бы тоже не отказался подключить 25, если бы дали, но в Москве больше 10 не видел.

Я в 200 километрах от Москвы больше 100 Мб/с не видел, какой там 10 гигабайт

В тысяче км от Москвы гигабит в секунду.

Судя по единицам измерения в посте, товарищ может путать мегабиты и мегабайты. Так-то 100 мегабайт/с это и есть 1 гигабит..

125 если быть точным

на практике больше 111 не будет.

Это в Франкфурте? как раз вроде по расстоянию

Нет.

в Омске (сами посмотрите на карте километраж) гиговый аплинк для дома норма уже много лет, в ЕКБ я вот уже второй год с аплинком почти гиг. простите но расстояние от москвы по моим наблюдениям нужно смотреть иначе: дальше - лучше.

"В Нью-Йорке настолько дорогие квартиры - потому что от Москвы далеко"

"В Нью-Йорке настолько дорогие квартиры - потому что от Москвы далеко"

это конечно важный и несомненно весомый аргументбред в треде о доступных скоростях аплинков и тарифов провайдеров для физиков по россии..

Все комментарии важны - не будь их, нечего было бы качать на 25Гбит/с :)

почти 3 тысячи км от Москвы (на восток) — билайн — 500 мбит/с, ДомРу — заявлено 850 мбит/с, реально сейчас где то 600 есть, раньше было 750 (причем их техники считает что проблема у меня, и смогли это продемонстрировать подключив свой ноут кабелем у меня, разбираться детально сейчас нет времени и желания)

я в 750км от Москвы, тариф 300мбит, впрочем у нас куча и гигабитных предложений

~2000 км от Москвы. 1 ГБит/с канальная скорость (подключение - медь), скорость TCP больше 600 Мбит/с по Speedtest.net

диски бы успевали писать скачанное, т.к. это не линейная операция и скорость будет разительно отличаться от указанной на коробке

Однозначно, даже гиг на один HDD пишется со скрипом, если одновременно 10 файлов качать.
Поэтому качаю на RAID0 из 870 EVO :)

Смотря чем и что качать :) Технически большими кусками и с хорошим буфером в оперативной памяти должно быть нормально.

Я тоже с этим столкнулся, но немного поковырявшись нашел пару настроек, которые сильно улучшили ситуацию:

  • Использовать для скачивания выделенный SSD, можно самый дешевый, потому что по сути от него требуется просто нормальный рандомный доступ. 

  • Резервировать место на диске заранее, чтобы файлы не были раскиданы.

  • Выделить достаточный буфер в оперативной памяти. У меня в компьютере 32 гб и я спокойно выделяю 2 гб памяти под буфер


По сути с таким набором скачивание будет идти на максимальной скорости, а на HDD файлы сбросятся только в самом конце, причем максимально быстро (последовательное чтение с SSD и последовательная запись на HDD)

Резервировать место на диске заранее, чтобы файлы не были раскиданы.

Для SSD это не нужно.

Линейное чтение/запись точно также сильно быстрее случайного доступа и для SSD. А по случайному доступу до уровня чистокровных optane SSD еще не дошли. Другой вопрос что SSD на порядок быстрее в линейном, и в десятки раз на случайном доступе по отношению к HDD. Но человек писал не про это, он писал про то что основной накопитель может быть HDD, а SSD используется как буфер для скачивания, после загрузки файл перемещается «линейно» на hdd

Насколько я понимаю логику работы SSD, там нет понятия "линейная запись". Контроллер раскидывает блоки рандомно в любом случае (тут могут быть нюансы с выходом за пределы кэша (при его наличии)).
В случае же копирования готового файла с SSD на HDD смысла в резервировании тоже нет — файл пишется и так линейно.

И в тоже время производители порой его указывают, или указывают значение iops (к примеру, самсунг из свежих). Да, контроллеры SSD сейчас довольно умные и обычно сами выбирают куда физически поместить данные на флеше для выравнивания износа ячеек (алгоритмами, аппаратным шифрованием, в общем кто-что умеет), но флеш-память - это не память с прямым доступом, и даже не параллельным доступом в произвольную страницу, и вот эти вот переключения несут дополнительный оверхед, особенно больно мелкоблочной записи/чтению.

P.S. Вот сейчас написал, и понял что мелкоблочка - все же не актуальна в случае «скачивания большого файла», прошу прощения

И в тоже время производители порой его указывают

указывают. но вот для скачивания торрентов без специальной оптимизации по последовательному скачиванию оно неприменимо.
а где кроме как в торрентах есть преаллокация скачиваемого файла?

Для SSD это не нужно.

вы неправы.
для ssd это вредно

Зависит от реализации резервирования.
Может и двойная запись быть, а может и просто пометить в таблице как занятое место.

да, вы правы, под виндой torrent-клиенты умеют выделять место без записи.
в линуксе такого нет

Ну как же нет, в линухе есть сисколл fallocate(), практически все мейнстрим файловые системы его поддерживают.

по ссылке выше пишут про выделение места под файл без предварительной очистки (то есть там могут оказаться «ошмётки» старых файлов).

а fallocate умеет или делать дыры (что бесполезно для торрентов), или выделять и инициализировать нулями (что долго).
или я что-то пропустил?

Ну есть же ман: https://man7.org/linux/man-pages/man2/fallocate.2.html

After a successful call, subsequent writes into the range specified by offset and len are guaranteed not to fail because of lack of disk space.

Даже с флагом FALLOC_FL_ZERO_RANGE как я понимаю на многих ФС (XFS/ext4/btrfs) всё равно не будет физического зануления, а будут просто выделены экстенты новые.

Хотел было написать, что за торренты можно получить письма счастья, но погуглил уточнить про законы конкретно в Швейцарии — и, оказывается, там очень либеральный взгляд на торренты, как минимум скачивание (не закачка) и вовсе защищено законами о свободе доступа к информации. Идеальная страна получается.

Легально качать кино-музыку-книги (но не раздавать), поэтому, в теории, можно так сказать ПользоватьсяСетью, если вы понимаете о чем я ;)

С играми и ПО - технически качать их нелегально.

Разадвать нелегально ни то, ни другое. Есть правда момент - слежка за людьми затруднительна и если правообладатели или юристы будут делать как в Германии (сами раздавать, записывать кто скачал и слать письма счастья в надежде на откуп), то им же самим суд даст по голове. Из того что говорят (но тут к каждому вопрос - хочется ли проверить на себе или нет), если не прям релизить или делать дома сид-бокс, то шанс что к тебе придут близок к нулю даже за раздачу.

А сколько торент клиентов позволяют скачивать, но не раздавать по дефолту? (торент центры публичные вроде от рейтингов ушли почти все, но скачать и не раздать все равно тот еще квест кажется)

По дефолту - в смысле без настроек? Скорее всего никто. Настроить на нулевой upload можно любой клиент, который считает отдельно служебный и полезный трафик. Могу ошибаться, но насколько я помню это Deluge, все Azure-подобные (Vuze и BiglyBT), uTorrent, Transmission и наверняка еще кто-нибудь.

Но так возможно не в любом клиенте. Поэтому в таких ситуациях, если хочется чтобы все было законно, лучше избегать торрент-клиентов и раздач не OpenSource/PublicDomain/Бесплатных/официальных вещей.

Да, скачивать для собственного пользования можно.

Пригород Красноярска, гигабит с 2014 года

А кто в Москве дает 10? Я только гиг видел, подключил и чувствовал себя королем интернета, особенно после путешествий по Европе, но после это статьи мой гиг просто жалок :)

Поправка: дают 8.

Сайт прям "вип-лухари"... :facepalm:

Просто поделюсь опытом.
1 гигабит, Екатеринбург.
Единственное где скорость была 950+ - это с Google Cloud 500 гигов выкачивал корпоративных. Лишь благодаря ему я узнал что оператор меня не обманывает.
Вторым шли steam/epic, но и у них больше 70мбайт/сек ни разу не удалось получить(
Все остальные торренты и прямые ссылки с https://ubuntu.com/download/desktop больше 60 мбайт/сек ни разу не дали :( Хотя комп новый, ssd, keenetic giga.

Вторым шли steam/epic, но и у них больше 70мбайт/сек ни разу не удалось получить(

Как минимуму Steam'а - очень большая зависимость от процессора и он может 70 давать из-за этого.

Все остальные торренты и прямые ссылки с https://ubuntu.com/download/desktop больше 60 мбайт/сек ни разу не дали :( Хотя комп новый, ssd, keenetic giga.

Многие публичные зеркала лимитируют скорость 1 потока скачивания, это тоже может влиять.

Ну и torrent'ы это тоже отдельная история, там много зависит и от связности провайдера (и каналов в каждый момент времени) и каналов отдающих людей и выставленных лимитов.

Я выше давал скриншот Steam со 110 мегабайт в секунду. МГТС.

Можно намутить бизнес из целой многоэтажки вебкамщиц в 4К.

Как бэк для системы хранения на 2-3 хоста виртуализации? Самое-то

На бирже торговать, там скорость соединения очень даже важна.

Биржа это пинг, а пинг не функция от гигабитов...

Согласен. Но и пинг на картинке тоже не плохой - 2 мс.

Это ж не значит, что и до биржи будет столько же, это прежде всего от расстояния зависит. Если биржа на другой стороне Земли, вы туда 2мс никак и никогда не получите, не приблизившись к ней, к примеру, арендовав VPS в том же городе.

По Европе нормально, Цюрих-Фракфурт-Лондон и другие соединены точка-точка по СВЧ каналу. Вот тут немного сказано SIX. И конечно скорость низкая, но задержка минимальна.

В HFT трейдинге, например, оперируют микросекундами, а не миллисекундами...

Биржа - это про пинг, а не про скорость.

Там скорее важно latency, чем ширина канала.

Но чем его заполнить?

HDTV какой-нибудь с низким уровнем сжатия, что бы артефактов было поменьше и с повышенной частотой кадров.

Это можно просто удалённый монитор сделать. Купить общий комп с крутой видеокартой и по очереди играть через удалённый рабочий стол

Для этого несколько сот мегабит — за глаза.
У Parsec (у которого именно что стриминг игр одно из основных назначений) максимальная настройка скорости — 50 Mbit/s. При этом работает и при меньших. Да — лучше бы аппаратное кодирование и на сервере и на клиенте.
У Oculus Air Link стриминг картинки для VR на quest 2 для PCVR) с компа — макс настройка 200 Mbit/s (это конечно НЕ значит что будет нормально работать если "законнектилось к WiFi на 200 Mbit/s", но если "законнектилось к WiFi на 600 Mbit/s" уже будет все хорошо.
При подключении Oculus Link(USB3 кабель для Quest 2, тоже что Air Link но без WiFi ) там в софте ограничение 500 чтоли мегабит, тест самого кабеля встроенными средствами Oculus у меня дает 1.9 Gbit/s и по мнению тест-софтинки это нормально.
Ну да — сжатое видео.
25 Gbit/s — HDMI несжатый совсем чтоли гнать в 4K?

Можно целый игровой клуб подключить к ферме. И сдавать ее клубам в разных часовых поясах, чтобы не простаивала.

Или качать видео со ста камер на мероприятии в единый датацентр, чтобы не возить его с собой в фургонах «телевидение»

Справедливости ради, у Parsec вроде не лучшее качество картинки. У Moonlight/Sunshine при 150 Мбит/с оно несколько получше (тоже сжатое видео, но в av1 в 4k@60 артефактов сжатия практически не видно, можно в целом думать и о 120 фпс)

Канал как у многих провайдеров в крупных странах.
В среднестатистическом городке, не миллионнике, вообще вряд ли даже столько у провайдеров есть.

В Швейцарии нет миллионников. В принципе. В Цюрихе ~405 тысяч. В городе где я живу - меньше 3 тысяч.

Давайте протестируем можноли сделать DDoS имея только один канал в 25 Гбит/с? Я готов предоставить свой сайт как подопытного кролика, мой хостер сказал что есть базовая защита от DDoS.

так это надо автору писать, а не переводчику

Так переводчик (автор) в начале статьи написал что он автор (переводчик) ?

Какой-то "Бойцовский клуб" получается...

Я в личке ответил, что надо по ToS посмотреть что по мнению провайдера не будет его нарушением (а то предполагаю что если сделать какой-нибудь типичный флуд, это провайдеру не понравится). Чисто что-нибудь скачать-залить без проблем можно, но не думаю что это стриггерит защиту.

Чисто что-нибудь скачать-залить без проблем можно, но не думаю что это стриггерит защиту.

А если будем скачивать одновременно в 1 млн. потоков один и тот же файл или обращаться к одной странице? В теории это и есть DDoS и защита должна сработать, если не сработает проверим справится ли сервер лично своими силами, без теста точно узнать не получиться что будет. В любом случаи канал такой ширины грозная штука, а вот на сколько именно грозная без теста не узнать, если есть кто-то еще кто хочет протестировать свой хостинг присоединяйтесь.

Вот и проверим можно ли завалить мой сайт имея только 1 канал но очень широкий.

Круто как экспириенс, но всерьез дома не особо нужно, как и даже 1 гигабит. Все равно сайты отдают медленнее, да и тащить финансово все хозяйство сетевое дома тоже то еще приключение. У меня два компа дома, соотв надо не только роутер, но и свитч и сеть проложить и тд. И при этом 99.99% эта скорость никак себя не проявляет.

Вот про гигабит можно поспорить:

  1. Бэкапы куда-нибудь во вне, могут относительно легко больше на upload и на download получить.

  2. Если пользователь не один - то широкий канал позволит всем домочадцам заниматься чем им угодно не испытывая затруднений.

  3. Всякие игровые сервисы могут отдавать быстрее чем на гигабите.

Так что про 1/1 Гбит - я периодически использовал и вздыхал, что неплохо бы побольше. Больше 10 - да, ради опыта в первую очередь.

Про несколько компов - у меня в роутере поэтому несколько сетевых карт (25 Гбитные свитчи стоят неразумных для домашнего использования денег, как минимум в данный момент и то что я находил). Сеть проложить тоже не так сложно, оптика довольно тонкая и современные кабели могут поворачивать достаточно хорошо, чтобы дома в стене по кабель-каналу его пустить. Да и, если думать о заделе на будущее, мне кажется, сейчас уже имеет смысл изначально думать о оптике.

Кстати, если ограничиться пределами квартиры, то сетевой диск на 25 Гбитах использовать становится заметно приятнее ;)

Ну я по себе конечно мерю, имхо как говорится. На основе опыта с этим же гигабитом дома.

Кроме осознания что у меня гигабит больше никаких причин его иметь дома не нахожу. Бэкапы не гоняю и видеофайлы и тд - я дома просто живу, а работу на работе работаю, в общем разделяю работу и отдых.

При этом и на производительный роутер и на гигабитные свитчи пришлось потратиться: домашний сервер, два компа, вайфай для мобилок и ноутов, два телека на кабеле, сетевой принтер, видеонаблюдение (регистратор и 7 камер), в общем сеть нормальная дома.

С другой стороны конечно даже подключая 200-300мбит/с все равно придется покупать гигабитное оборудование, а 100мбит/с уже вроде как-то маловато.

Вот в плане отдыха - steam и gog могут больше гигабита отдавать и это позволяет меньше ждать очередного 20 ГБ патча на игрушку.

Еще моя мысль в том, что я в принципе хотел давно 10+ Гбит до NASа (я мечтаю, что смогу бесшовно скидывать фотографии на NAS и работать с ними прям с него не особо замечая что это не локальный сторадж) и тут отличный повод перестроить всю домашнюю сеть. И опять же, в таком контексте нет причин не выбрать 25 Гбит на вход, на мой взгляд :)

В остальном - да, даже если достаточно 200-300 мбит входящего/исходящего канала, придется все равно делать все на гигабите. Правда гигабит уже относительно стандартный и дешевый, в современных матерниках 1 или 2.5 Гбит сетевые карты, чисто 100 Мбитных свитчей я тоже давно не видел.

И опять же, в таком контексте нет причин не выбрать 25 Гбит на вход, на мой взгляд :)

Если есть возможность. У меня вот нет :(. И чую не скоро будет, разве что подключится ко всем возможным провайдерам а не только двум (MultiWAN все равно настроен) но это только под торренты по сути.
С учетом того, что даже Youtube уже у меня идет через VPN, уже нет особого смысла такое городить. Как минимум пока не пропадет необходимость гнать кучу значительную часть трафика через VPN.

Еще моя мысль в том, что я в принципе хотел давно 10+ Гбит до NASа

А не смотрели в сторону infiniband для точечного соединения? Просто у меня сложилось впечатление что карточек старых поколений как дров за баней, по цене грязи.

У меня зоопарк из разных устройств на разных ОС, и про то что ConnectX 4 LX работает с макосью нормально я уверен, то вот про то как поведут себя IBшные варианты мелланоксов я не уверен, решил попросту не рисковать (насколько я помню макось только с 4-ым и новее умеет из коробки работать), а делать зоопарк когда часть на IB часть на Ethernet - мне не хочется.

Собственно мелланоксов 4-ых тоже как дров за баней и по цене не сильно выше более старых карт.

Странно поддерживать такой канал, ради того, чтобы раз в полгода поиграться, когда время на это случайно нашлось. У меня все семейство, кроме сына, вполне обходятся WiFi, которым гигабит не загрузить. А разницы при git push/pull, боюсь не замечу уже из-за производительности самого git.

Да и на фотографиях есть большие сомнения, что на глаз будет заметна какая-то разница, по сравнению с гигабиткой, так как она скроется на задержках открытия файла, чтения с носителя, SSL/TLS, рендерингом на экран и т.п.

Помесячная плата что за 1, что за 10, что за 25 Гбит - одинаковая (у провайдера только планы по предоставлению упрощенного тарифа с cgnat'ом за чуть меньшие деньги). А так - если оно раз в полгода мне сэкономит час времени - уже хорошо.

Опять же - я дома не один живу, широкий канал позволит вообще не думать о том, что и кто еще делает.

NAS на 10/25Г дает возможность ковырять 50-мегапиксельные равки прям на нем, не гоняя туда-сюда их на комп. особенно если тебе надо их полистать кнопкой delete, как было в бородатой цитате.

Вот я тоже так хочу :) Это одна из причин переделки всей домашней сети.

А сами пробовали? Я пробовал. Упирался в TLS еще на 300-400 мегабитах. Одно дело локальный NAS без шифрования. Но тогда непонятно при чем тут интернет канал. А совсем другое - удаленный, где без шифрования уже никак.

Современный процессор может быстрее, даже если алгоритм не в железе... А если взять что-то в железе - там и канальную скорость легко получить.

Нашел подробности такого же теста:

Protocol: TLS1
Cipher: Gost 28147-89
Cipher strength: 256
Hash: Gost R 34.11-94
Hash strength: 256
Key exchange: 0xaa25
Key exchange strength: 512

Header: 5, Trailer: 4, MaxMessage: 16379
Encryption speed: 281 MBit/sec
Encryption speed: 285 MBit/sec
Encryption speed: 288 MBit/sec
Encryption speed: 289 MBit/sec
Encryption speed: 287 MBit/sec 
#lscpu
Architecture: x86_64
CPU op-mode(s): 64-bit
CPU(s): 4
Thread(s) per core: 1
Core(s) per socket: 2
CPU socket(s): 2
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 26
Stepping: 5
CPU MHz: 2833.770
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 8192K

Не думаю, что современный процессор опередит это, более, чем в два-три раза. И это будет меньше гигабита.

Gost 28147-89

Мда

root@zrh-srv:~# wget -O /dev/null https://mirror.init7.net/ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso
--2023-09-21 22:07:34--  https://mirror.init7.net/ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso
Resolving mirror.init7.net (mirror.init7.net)... 2001:1620::1620, 109.202.202.202
Connecting to mirror.init7.net (mirror.init7.net)|2001:1620::1620|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5037662208 (4.7G) [application/octet-stream]
Saving to: ‘/dev/null’

/dev/null              100%[==========================>]   4.69G   481MB/s    in 9.2s

2023-09-21 22:07:43 (521 MB/s) - ‘/dev/null’ saved [5037662208/5037662208]

Вот скачивание дистриба убунты по HTTPS через 10Гбит аплинк, около 5Гбит/с вышло.

Не видно, чем шифровалось. Может это был RC4 или AES-128, что по криптостойкости для NAS не применимо.

У меня не получилось заставить mirror.init7.net использовать RC4, но можно повторить экспереимент с вот такой командой:

openssl s_client -security_debug_verbose -ign_eof -connect mirror.init7.net:443 < <(echo -ne "GET /ubuntu-releases/22.04.3/ubuntu-22.04.3-desktop-amd64.iso HTTP/1.0\r\nHost: mirror.init7.net\r\n\r\n") | pv > /dev/null

Тогда будет точно видно, какой набор шифров используется. У меня, к сожалению, достаточно быстрого канала под рукой нет.

Ну какой RC4 в 23 году, TLS1.3 там:

SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384

Ну и никаких сообщений о взломе AES-128 я не видел, так что я бы не стал так категорично его списывать.

Что-то какой-то жутко медленная реализация ГОСТа какая-то. Скажем так, при наличии SSSE3 этот алгоритм совершенно точно можно разогнать примерно раза в 4 совершенно спокойно, не напрягаясь. Да даже без дополнительных инструкций этот алгоритм можно сделать быстрее раза в 2.

И это на одном ядре. Никто не мешает шифровать на нескольких.

Про то, что можно бы и использовать аппаратный AES я вообще молчу. Там скорости несопоставимо выше (около 2 Гбайт/сек на ядро).

Не так давно бенчмаркал VeraCrypt на Core i5-13500KF - по-моему в AES там что-то ближе к 30ГБайт\с было.

У меня локальный NAS зашифрован, упираюсь в скорость ZFS и дисков (мегабайт 700 в секунду), а не шифрования. Проц там тухленький довольно, Xeon D-2123IT.

Не путайте TLS с шифрованием диска.

VeraCrypt на Core i5-13500KF - по-моему в AES там что-то ближе к 30ГБайт\с было.

Не верю. https://www.nix.ru/support/bench/goods_compare.html?cat_id=161&test_id=407#c_id=161&fn=161&g_id=7&page=all&sort=-t&spoiler=&store=msk-0_1721_1&thumbnail_view=2

Geekbench на 13500 AES-XTS рисует 22.9 GB/sec
Рандомный результат из выдачи.
UP: посмотрел еще, некисло он там скачет от 12 до 24GB. Причем даже на 7900Х меньше.

Не путайте TLS с шифрованием диска.

Так после того, как вы установите соединение, у вас в современных TLS'ах будет AES или chacha20-poly1305 + хэш (sha256 или 384). Что принципиально, кроме размера блока, ничем от шифрования диска не отличается.

openssl на aes-256-gcm легко дает под 5 ГБ в секунду на 1 ядро на небольших блоках.

Или АЕS-128, что для NAS уже не применимо.

В TLS 1.3 осталось 4 варианта AES (128-GCM, 256-GCM, 128-CCM, 128-CCM-8), так что aes-128 в этом списке есть, это правда. А что в нем неприемлимого для NAS? И, если можно, сразу со ссылками на конкретные уязвимости.

Но в любом случае, я выше сказал, что на конкретно моем Ryzen'е openssl на aes-256-gcm дает легко больше 5 Гбайт в секунду на небольших блоках на 1 ядре, поэтому не вижу никаких проблем с шифрованием с точки зрения скорости.

P.S. А на маке на М1 так вообще:

type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
aes-256-gcm     345039.83k  1392765.78k  5575878.75k 22294175.10k 174927004.41k

То есть на 256 байтных блоках я легко получу 5 с лишним Гбайт в секунду, а на 1 КБ блоках все 20. Опять же это openssl :)

Ну, не 30, но 25 вполне:

если не надо файликами, например видео, обмениваться

Если вам что-то не нужно, не значит что оно никому не нужно.

У меня в этом году образовался забавный кейс: в Москве канал 500 мегабит, на даче 300 мегабит. При этом по факту на даче мы живем с мая по сентябрь. Связал роутеры по WireGuard, теперь бэкапы с дачи идут в Москву, и это никому не заметно. Ну и файлопомойка, семейные фото/видео/документы, музыка/фильмы - всё доступно в виртуальной "локальной" сети.

Потом в эту схему воткнул квартиру дочери третьим клиентом, примерно с теми же целями.

Для дома, в котором любят играть в онлайн игры, 1 гиг/с самое то. Особенно когда играешь не часто и почти всегда при включении обнаруживаешь апдейт на пару десятков ГБ.

Ну и по работе довольно часто нужно скачать или загрузить что-то жирное (докер образ и т.п.). Ждать 20 минут или 2 минуты - это большая разница.

Пожалуй это единственное с чем сталкивался, да. Правда Стим не всегда так уж быстро отдает чтоб гиг нагрузить.

У вас, возможно, какой-то не тот сервер стоит.


Потому что Стим достаточно уверенно упирается в гиг, если только не на релизе какой-нибудь громкой игры.

image

хм, интересно, спасибо, надо будет посмотреть тогда

Стим и процессор любит покушать в процессе загрузки. Но популярные игры в момент релиза легко качаются даже быстрее.

процессор любит покушать

а он, похоже, распаковывает файлы прямо в процессе :)

Похоже на то, но если он уперся в процессор, то скорость скачивания у него тоже просаживается изрядно.

Тоже сижу под Инит7, пока на 1гбпс, но пока останавливает даже 10ку то, что хоть сколь-нибудь домашний свич имеет совершенно конский ценник.

На servethehome'е периодически бывают обзоры разного рода свитчей. Сейчас начали появляться довольно дешевые опции с 5-8 2.5 Гбит портами и 2-я 10-и Гбитными (unmanaged). Чисто 10 Гбитные тоже появляются постепенно; например, если достаточно только привычной витой пары, то какой-нибудь Hasivo S1100WP-8XGT-SE или F1100, оба стоят ~250$

Hasivo S1100WP-8XGT-SE managed свитч ещё и с пое, сам себе такой планирую в новой квартире.

Да я с самлепного через микротик пришёл на Убиквити. Но его 25гбпс пока нет. Хочется держать всё в одном, чтобы несколько точек соединять, т.п.

Какой нибудь netgear gs110mx можно и за $100 найти б/у.

Да, тоже вариант. Он правда попадает в первую категорию - дешевых с 5-8 портами, правда по гигабиту, и двумя портами 1/2.5/5/10.

Кстати, еще забыл сказать в прошлом ответе, но насколько я помню, init7 собирается постепенно отказаться от гигабитных тарифов в рамках Fiber7 и всех смигрировать либо за CGNAT + реальный IPv6 на Easy7 (у них была, кстати, хорошая презентация про Easy7 на SWINOG, они там и говорили про планы перевести всех текущих клиентов на Fiber7), либо уговорить переключиться на хотя бы 10-ку.

Не рассматривал, потому что не увидел в продаже в магазинах где смотрел (ну и на ebay тоже нет такого). В принципе на выбор не сильно повлияло бы. Он интересен, если нравится RouterOS, по теоретическим возможностям Netronome должен быть значительно лучше (все таки FPGA уже позволяет считать карточку полноценным DPU, которая еще и начинает работать с момента подачи питания, а не после загрузки встроенной ОС). За ~200$ в принципе неплохо, но когда есть либо Mellanox'ы за 60, либо Нетроном за 150 - кажется что только если хочется новую карту с гарантией взять.

Я вот очень надеюсь что у меня он нормально заработает в будущем и тогда попробую сделать (собственно это пока что план на 2-ую часть и может быть 3-ю, как пойдет). Там куча своеобразных проблем возникла, например он в X570 запускается нормально если стоит в верхнем слоте, но на других системах (у меня еще есть B550 и X670E) он на старых прошивках не видится системой, а с новой уводит ядро в панику при попытке его проинициализировать, так что у меня пока с их техподдержкой вялое общение идет (уперлось в то что мне надо собрать стенд и показать им что происходит по видеосвязи, а у меня пока на это времени не было). Если он только в одной системе будет работать, я может быть с ним поиграюсь немного и что-нибудь расскажу, но вряд-ли будет много интересного. Так то конечно карточка с ARM ядром, FPGA и кажется 3 ГБ оперативки, то есть должна уметь прям много чего :)

Я для Init7 брал домой `MikroTik CRS309-1G-8S+INL`, всего 250 баксов. Ну, плюс SFPшки если надо, но они нынче стоят копейки у OptCore.

О, а я OptCore как-то пропустил. У fs модули почти в два раза дороже выходят, правда и доставка в течении недели.

OptCore мне тоже очень быстро приходил, они обещают 6-11 Business Days за 7$ доставку вроде.

Intel XXV710

Шлак же полный, особенно если с MLX-ами за шоколадку сравнивать.
Может под виндой, конечно работает, но в linux-ядре драйвера так и не дописали (либо сама карта такая).

Тоже собирал скоростную сеть для дома, только 40/56Gbs на Mellanox ConnectX-3 CX354A и простеньком свитче Mellanox IS5022 (легко апгрейдятся вентиляторами Noctua в бесшумные). Свитч, пять двухпортовых QSFP+ карт и вязанка DAC- кабелей обошлась где-то в 500 евро. На старте тоже посматривал на микротик, там один только свитч больше стоил.

Тоже хорошая комбинация, да. 25 гбитные свитчи пока что довольно дорогие. Из очень условно дешевых я видел только QSW-M5216-T (~1500$) и Mikrotik CRS518 (чуть-чуть дешевле, где-то 1300$).

И CX354A на ebay'е стоит вообще неприлично дешево (35-50$ за штуку), правда ConnectX 4 стоит уже раза в три дороже, чем 25-и Гбитный...

Сижу в Грузии на 100 Мб/сек. Плачу, читая статью

В РБ, в Минске массово протащили оптоволокно от БелТелеЕлеКома. Тарифов выше 200Мбит нет в принципе. Выданный под этот тариф роутер еле выдаёт 100Мбит одному ноуту стоящему рядом с роутером по 2.4ГГц (роутеров с 5ГГц в наличии нет). Заменить калечную поделку от Huawei нельзя - БТК всё завендорлочил. Возможности этого недороутера - нищенские даже в сравнении с бюджетными TP-Link. Максимум можно переключить их глючный роутер в бридж и использовать сугубо как конвертор среды, а инет по дому раздавать нормальным роутером - иначе даже 200Мбит не видать. Только хуавей от БТК всё равно умудряется раз в несколько месяцев повиснуть даже будь запитан от ИБП.

Дай угадаю, GPON? Провайдерскую коробку в режим моста, линк поднимать на своём роутере за ним. 100 Мбит/с по 2.4 - не так уж и плохо, но хочешь больше - будь добр, все же использовать другие частоты. Кроме режима моста - можно ещё выключить wifi на isp-шной коробке и подключить свою точку доступа (в случае роутера - имхо, все же имеет смысл режим моста на коробке от провайдера). Ну и возможны «игры» с sfp, там, как уже замечено, вендорлок и обычно оно того не стоит чтобы даже пытаться. Не знаю как сейчас обстоят дела с gpon и sfp, раньше все было плохо

Вообще, слышал такое мнение: «Первое правило беспроводных сетей гласит: все что можно подключить проводом, должно быть подключено проводом», правда в случае умных телевизоров может оказаться 100 мегабитный порт и шустрый wifi.

Вообще, слышал такое мнение: «Первое правило беспроводных сетей гласит: все что можно подключить проводом, должно быть подключено проводом», правда в случае умных телевизоров может оказаться 100 мегабитный порт и шустрый wifi.
Истина. У меня в стандартной многоэтажке сетей wifi так много, что проще пользоваться мобильным интернетом. Он хотя бы стабильно работает. Все остальное по проводу.

GPON, про мост написал, WiFi само собой отключен - это барахло всё равно виснет. Что-то другим уже давно не самым свежим роутерам, даже туполинку, продавить даже на 2.4ГГц куда больше не составляет проблем. В него воткнут нормальный Keenetic, но нужно ещё колхозить какой-то ватчдог который провайдерскую вендорлокнутую коробку сможет регулярно ребутать. Иначе можно уехать на несколько дней и вернувшись узнать что камера на входе, датчик открытия дверей, датчики протечки - всё это не сработало потому что рухлядь которую нельзя выкинуть стабильно висит. Не везде есть возможность выбрать другого провайдера, но зато у других провайдеров по витой паре (не по оптоволокну!) и скорости выше, и вендорлока нет. Ну а в глубинке где-нибудь до сих пор ADSL за конские цены, на котором скорости аля 8Мбит если с линией порядок.

Попробовать заменить провайдерскую ONU можно модулями, которые упоминаются вот тут https://github.com/Anime4000/RTL960x.
Эти модули позволяют прописать все нужные идентификаторы в себя, чтобы от провайдерского терминала было никак не отличить.
Но понадобится либо роутер с sfp, либо "медиаконвертер" с sfp.

НЛО прилетело и опубликовало эту надпись здесь

Сейчас есть китайские gpon spf, по факту являющиеся микро роутерами-бриджами. Если из провайдерской железки можете вытянуть информацию о коннекте к базе, то его можно заменить на такую штуку. Но все случаи с ними надо индивидуально разбирать. +-массово есть информация только по МГТС и Ростелекому.

sfp под gpon - они все роутеры, я не слышал о других, но их тоже можно переводить в бридж. Только они греются, стоят денег, нормальный роутер с sfp тоже не дешев, и есть проблемы с настройкой с учетом тотального вендорлока в gpon сетях, на момент когда я интересовался - успех был более чем не гарантирован (возможно ситуация изменилась к лучшему). Лицензии на совместимость с произвольным оборудованием провайдеры обычно не покупают. В итоге большинство тех кто хочет попробовать, либо не добиваются результата, либо приходят к выводу что оно того не стоит. Но есть и тех - кто всё же продрался через этот квест

Только хуавей от БТК всё равно умудряется раз в несколько месяцев повиснуть даже будь запитан от ИБП.

какой прекрасный результат!
Был какой то болезный GPON роутер от МГТС, зависал гораздо чаще и в конце жизни - раз в сутки, но почему-то больше ночью. Приделал к нему пинговалку с сервера и дёргал 220V в случае падения....Потом оказалось, что это массово и их меняют без вопросов.

Некоторые провайдеры тоже тащат GPON - A1 например, но там больше 100Мб/с вроде нет тарифов. Космос-ТВ по Ethernet есть тарифы 300Мб/с, сносные роутеры с 5ГГц даёт в аренду бесплатно, но можно любой свой конечно вместо него поставить

Готов сидеть в маленьком Швейцарском городке с интернетом 25мб/сек :)

я готов на 10. за мной будете

Италия не подходит? ? (Рим)
фибра
фибра
5G
5G

Издеваетесь? Грешно смеяться над рабами...

Измерьте процент использования вашего интернет канала в месяц и поймёте, что вы и 100 мегабит используете максимум на 2%. Куда вам Гигабиты передавать. Мы ещё не имеем такого большого контента. И более того, даже в перспективе не видно когда мы будем его иметь. Похоже что 100мбит хватит всем и навсегда.

Смотря как считать. Если предполагать, что использование иначе как в полочку не использование, то да, конечно, все так. А вот если вспомнить, что каждый раз из тех процентов что получатся - это минус время на ожидание, то картина будет совсем другой. Я выше уже другим людям говорил - у меня бывали моменты на гигабите, когда "эх, скорости бы, надо себя на полчаса занять чем то другим"

Так и 10 мегабит используется на 20%. Вопрос в том что надо передать файл на 4-8 гигабайт за 30 или 5 минут. Вот в єти пиковые нагрузки гигабит и нужен.
Сам недавно сьехал с 80 до 1000 мегабит именно потому что вечером надо что-то вытянуть, а не хочется ждать.

Точно скажу, что свои 500 мбит/сек. мои железяки точно используют процентов на 40-50 в любое время суток.

Многочисленные локальные seedbox'ы, бекап данных каждый час между устройствами в разных частях света, активное взаимодействие с S3, три едва дышащих ноутбука в качестве VPS-серверов для сайтов со средней нагрузкой 100-2000 запросов в секунду.

Ну, и личный комп с 6 одновременно работающими игровыми лаунчерами (Xbox, steam, ea, ubisoft, blizzard, epic), Виндой как основной системой и Microsoft Store - и каждый из них в какой-то момент времени обязательно качает обнову от 20 МБ до 20 ГБ размером...

Мы ещё не имеем такого большого контента.
У меня под раздачами народ воет, что им 20-и гиговые видео слишком большие…

измерьте сколько времени вы проводите в самолётах, даже 2% в месяц не набрётся, куда вам со скоростью 900 км/ч летать, мы ещё не имеем такой большой планеты.

С одной стороны: классно, интересно.
С другой стороны: нафига?

Потому что классно и интересно :)

Можно спросить, какой скорости можно добиться внутри дома по SMB или подобным протоколам на таком железе? Просто чтобы скачать 90% интернета, а затем пользоваться кешем из дома.

Для этого мне сначала надо закончить переделку NASа (но есть в планах). А то в данный момент у меня в качестве NASа служит старенький HP Microserver Gen8 с 4-я HDD :)

То есть это все есть в планах на относительно ближайшее будущее (до конца года насобирать материала и сделать еще статью)

Я склоняюсь следующий NAS собирать таки на NVMe, цены уже позволяют вроде как. Сейчас добро храню на 8x6TB ZFS RAID10 - и скорость случайного доступа для тех же торрентов оставляет желать лучшего...

Что-то вот такое выглядит вкусно, разве что процессор не радует и макс 16Гб памяти: https://www.asustor.com/en/product?p_id=80

Вот я пока еще думаю и считаю и сомневаюсь много Samsung 870 EVO набрать или пойти в сторону NVMe. Но из-за 25 Гбитной сети придется не готовое решение брать, а собирать самому...

Ну, если собирать самому то в общем пофиг на размер. Но SATA - это на практике 550МБайт\с, чтобы 25Гбит "оправдать" их нужно минимум штук 6-7 запихать. С NVME можно попробовать обойтись 3-4 (raid5 или 10).

Вопрос еще в размере. С SATA - 8 штук в RAIDZ2 должны справиться с 25 Гбитами на практике и это получится ~24 ТБ полезной емкости. С NVMe - да, справится 3-4, что в raid5, что в raid10, но полезная емкость получится 12 ТБ для 4-х дисков и raid5. Хочется немного большего, а это значит что опять стоит говорить о 8-12 дисках по 4ТБ и том же самом raidz2.

Всё так, но нужно учесть, что у RAID-Z на запись в среднем производительность самого слабого диска в массиве. На чтение получше, но тоже совсем не "сумма компонентов". Поэтому я буквально на днях уехал на RAID10 с RAID-Z2 - стало гораздо веселее.

С SSD, наверное, будет получше, но на 25Гбит я бы не надеялся...

Я переехал на 4 vdev raidz2 по 6 дисков из-за этого же.

Ну тут в вопросе цены nmve ssd и sata ssd, вторые проще подключить, мало где в бытовых платформах есть 128 линий и бифуркация, да и что бы утилизировать эти iops нужен мощный процессор.

Ну, смотря что считать бытовыми платформами. Всегда можно купить серверную мать (какую-нить Supermicro) и напихать туда этих бифуркационных карт на 2 или 4 NVMe (в зависимости от х8 или х16 слота).

Дорого? Да, довольно. Но если хочется 25Гбит сеть - придётся платить :)

Ну 128 линий прям не обязательно, если мы будем говорить про 8 дисков, то 40 линий должно хватить с запасом. А это уже HEDT или младшие серверные платформы - Epyc'и там, Threadripper'ы и прочие Xeon D (у новых 2700-х, кажется, 56 линий)

Забавно, конечно, но возникает вопрос "что с этим делать". У меня сын уже сейчас, на 750МБитах, при скачивании чего-либо упирается в производительность HDD (в связи с чем очень хочет большой SSD-шник), а чем в плане накопителей поддержать 25 ГБит?

25 Гбит это 3125 МБайта в секунду - скорость не самого лучшего PCIe 4.0 NVMe SSD. Если NAS собирать, то либо возится со сборкой SSD-only NAS'а (навскидку, 8 SATA дисков дадут достаточную скорость), либо возится с кэшированием (и там уже свои проблемы будут, даже если хороший NVMe поставить перед). В общем я про это в какой-то момент попробую написать, вопрос лишь когда у меня руки дойдут доделать и повозится.

NVMe NAS? 4TB накопители доступны массово и недорого, 8TB пока процентов на 50 дороже в пересчёте на ТБ. В страйп их можно поставить несколько, вроде программные решения уже научились TRIM делать. Итого, NAS на 32TB из можно сказать бытовых комплектующих. Если же и этого мало, дисковые полки в помощь...

Да, тоже можно попробовать. Цены на NVMe сейчас близки к SATAшным стали.

Для NASа я бы на Stripe не смотрел, скорее нужен ZFS и RAID-Z2 какой-нибудь, так как обычно на нем не только фильмы-музыка-игры :)

Из проблем - все то же малое количество линий PCIe в десктопных системах и высокая цена и энергопотребление серверных для дома. В принципе можно смириться что каждому диску достанется x2 и тогда будет менее грустно.

Встречал забавную платку, x16 с четырьмя м.2 слотами. Пишут, нужна поддержка или патч биоса MB, но сама идея интересная.

Согласен насчёт файловых систем, сейчас много появилось интересного, банальный страйп смысла нет использовать с более чем двумя накопителями.

x2 от PCIe 4 не так уж и мало, а от 5 и вовсе более чем достаточно.

У меня такая с двумя NVMe в NAS работает. Да, в биосе нужна поддержка PCI-E Bifurcation, но оно очень много где есть сейчас. А если прям совсем её нет - можно купить такую же платку, но с PCI-E свичом, выйдет правда сильно дороже.

Бывает что не на всех слотах поддержка bifurcation'а есть или что нормально работать будет только x8+x8...

Да, x2 от 5 более чем для моих целей бы хватило, вот только диски с PCIe Gen 5 и материнки с ним же - стоят не очень привлекательно, так что тут мне придется долго думать и сравнивать

>>скорость не самого лучшего PCIe 4.0 NVMe SSD

Это скорость записи в его SLC кэш. После его быстрого заполнения скорость свалится в 3-5 раз.

Так строго говоря, то что обычно качаешь влезает в SLC кэш и его заполнение будет незаметно. Да, если качать на все несколько ТБайт сразу - будет грустно.

Я вижу только один кейс такой - лить на NAS посекторный бакап рабочей станции. И то, при 4 и более накопителях, кеш возможно не будет успевать забиваться.

Будет сильно зависеть от реализации рейда и trim. Ну и того насколько хорошо сам контроллер чистит кэш.

"либо специальной оптикой (у которой на конце будет либо SFP28 или просто несколько хвостов)"

Сетевые карты не поддерживают гидры

Вы ведь проверили сколько PCIe линий досталось каждому из сетевых адаптеров?

Сетевые карты не поддерживают гидры

Хорошее замечание, спасибо.

Некоторые умеют, но надо искать отзывы.

У нас в Испании компания Digi стала продавать 1Гб за 20 евро в месяц. Подключил. Немножко успел порадоваться циферкам в спидтесте при прямом подключении к провайдерскому рутеру, но когда собрал весь свой непростой сетевой винегрет, то быстро приуныл, т.к. на входе-то у меня гиг, но дальше сразу стоит Ubiquiti USG с реальным лимитом в 300 Мбит, еще есть NAS с обычными жесткими дисками, который и рад бы отдать свой бэкап наружу быстренько, но диски такую скорость тянут, ну и еще куча мелкой сетевой ерунды типа старой витухи или свитча за телевизором, которые надо апгрейдить для получения полного счастья. В общем, хватило бы и 500 Гбит за 15 евро, честно говоря. (но так-то у них за 25 евро есть и 10 Гбит, если вдруг кому надо ))

Идеально - RB5009. Но и RB750gr3 легко с гигабитом реальным дружит, главное за 100к pps не выходить.

У меня давным-давно был Turris Omnia (на тот момент был одним из рекомендованных роутеров у провайдера, еще до того как они даже 10 Гбит стали предлагать), в принципе он по проводу гигабит более-менее тянул, но вот с WiFi'ем у него печаль-беда была. Из юбиков у меня прошлым роутером был DreamMachine SE и в принципе она даже работала, не считая приключений с тем что она упорно пыталась Auto Negotiate'ом на бедном SFP выставить 10 Гбит и не давала это поменять пока не появится сеть :) (вылечилось апдейтом прошивки где в первоначальной настройке добавили форсирование autoneg'а в 1 Гбит. Хотя какого черта она вообще показывала 10-ку доступной на SFP - мне непонятно). Хотя по цене-качеству я немного сомневаюсь что это был хороший выбор.

USG - это уже всё-таки откровенное легаси. Может стоить обновиться хотя бы до UDM Pro которая нормально сможет обслужить входящий гиг?

Я один прочитал пост и преисполнился мотивацией уехать в Швейцарию?

Я там был. Там скушно.

Для многих это преимущество :)

Вопрос автору - а что по шуму и по энергопотреблению в пике и в idle? В домашних сетапах это весьма важные параметры. Не очень хочется сидеть в шумном помещении также как и платить слишком много экстра за электричество, чтобы питать всё это хозяйство.

Я так отказался от сервера с двумя зионами, оказалось что по расходу на э/э он золотым выходит

Я так отказался от сервера с двумя зионами, оказалось что по расходу на э/э он золотым выходит

Та же фигня, только я собирал себе десктоп :) Мать Supermicro E-ATX для Xeon E5 старая была с 256Гб памяти, Xeon-ы топовые по 12 ядер на Али под неё 30 баксов стоят. Зверь машина.

Но потом вылезают косяки:

  • Спать в S3 она не умеет, а грузится вечность

  • Звука нет, нужно юзать внешнюю USB-карту (потому что была)

  • Иногда ведёт себя нестабильно, загружалась через раз. Тут уже не копал глубоко

  • Энергии, да, жрёт ведро (а у нас тут киловатт*час стоит на рубли где-то 30р нынче днём)

  • Нет NVME

Шум, как ни странно, особой проблемой не был т.к. было много низкооборотистых кулеров. В итоге разобрал и сделал обычный десктоп на 13gen Intel, сразу стало сильно легче (прости, АМД)

По шуму - вентиляторы на 700-800 оборотов все выставлены и поэтому их не слышно.

Энергопотребление без оптимизаций я намерял порядка 60 Вт при использовании двух интерфейсов. Как дособеру все в приличное состояние - померяю подробнее и с учетом типичной загрузки. У меня под это дело как раз умная розетка валяется, которая умеет энергопотребление в машиночитаемом виде отдавать, надо только экспортер написать под формат :) (или хорошо поискать, может кто-то уже сделал)

Интересно, в крупных городах есть провайдеры с 10 ГБит/сек. Если подключиться одновременно к 2 различным провайдерам и настроить сервер соответствующим образом, то получим приличный канал с потенциально большей надёжностью. Даже захотелось попробовать.

Два инета по 100 мегабит не равно инету в 200 мегабит в 95% случаев. Ни на вход ни на выход. Дело не в настройке сервера.

Близко к правде. Про «95%» - согласен, пусть цифра и с потолка, польза только для связи использующей множество независимых соединений, которые можно раскидать по интерфейсам (например битторент) и всякие мульти-линк впн через суммирующий сервер. Про «дело не в настройке» - тут можно вспомнить довольно экзотического зверя, как MPTCP (не для телефонов, ios точно умеет, но нужно чтобы умел и сервер), он позволяет установить несколько «соединений» в рамках одного потока, и эти соединения могут быть через различные сетевые интерфейсы

А не всё ли равно, какая там ОС на клинтском устройстве? На домашнем роутере поднимается MPTCP-клиент и соединяется двумя каналами с MPTCP-сервером.

а где ты mptcp сервер с 25-гиговым линком найдешь?

Это другая схема, я писал про мульти-линк впн, при чем там не обязательно MPTCP.

Когда клиент умеет в MPTCP и какой-нибудь nginx способен это обработать - то суммирующий сервер не нужен

Я для тех же целей (Init7, но 10Гбит), собрал себе роутер из старой mini-ITX материнки с самым первым Ryzen, Intel X540-DA2 и корпуса напечатанного на 3д-принтере. Потому что было (с)

Фото

Работает отлично, кушает около 30Вт, с PicoPSU работает от обычного БП на 12 вольт.

10Гбит железяки сейчас как раз достигли примерного паритета с гигабитом по цене, а 25Гбит всё ещё сильно дороже, да и смысла, как уже обсуждали, особого нет (как и в 10Гбит, в общем).

Можно купить ещё более компактные решения, вроде такого:

https://www.amazon.com/MOGINSOK-Firewall-Appliance-4xIntel-1xConsole/dp/B0C7KZT3RZ?th=1

Конечно, предмет статьи - это как, я извиняюсь, пенис длиной в половину метра. Очень круто, но не очень нужно. А по факту благодаря таким людям я могу смотреть мультики онлайн в 4К, а не на диапроекторе. Спасибо вам за очередной пинок прогрессу под зад!

А какие были мультики на фильмоскопе!
Мои дети просто офигели после просмотре на стене с моей озвучкой! И это еще без простыни! ))

Так что так себе дифирамбы прогрессу вышли )

Так я за себя... А дети на то и дети, чтобы всему удивляться. Их время ещё не пришло )

Очень крутое железо как для роутера. Я так понял что не все сетевухи ведут себя прилично, но если выбрать правильные... Вопрос автору, можно ли запустить роутер хотя бы 3х27 на чем то вроде Pentium Dual Core 2x3GHz. Пусть даже без файрвола

Pentium Dual Core это LGA 775, насколько я помню, так? Если оно то Intel P45/X48 умел в PCIe 2.0 и мне кажется все банально упрется в шину (в том числе потому что у PCIe 2.0 x16 пропускная способность 64 Гбита в секунду, что маловато немного). Либо надо будет искать модные SmartNIC/DPU где можно будет написать свой NAT на условном P4 так, чтобы оно вообще не гоняло данные по шине (теоретически вроде бы так можно, на практике я не проверял).

С точки зрения именно вычислительных мощностей, я бы сказал что даже у Mellanox'а достаточно хорошо оффлоады работают, чтобы процессора вероятно хватило, пока речь не пойдет о куче мелких пакетиков и серьезном фаерволе, естественно.

В принципе, у меня была мысль попытаться воткнуть Мелланокс в Loongson какой-нибудь и посмотреть ради смеха, как он работать будет клиентом в этом всем. А потом повторить с Jetson AGX :) Они оба на ядро должны где-то быть похожи на пень времен Core 2.

Немного позанудствую. Видно, что автор немного отвык от живого русского, иначе зацепился бы глазом вот за это, так не пишут:

Подвох в том, что она разработана для классических предприятий, поэтому часть настроек доступна только через BIOS самой карты

В исходном тексте (кстати, не увидел на него ссылку в статье) наверняка что-то близкое к "classic enterprise usage". По моему мнению для нас, гиков, можно было бы написать просто "энтерпрайз", а для нетехнической публики "для профессионального использования".

Автору выражаю моё уважение, сам люблю что-то такое собрать из говна и палок подходящих деталей

Спасибо, поправил. Да, я долго думал стоит ли написать "для энтерпрайза" или попытаться перевести как-нибудь :) Выбор пал на перевод и получилось действительно что-то странное :)

Спасибо за статью. Весьма полезная. Буду показывать сисадминам мелких предприятий, как можно делать быстрые локальные сети, как связать пару тройку серверов быстрой связью.

Плюсик поставил, интересный опыт.

Но как следствие моего опыта скажу - что не так важна скорость последней мили, как скорость всей инфраструктуры, с которой вы планируете связываться. Как пример - стриминг видео, обычно хватает 20-70 мегабит, но вечером умирают каналы провайдера, выручает жизнь в миллионнике, многие сервисы имеют серверы в Новосибирске, но когда дело доходит до торрентов (в основном имею в виду просмотр фильмов онлайн), то всё упирается в скорость у сидов, а они по понятным причинам чаще всего в европейской части страны и в лучшем случае вы нормально посмотрите фильм в 720р с битрейтом в 5-9 мегабит. О просмотре 4К контента речи не идёт (4К Ютуб идёт без проблем, но мне оно и не надо).

В голове могу придумать только какой-то кейс с установкой дома сервера, к которому будут подключаться другие, но как правило провайдер такое запрещает, так как их мощности рассчитаны на непостоянную пиковую нагрузку у отдельного клиента. Реагируют они конечно не сразу, поэтому установка игры со Steam вполне себе идёт с моей скоростью в 500 мегабит без проблем.

Вторая проблема - 25 гигабит - это 3 гигабайта в секунду и доступны они только на NVME SSD, который такую скорость на постоянной основе держать не будет, да и кому нужно столько писать на такой скорости? Отсюда с большей вероятности речь о кейсах, где контент идёт в оперативку минуя диск (поток), а это всё ограничивает нас только видеосервисами, где всё упирается опять в скорость сервисов - какой контент требует 25 гигабит? Видео в 1024К?

Это все тоже так, но этим отличаются хорошие провайдеры от средних - тем какой у них оверселлинг (и сколько технарей висит на конкретном POPе). Опять же, кроме торрентов есть более древние и дружелюбные к дискам штуки (еще и более легальные в некоторых странах).

Кроме однопоточной нагрузки есть еще кейс, когда несколько человек в доме что-то делают, да и высокая пиковая скорость экономит время, и даже средний SSD без особых деградаций скорости позволит скачать 30-50-100 Гбайт условной игрушки, или быстренько будет лить бэкапы с нескольких систем одновременно. Но да, 25 Гбит - это скорее ради опыта и развлечения у меня, чем необходимость.

А что за операционная система установлена на роутере?

И еще увидел на фото что в материнской плате встроена Wi-fi, будет ли этот роутер использоваться в качестве точки доступа?

Вот это абсолютно не планирую, так как я в свое время намучался с качеством работы такого WiFi :) У меня для него Unifi'евские точки доступа по квартире расставлены (вот их, может, все до 6e обновлю, а то у меня микс).

Debian Trixie (testing).

Спасибо :) Я думаю в следующих частях использовать хотя бы по одному коту в статье :) У меня так их пять и они очень разные :)

Спасибо, полезная тема на случай NAS'а.

Очень интересные ощущения, когда читаешь статью проживая в 150 летнем доме с подключенным VDSL где на вход 50-80 Mbps, а на выход 15 - 20 Mbps и других вариантов нет, т.к. все провайдеры по сути используют одну и ту же полугосударственную инфраструктуру и по-сути являются посредником.

У меня вот давняя травма, когда я давным-давно переезжал и в доме долгое время был ADSL, так что я понимаю эти ощущения... И у меня, возможно, с тех пор и появилось желание сделать хорошую быструю сеть дома и иметь нормальный интернет (доходит до того, что я с тех пор наличие оптики включаю в требования к жилью)

т.к. все провайдеры по сути используют одну и ту же полугосударственную инфраструктуру и по-сути являются посредником.

В какой-то мере тут так же - оптику (в городе по два волокна на квартиру\дом, как у автора в деревне не знаю) кладёт либо Swisscom, либо местная электрокомпания EWZ и уже сдаёт в аренду провайдерам.

в городе по два волокна на квартиру\дом, как у автора в деревне не знаю

Так мы ж в одной стране живем :) У меня та же OTO Box и два волокна в квартиру :) Кажется клал его Swisscom в моем случае (EWZ - Цюрихский, я далековато живу).

И я вроде бы в Швейцарии других вариантов кроме как по два волокна в квартиру не встречал даже...

Просто в пределах Цюриха кладёт EWZ, а вне - обычно Swisscom. Поэтому я не был уверен что они так же два волокна ведут. Мало-ли, экономят :)

А вообще два - очень удобно при переключении провайдеров или если розетка сбоит (у меня было как-то). Хорошее решение, хоть и выходит, наверное, несколько дороже при постройке.

Есть SFP+ RJ45 модули, но их совместимость... своеобразная.

О да. Потому что некоторые из них умеют в SGMII (и через него в автонег), тогда как другие прибиты гвоздями к какой-то скорости (ведут себя как оптический приёмопередатчик). И самое замечательное, что разработчики стандарта SFP+ не озаботились возможностью для хоста хоть как-то узнать, а есть ли там SGMII, или нет.

Насчёт микротиков: они являются софтовыми роутерами, и измерять широкие каналы их встроенным bandwidth тестом некорректно, поскольку тест занимает значительный ресурс процессора. Корректно использовать iperf на подключенном к маршрутизатору хосте.

Но да, новые роутеры микротика все работают на сыроватой недопиленной прошивке, это правда.

А подскажите P/N для PiKVM v4. он в формате pci-e?

Да у него нет особого P/N какого то. У меня он ещё с кикстартера. Сейчас он обычно там же где малина продаётся. Но на мой вкус он таких денег не стоит, за них проще взять asrock paul или blikvm.

И нет, pikvm v4 не PCIe, у него есть брекет который упаковывает кнопки в витую пару (там естественно она используется чисто как электрический кабель, так как кнопки и диоды подключены напрямую к парам, штука пассивная целиком).

Спасибо! Надо будет поизучать - интересная пепяка

Да, чтоб понятнее было - AsRock Paul - единственная из них где обычный aspeed и работает она как типичные BMCшки - то есть в системе видится видеокартой и юсб контроллером и пытается контролировать систему.

PiKVM и BliKVM - оба требуют подключать кнопки питания к ним, а также кидать HDMI и USB от них. Отличие в том что PiKVM получает питание от внешнего адаптера, а BliKVM от PCIe (в редакции PCIe конечно), по софту, если я не ошибаюсь, BliKVM использует часть наработок PiKVM'а как минимум, но я не вникал насколько оно открытое на самом деле (для PiKVM есть схематика и все остальное в доступе).

AsRock Paul - единственная из них где обычный aspeed и работает она как типичные BMCшки - то есть в системе видится видеокартой и юсб контроллером и пытается контролировать систему.

А разве через PCI-e можно управлять питанием хоста? Почитал брошюру к нему, так ничего не понял. Reset по идее можно послать, но так чтобы весь хост потушить...

Судя по мануалу, там как и у девайсов выше - GPIO и 5v в материнку вместо кнопки питания :)

Скорость хорошая, а вот пинг и джиттер не особо.

А будет вторая часть?

Будет, но мне сначала материала надо на нее набрать (это естественным образом в процессе, но пока маловато будет - надо в том числе и на часть пожеланий из комментариев тут и на reddit'е ответить), а потом оформить в статью. Честно говоря раньше февраля я вряд-ли это все доделаю.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории