Как стать автором
Обновить

Комментарии 142

А уж грузовик с дисками вне конкуренции

Но ведь наоборот. Голубь и есть конкуренция. Процесс загрузить разгрузить фуру плохо масштабируемый. а кол-во голубей можно масшабировать на разгрузке людьми

Процесс загрузить разгрузить фуру плохо масштабируемый

Два грузовика? Поезд с флешками?

Так-то база по сложности алгоритмов. Классический кейс.

Поезд с флешками?

бекап всея интернета?

ну покажите же скорее скиллуху! просчитайте сложности алгоритма для голубей поезда и фур! это же база и классический кейс!

по конкретному видео. Копировал он на флешки 2,5 часа. Сразу на 4 в параллель (почему не на 20?). Т.е. если по одной, то уже 10 часов. Так же нужно копировать и на стороне ЦОД, от 2,5 часов до 10. Голубь обучен лететь "домой". Направление только одно. Или должен быть полный голубятник с идентификаций по адресу назначения.

Кто оплатит голубя, его содержание до момента Х и работу специалиста в ЦОДе? Флешки стоили по 129.99 (520) + доставка 32. Ну такая себе экономика.

С увеличением расстояния даже его оптимистичный график пересечется.

Как бы интернет тоже не простая штука)

Голубь ещё может рекламный баннер тащить, тогда экономика сходится

Да у него там вся флэшка баянами (классикой), похоже, забита была

Два грузовика? Поезд с флешками?

Вагон - накопитель.

Внутри метровые магнитные диски и считывающие головки размером с кулак. Питается всё огромными силовыми кабелями. Можно загрузить сразу весь ютуб и отправить на скорости 300 км/ч.

Что-то подсказывает, что карточки microSD по 1Тб будут более емкими при тех же объемах. Так что лучше использовать их.

У них будет плохо с отказоустойчивостью :-)

Но фуру можно и не разгружать. Имхо можно сделать в фуре огромный массив. И достаточно будет просто протянуть кабель, и просто включить.
Но на мой взгляд кое что возможно не учитывается. Флешку принесенную голубем тем не менее придется подключить к ПК, и переместить данные по интерфейсу имеющую определенную скорость, и на это уйдет время. В связи с этим это время, на загрузку данных в голубиную флешку, и их перемещение на ПК тоже нужно включить в транспортировку.

Как же это круто, что даже такие необычные задачи решаются в этом интерпрайзе

Это просто целесообразность. Вот надо мне с двумя петабайтами перебраться между ЦОДами и что делать? Флешка на колёсиках оказывается значительно быстрее)

НЛО прилетело и опубликовало эту надпись здесь

Hard drives drive

Флешку принесенную голубем тем не менее придется подключить к ПК, и переместить данные по интерфейсу имеющую определенную скорость, и на это уйдет время

Это уже внутренняя обработка данных. Флэшки вы получили? Значит, данные уже у вас, т.е. успешно переданы.

Это если в договоре DAP, например. А если DPU, то и разгрузить обязан.

Балкер, судно для перевозки руды. Загружаем его картами памяти MicroSD и вот вам самый широкий канал для передачи данных.

Вот неплохой кандидат, который может перевозить почти 400 тыс. тонн полезной нагрузки.

НЛО прилетело и опубликовало эту надпись здесь

Настолько жирные, что иногда еще и в буквальном смысле в каналах передачи данных застревают!

Нужен ещё алгорим сортировки флешек при получении

С учётом времени, нужного для засовывания карт памяти в ридеры, всё не так уж хорошо выглядит.

рискну предположить, что у реактивного бомбардировщика, свехзвукового, "пропускнаая скорость" будет больше. 50 тонн на скорости 3Маха...

А еще есть баллистические межконтенинтальные изделия...

Изделия, конечно, быстрые -- но не очень грузоподъёмные, они обычно по доставке тепла и света за счёт дефекта массы ;-D

Ракеты РС-20 в различных модификациях при стартовой массе до 211 т могут нести от одной до 10 (по некоторым данным - до 16) боевых частей суммарной массой (с головным обтекателем и блоком разведения) до 8,8 тысячи кг на дальность более 10 тысяч км

9 тонн флешек на 20 тыс. км за 30 минут.

Правда с приземлением груза проблемы... Да и некоторые военные системы могут неадекватно реагировать.

Разрезать 9 тонн флешек, серьезно?)))

Очевидный минус — работает только если в системе установлен Docker.

Извиняюсь за занудство, но Docker - это все-таки для контейнеров. Но я все равно вас плюсанул.

Почему плохо? Ведь ничего не мешает делать грузов с условными поддонами, которые будут вытаскиваться манипуляторами в 5 направлениях одновременно, после чего поддоны будут вставляться в слоты, которые уже имеют контроллеры для флешек. Может я что-то не так понял в масштабируемости?

У голубя доставка негарантирована. Они не всегда долетают.

Голуби - это udp. А отправить грузовиком, который будет отмечаться по маршруту следования и роутиться по перекрёсткам дорог - это tcp ))

Грузовик — тоже UDP
Он может в аварию попасть. Просто у него нетворк лучше.

TCP пакет тоже может потеряться. Но автоматически (на уровне ОС, приложению не нужно заморачмваться) будет отправлен повторно (и приложение это заметит только по задержке)

Можно заменить глупого голубя на умного человека :)

2021 год. Мегакорпорации захватили власть, упразднив демократию. Создана
всемирная информационная сеть. Человечество охвачено повальной болезнью
— синдромом нервного истощения (NAS, «чёрная трясучка», 'Black
Shakes'). Важная и секретная информация передаётся с помощью специальных
курьеров — мнемоников, которые могут записывать информацию в свою
память благодаря имплантированным в мозг устройствам.

Та судя по фильму у мнемоников все еще хуже.

Либо нам просто не показали, что в этой вселенной происходило (бы) с голубями.

Я подозреваю что они как раз таки и сидят у руля мегакорпораций :)

Можно и каким-нить дроном отправить.

У голубей есть некоторые экстерналии в виде неравномерной покраски поверхностей под загруженным участком неба в белый цвет.

А так да, голубей может быть много и они даже как-то разминутся без строительства дополнительных линий. Т.е. масштабирование норм.

Так я и пишу, что баяны подвезли на голубе

https://aws.amazon.com/ru/snowmobile/
И сейчас есть, только не грузовик, а, насколько я понял, специальный морской контейнер

Ну вообще все оборудование мобильного хранилища данных действительно внутри корпуса (дополнительно защищенного изнутри) стандартного морского контейнера смонтировано, но возит этот контейнер все-таки самый обычный грузовик по обычным автомобильным дорогам.


Не знаю использовали ли его вообще хоть когда-нибудь для перевозок водным транспортом. В принципе это вполне возможно, но не слышал о таком. Думаю в случае необходимости перевозки между континентами контейнер скорее погрузят на грузовой самолет. А в первую очередь это сделано было из-за того, что процесс загрузки-выгрузки огромных объемов на массивы дисков внутри контейнера тоже весьма не быстрый и может занимать много дней. И чтобы не держать все это время весь грузовик на одном месте, от него контейнер просто отцепляют, а грузовик(тягач) уезжает выполнять другую работу пока идет загрузка/выгрузка данных из/в контейнер. А когда все нужные данные будут переписаны за контейнером снова грузовик (тот же самый или любой другой свободный, благо что под перевозки стандартных морских контейнеров все уже давно стандартизировано) приезжает и забирает.


Кроме того, эти контейнеры не только как средство передачи данных на большие расстояния используют, но и как просто временное арендованное хранилище данных большого объема. Когда нужно на относительно короткое время сохранить большой объем данных и строить/расширять собственное хранилище нецелесообразно. Тогда контейнер стоит на месте недели-месяцы.

У Амазона даже услуга такая есть в Северной Америке. Натуральная фура с 40-футовым контейнером, в котором защищённое хранилище. Предназначен для перевозки данных от клиента в датацентр Амазона.

А внутри - клетки с голубями

Время записи 3Тб на флешки, очевидно, не учитывалось)

А там один файл на килобайт. Никто же не говорил, что она полная? Но формально ехали 3 тб

Если говорить не о 3 TB информации на флешке, а о передаче одного небольшого файла, записанного на 3 ТБ флешки, не стоит ли и в фразе о "передаче по сети в ЦОД" тоже говорить об информации?

какая у тебя скорость интернета?

2 голубя в минуту

Это входящий или исходящий?

Ну смех смехом, а когда надо много данных (десятки Тб и более) залить в облако, вы можете, как минимум, нехило за трафик заплатить. Многие провайдеры предоставляют услугу импорта-экспорта похожим способом. Например, Azure Databox.

Голубь-мнемоник

году в 2006 на одном заводе где я работал трактор перекопал оптику к одному из складов и обмен 1с-ки с "удаленным", пока не починили, складом осуществлялся по каналу "узбек с флешкой" (хоть я не помню его настоящей национальности). Скорости были офигенные на тот момент :D

Если у вас в 2006 была оптика до склада, то вы очень хорошо жили)

Синхронизация данных 1С с помощью флешек и в 2023 чуть ли не самый частый способ в мелких предприятиях. Особенно если учесть, что 1С обычно в локалках сидят, а для связи с другими компами нужно VPN поднимать.

1c был на терминальном сервере, а для этого случая сделали исключение, организовали обмен данных с центральной базой. Специфика была в том что, по слухам (потому что еще до меня организовали все), слишком часто пропадали запчасти установленных ПК как раз на таких складах. Наверное кто-то себе комп собирал :D

В итоге там стояли совсем уж дерьмовые машинки которые не жалко и которые грузились по сети через pxe, емнип, c 2x клиентом с rdp

Методика подсчёта выбрана неверно. Голубиный пакет дойдёт до получателя с вероятностью n, и если не дойдёт, его надо будет послать заново. При расстоянии 800 км, я полагаю, n окажется меньше 0.5 (а может и 0.1). Далее, как узнать, что пакет дошёл, если у нас нет Интернета? Правильно, ждать, пока этот (или другой) голубь не прилетит назад с подтверждением. Чтобы не разориться на отправке пакетов (а браконьеры быстро прочухают бесплатные летающие флешки), нужно выжидать перед каждой попыткой не слишком короткий промежуток. Всё становится ещё мрачнее, если посчитать время, требуемое на обучение каждого голубя.


В общем, я выбираю широкополосное Интернет-соединение.

Далее, как узнать, что пакет дошёл, если у нас нет Интернета?

Могут быть альтернативные каналы связи достаточные для передачи сообщения, но не большого объема данных - телефон, радио-передатчик, в конце концов медленный интернет с ограничением скорости и трафика.

Это очень смешно =)

А если посчитать время, требуемое на прокладку с нуля оптики и установки всего необходимого оборудования, то будет ещё интереснее)

Данные бы желательно ещё зашифровать, ключ заранее надобно передать безопасным способом

Зачем? Все уже изобретено до нас.

Далее, как узнать, что пакет дошёл, если у нас нет Интернета?

И как унать, что уведомление о доставке успешно дошло до исходного отправителя?

Никак

Задача двух генералов не совсем то. Просто чтобы узнать что сообщение дошло достаточно договорится, что как только сообщение дойдёт, получатель отправит голубя назад. И тогда нужно просто посылать все новых и новых голубей пока не придёт ответный голубь. Это можно конечно так и не наступить если в маршруте есть проблемы, но если нет, то рано или поздно получишь подтверждение.

В задаче же о двух генералов речь идёт о согласовании, там недостаточно просто получить ack, потому что после будет нужен ack на ack и так далее рекурсивно.

с голубями немного по другому работает. он уже прилетел домой. назад его только в клетке

а если позвонить при получении голубя?)

В теле сего очень практичного дотошного аргумента вызвало сомнения вот это

я полагаю, n окажется меньше 0.5 (а может и 0.1)

Можно увидеть научные выкладки, которые привели к такому заключению?

если сбросить полную дисковую полку с 5 этажа, то скорость передачи данных с 5 этажа на землю будет ещё выше. но это не означает, что это нормальный способ передачи данных.

Никто не может отследить, что передаст голубь. И почему это плохой способ, если он доступен и бомжу? Голубь будет работать на вас абсолютно бесплатно, достаточно один раз купить обученного голубя.

А если запустить грифа и обмотать его дисками?

Голубь будет работать на вас абсолютно бесплатно, достаточно один раз купить обученного голубя.

Ну вообще-то нет. Голубь не летит в произвольное место, куда ему скажут, а только в одну сторону — домой, в голубятню, где он вырос. Нужно содержать голубятню, помещать туда голубей в молодом возрасте и дрессировать.

Это если голубь долетит, и его не съедят какие-нить кошки по дороге. Не думаю что есть много голубей готовых гонять на 800 км. без остановки.

Слишком много рисков потери носителей, при передаче данных таким способом. По факту по сети оно в итоге быстрее и надёжнее получится.

Полагаю, что у него тоже нет в запасе голубя, летающего на 800 км.

При этом голубю потребовалась минута, чтобы добраться до места назначения, которое находилось в 1,6 км от него.

...

Он обнаружил, что перенос 3 ТБ на расстояние примерно до 800 км с помощью голубя займёт меньше времени. Затраченное время зависит от расстояния, которое голубю придётся преодолеть,

Скорее, он эти 1.6 км на 800 км аппроксимировал. А "обнаружил" следует читать как "посчитал".

(пардон, пока отвлекся, про это уже написали ниже).

Просто выпускается n+1 голубей и данные кодируются избыточной кодировкой. Тогда допускается потеря некоторого числа голубей.

Помню времена, когда Почта России доставляла данные быстрее, чем интернет-соединение :) Для меня была единственная возможность получить "тяжелые" программы на дисках, заказав на сайте в интернете.

При этом голубю потребовалась минута, чтобы добраться до места назначения, которое находилось в 1,6 км от него.

обнаружил, что расстояние примерно до 800 км с помощью голубя займёт меньше времени

Мое хобби - экстраполяция
Мое хобби - экстраполяция

Автором этих комиксов сабж тоже разбирался в его книжке "What If" 2014 года. Глава называлась "Пропускная способность FedEx". Комикс из иллюстрации:

А вот действительно. Допустим, мы пускаем пять голубей по 100 Гб каждый. Из них долетят случайные три. Сколько максимально Гб можно так передать гарантированно?

Rar тома с восстановлением битых архивов нам помогут. Может быть)))

300. См raid 6

Да, до 300 ГБ. RAID 6 упомянутый выше это частный (и специфический) случай. В общем виде задача для erasure code


На практике (хех, если это кто-то вдруг дейсвительно будет делать) лучше не "жадничать" и заложить при кодировании избыточность чуть больше, а не 300/500, скажем 280-290 ГБ из 500 ГБ.
Тогда исходную информацию можно будет полностью(с точностью до каждого бита) восстановить получив 3 любых "посылки"(голубя в примере) из отправленных 5 и при наличии некоторого небольшого % ошибок чтения данных с носителей находившихся в них.

Канал передачи данных имеет две главные метрики – пропускная способность и латентность. Латентность у голубя не очень.

И уязвимость к атакам вида «Hawk in the middle» тоже не стоит забывать

Таким образом, данные должны передаваться со скоростью не менее 125 МБ/с, но у ютубера этот показатель не превышал 75 МБ/с.

А скорости записи на флешку и чтения с неё какие?

Осталость через этот канал прокинуть TCP соединение и погонять в майнкрафт..

Майнкрафт не знаю, но были пошаговые игры с передачей сейвов по почте (электронной, но тогда и флешек не было, а пересылка дискеты возможна, но зачастую бесполезна по причине порчи данных. И дискеты).

А еще до этого были игры в шахматы по переписке. Почтой, бумажной.

Это игры Play by Email (PBEM сокращенно).
Например, Galaxy+

НЛО прилетело и опубликовало эту надпись здесь

Хочу посмотреть на флешку, что переживет выстрел из пушки.

А вот пневмопочта с флешками внутри большого предприятия - штука реальная.

А что не так с флешкой ? Чип почти монолитен. Есть данные позволяющие говорить, что при большой перегрузке с ним что-то произойдет ? В любом случае можно доработать, управляемые снаряды бывают и их электроника стартовые ускорения переживает успешно.

любой управляемый снаряд содержит и флешку и проц и сенсоры. При правильной компоновке кремниевые пластины выдерживуют что-около 40 тыс g

Там не обычная бытовая электроника, а очень специальная. И дорогая. И вряд ли там большая емкость. И расчитано оно пережить только выстрел, а не финиш (другое направление ударных перегрузок.

Финиш прекрасно переживает (самое забавное - если не сработало :) ). Там больше "специальности" с хранением и защитой от всяких излучений, чем с перегрузками.

Т.е. флеш-снаряд вполне себе рабочая идея. Если кто-то ему применение найдёт ...
Разве что с космических телескопов снимки сбрасывать?

Разве что с космических телескопов снимки сбрасывать?

Если правильно помню, капсулу с миссии Фобос - Грунт планировалось так с орбиты на землю уронить.

Безо всяких парашютов и других систем торможения.

А нафига???? Если мы говорим про передачу внутри предприятия, то значит что мы эти данные уже имеем внутри предприятия. И уверен, что запись на флэшку, а потом считывание ее, будет дольше, чем взять эти данные по сети.

В принципе, на практике, возможно так и есть.
Только что если руководство какое-то параноидальное, и боится передавать данные по сети.

Так внутри сети можно же запустить VPN и данные останутся гарантированно в безопасности?

Я же сказал - параноидальное руководство. Это для них физические выключатели Ethernet делают.

Пулемет с флешками? Что-то в этом есть... А вообще старая добрая пневмопочта с контейнерами-флешками может и потягаться с оптикой (кто сказал гиперлуп?)

Будете смеяться, но в своё время существовала вполне себе успешная ракетная почта. Запускались письма даже крылатыми ракетами с подводных лодок!

-Что?! Ласточка могла принести кокос?!

-Она могла схватить его!

-Вопрос не в том за что можно схватить. Это простая пропорция веса. Пятиунцевая ласточка не может переносить фунтовый кокос.

-Это неважно! Сходишь ли ты и скажешь своему хозяину, что Артур со Двора Камелота тут?

-Послушай, чтобы сохранять скорость, ласточке надо махать крыльями сорок три раза в секунду, так?

-Пожалуйста!

-Я прав?

-Мне все равно!

-А что если это была африканская ласточка!

-О, может быть африканская ласточка, но не европейская уж точно.

(с)МонтиПайтон

Но вообще, я ещё в 2009 тоже самое придумал.

RFC2549 же давно написан для этих целей

А ранее RFC 1149 IP over Avian Carriers, без QoS

Нонче без QoS уже никуда :)

Хорошая замена ВПН. И фиг заблокируешь.)

Тогда нужно использовать дрономухи.)

А тут даже легче... этого добра у нас навалом это я про то на что мухи летят

Он обнаружил, что перенос 3 ТБ на расстояние примерно до 800 км с помощью голубя займёт меньше времени. ... через Интернет Герлингу потребовалось 10 часов и 54 минуты.

Сказки это. Сначала Герлинг будет 10 часов копировать 3 терабайта на флэшки. Потом голубь будет 10 часов лететь эти 800 км. А потом еще адресат Герлинга будет 10 часов копировать всё это с флэшек.

Можно взять накопитель пошустрее.
Так, M.2 Samsung 980 [MZ-V8V1T0BW] ёмкостью 1Тб весит всего 8г (то есть голубь поднимет), при этом скорость чтения — 3500 Мбайс/с, записи — 3000 Мбайт/с.

ну, считывание обычно быстрее. но так да, я тоже подумал что тут похоэже не учли время записи на флешки

Вопрос относительно сухогруза с флешками на общий вес 400.000 тонн: где вы найдёте столько данных на планете Земля? Небо, небо не видело столько данных!

<sarcasm> Сгенерировать? часть забить нулями) </sarcasm>

А так самый компактный и большой объем данных находится в клетках живых людей, так что будущее за биологическими носителями.

Еще если куда-то в гены записать, то можно будет через века передавать данные. В настоящий момент нету гарантированных способов сохранить данные на протяжении пускай хотя бы 1000 лет.

Именно, сгенерить и назвать это ключем инициализации. Вот и повод заодно для отправки не через публичные сети

Инстаграмм и ТикТок

Докатились. Статья на Хабре обсуждает "открытия" ... ютубера! Следующим будет тиктокер с каким-то ещё "открытием"?

PS Коментаторам. Не только у Амазона есть такой сервис. Azure Data Box есть у MS, например.

Не, ну если посмеяться, почему бы и нет. Не всё ж с серьёзными мордами за кодом сидеть.

Голубиная флэшка должна быть тонкой и круглой, чтобы голубю было удобно её хранить во время транспортировки.

Лучши напишите кто-нибудь статью о том как соединяют между собой большие ЦОДы. Какое сетевое оборудование используется? Видел недавно на Juniper Day решения от Juniper для ЦОД, всякие там 400GbE коммутаторы...

Вообще есть же трансиверы 400G и 800G, но кажется не дальше 10км? или там более мелкими соединяют и берут количеством линков? )

Вообще интересно почитать про магистральные сети и их коммутацию, если есть статьи на русском или английском, буду очень благодарен.

Агрегация каналов, 400Гбит это 4*100Гбит

Скорость копирования на флэшки/ и чтения с флэшек учитывалась интересно в опыте?

Потому как записать 1 Тб в мелких файлах на флэшку - ну такое себе занятие, в плане времени

Ха. У меня был случай (давно!) - собирался пойти в гости, и там в компании посмотреть кино.
Кино скачано, надо переписать на флешку... та флешка что есть - МЕДЛЕННАЯ! Оказалось быстрее записать DVD-R.

Очень много проблем, в каментах некоторые озвучены.

- Ширина канала произвольно велика, а вот пинг большой и не уменьшаемый;

- Пакеты теряются все разом;

- Возможен сниффинг траффика крошением хлебушка по пути;

- Поскольку почтовый голубь обучен возвращаться домой (так и называется homing pigeon), с помощью социнжинерии возможна подмена птиц, с перенаправлением данных на фишинговую голубятню;

- Также в этой сфере передачи данных существуют отдельные группы и личности, занимающиеся дудосом.

Помнится, ещё Event Horizon Telescope, состоящий из множества радиотелескопов по всему миру, не смог придумать ничего лучше, чем отправлять терабайты данных на физических носителях.

Лет 20 назад сервера возили на грузовике, в центральный офис для синхронизации, было такое :-) Возможно, что кое-где и до сих пор возят...

забыли учесть, что для переноса данных их сначала нужно записать на флешку. для 4ТB на современную флешку это займет около 5 часов и еще часа 4 на ее чтение на другой стороне. итого +9 часов к голубиной скорости,

если тольно не:

если процесс нужен обратный. пришел человек с флешкой и просит отправить на другой конец страны, где должны будут записать на флешку и отдать в руки. К передаче данных прибавиться еще минимум 5 часов, и то если передавать будут непосредственно читая данные с флешки. Голуби рулят. Мне парочку пожалуйства.

Если воткнуть 4 флешки по терабайту в 4 порта - дело пойдёт быстрее. А так с "флеш-грузовиками" перекачка идёт по напрямую подключённому оптоволокну. Т.е. в реальных применениях время закачки/перекачки сравнимо, а то и меньше времени транспортировки.

Мне рассказывали, на рубеже 90х и 2000х, про контору, у которой сервер с 1С стоял в Газеле за офисом. Если проверка - газель просто уезжает, перемещая данные со скоростью 60км/ч

Пневмопочту с бочками флешек уже обсуждали?

Отключаюсь от интернета перехожу на голубей??

Лучше всего по трубопроводу диски доставлять!

Одна проблема: для того, чтобы голубь куда-то прилетел, его сначала надо из этого места увезти к месту отправки обычными способами.

Пару лет назад работал над mvp. Результатом работы было около 10Тб данных + несколько обученных моделей для демонстрации клиенту. И да было быстрее сесть на самолет из Екатеринбурга в Москву и привезти презентацию чем загружать это на сервер клиента.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости

Истории