Например, сегодня симуляция 0,52 миллиардов нейронов, объединённых 5,8 триллионами синапсов, на суперкомпьютере JUQUEEN занимает 28,5 минут на 1 секунду биологического времени. Новый алгоритм по подсчётам учёных сократит это время до 5,2 минут.
В перспективе — замедление времени при симуляции всего лишь в 300 раз (для той же сети в 1/165 размера мозга??). На топовых экзафлопсных суперкомпьютерах 2020-х годов, при энергопотреблении в 20-30+ МВт и немалой стоимости.
Следующий уровень — 10 кВт с кв.см. — это примерно как на поверхности ооочень большой кучи гниющих листьев ("2001 IEEE International Solid State Circuits… if the trend toward ever more fiery chips were to continue unchecked, and surely it will not, microprocessors a decade from now will be pouring out as much power as the surface of the sun, some 10000W/cm^2")
https://www.frontiersin.org/articles/10.3389/fninf.2018.00002/full? Extremely Scalable Spiking Neuronal Network Simulation Code: From Laptops to Exascale Computers, Frontiers in Neuroinformatics, vol 12 2018 doi.org/10.3389/fninf.2018.00002 (+ http://www.nest-simulator.org/ "NEST is a simulator for spiking neural network models that focuses on the dynamics, size and structure of neural systems rather than on the exact morphology of individual neurons")
… For these large-scale simulations one of the main computational challenges is the high connectivity of neuronal networks. The human cortex consists of about 1010 cells, each receiving about 10^4 connections (Abeles, 1991; Stepanyants et al., 2009), which leads to an estimated 10^14 synapses. Representing each of the connections by two double precision numbers requires about 1.6 PB of main memory. To complicate things further, neurons receive only about 50 % of their connections from other nerve cells in their vicinity, while the remainder are long-range connections from various remote areas (Abeles, 1991; Braitenberg and Schüz, 1991).… Over the next decade, exascale machines will be developed that will most likely show only a moderate increase in the number of compute nodes but a significant increase in the number of threads and amount of memory per compute node (see, e.g., Dongarra et al., 2011). If neural simulators are able to fully exploit the computational power of these new machines, researchers, for the first time, will be able to simulate the full human cortex at cellular resolution.
В следующем десятилетии экзафлопсные машины (с десятками и сотнями тысяч серверов) вероятно увеличат количество памяти и потоков на узел. Если нейросимуляторы смогут воспользоваться полной вычислительной мощностью таких машин, то впервые станет возможна симуляция сетей достаточно большого размера "на клеточном" разрешении. При этом в NEST почему-то заявляют о симуляции топологии сети, а не о морфологии отдельных нейронов.
Вопрос — сколько будет стоить создание экза-флопсного суперкомпьютера в 2020, в 2030, в 2040 годах (в предположении выполнения закона Мура)? Сколько электричества он будет потреблять?
Разница с питанием видеокарт есть (и не только в полярности). В 4-pin cpu — две пары проводов (8A×2 суммарно 16A, 192Вт), в 8-pin cpu питании 4 пары проводов (7A×4 = 28 ампер, 336 Вт), а в 8 pin PCIe разъеме питания (и большинстве 6 pin) лишь 3 пары проводов и заниженные токи/мощности
"6 pin PCI Express power cable is actually rated at an extremely conservative 75 watts. I have no idea why the wattage is rated so low because the specifications from Molex clearly allow substantially more power"
"new 8 pin version provides a maximum of 150 watt"
См. подсчеты токов в http://www.playtool.com/pages/psuconnectors/connectors.html
The focal plane of the spacecraft's camera is made out of forty-two 50 × 25 mm (2 × 1 in) CCDs at 2200×1024 pixels each, possessing a total resolution of 94.6 megapixels… The array is cooled by heat pipes connected to an external radiator.[41]
Kepler is also protected by an “active” thermal control system that consists of heat pipes, thermally conductive adhesives, heaters and temperature sensors. Propane and ammonia flowing through pipes embedded in the spacecraft’s exterior panels cool the focal plane. Various parts of the spacecraft that need to be heated in order to operate are equipped with controlled heaters but insulated to avoid heating the photometer.
The study shows that regardless of chip organization and topology, multicore scaling is power limited to a degree not widely appreciated by the computing community.…
While transistor dimensions continue scaling, power limitations curtail the usable chip fraction. At 22 nm (i.e. in 2012), 21% of the chip will be dark and at 8 nm, over 50% of the chip will not be utilized using ITRS scaling
Neither CPU-like nor GPU-like multicore designs are sufficient to achieve the expected performance speedup levels. Radical microarchitectural innovations are necessary to alter the power/performance Pareto frontier to deliver speed-ups commensurate with Moore’s Law.
Увеличивать площадь чипов сложно и дорого (но делают всяческие сверхдорогие Xeon/XeonPhi, в т.ч. на 200-300Вт и Виндой на 64+ ядрах с площади в 683 мм2).
Размер чипов и микросборок на Silicon Interposer ограничен (максимальный размер одного кристалла задается лимитом степперов. У всех производителей ASML, Nikon, Canon — степпер засвечивает за 1 проход "Field Size" — не более чем 26x33 мм=850 кв.мм., у EUV заявлены те же 26x33).
Есть варианты и продукты с использованием микросборок без Silicon Interposer на всю площадь — EMIB от Интела, MCM(MCM-L?) у AMD c EPIC. Некоторые считают, что оптику следует интегрировать ближе к чипу, чтобы можно было создавать многочиповые решения/снижать затраты энергии на передачу данных.
I think 2GB of RAM at $35 will need to wait a while: RAM prices are incredibly high at the moment, and remain on an upward trajectory.
RAM is going through one of its periodic price spikes. It wasn’t feasible to add more to the design while sticking to the $35 price point. Don’t worry though: we’re well aware of the appetite for more RAM, and will come back to this once prices moderate.
There are limitations to the SoC architecture which cap us at 1GB. These are in theory fixable, but we’ve not prioritised that while RAM remains so expensive.
PS:
We can play much of the 1080p HEVC content that’s out in the wild at the moment (including 10-bit). Our “software” implementation has a generous dose of GPU-acceleration magic, and we’ve invested heavily in NEON optimisation.
We’ve not increased the GPU clock at launch. We do have lots of margin though, so may do so (from 400/300 to 500/400) in due course.
I don’t believe there’s a significant additional CPU load associated with running Ethernet over USB. Of course an onboard MAC would give us a full gigabit of bandwidth, but it would also necessitate some more radical surgery to the SoC.
(James Hughes) Yes, we are spending considerable time and money on optimising the H265 codec using HW blocks where we can, and NEON as much as possible. This means that the majority of HEVC stuff out there will work fine up to 1080p. Including 10bit. The work is still ongoing, but the latest overnight millhouse builds of Kodi have this codec in.
Электропитание МРТ-установки (SKYRA — http://mriquestions.com/uploads/3/4/5/7/34572113/skyra_planning_guide.pdf) — standby 7.2 kVA, highest average — 56 kVa, momentary 140 kVa. Требования к охлаждающей воде: отведение 200 тыс BTU в час (непрерывно-круглосуточно, холодопроизводительность ~60 кВт, чиллер на полтонны-тонну).
(Вне зависимости от аппаратной реализации: cpu, gpu, fpga, tpu/NVDLA/TrueNorth, симулятор будет потреблять вполне конечное количество энергии на каждую операцию. При этом для реальных мозгов нынешние модные нейросети и нейроускорители не подходят — они представляют собой очень грубую модель по мотивам "биомозга" "Coarse model… Due to all these and many other simplifications, be prepared to hear groaning sounds from anyone with some neuroscience background if you draw analogies between Neural Networks and real brains. See this review (pdf), or more recently this review if you are interested.")
В результате получается квантовое решение задачи дискретного логарифма. Эллиптические кривые не спасают — для любой коммутативной группы работает, нужно только умножать уметь.
Мы взломали всю коммутативную криптографию. Что делать? Один ответ — строить квантовую криптографию. Другой ответ — строить некоммутативную криптографию.
(для создания некоммутативной криптографии не нужны квантовые компьютеры, а "квантовая криптография" = Quantum Key Distribution — это всего лишь линии связи на одиночных квантах и никаких кв.комп. также не требуют: http://sqi.cs.msu.su/store/storage/ss8dw5n_quantum_cryptography.pdf "квантовой криптографии… возможность генерации ключей, секретность которых гарантируется фундаментальными законами квантовой механики", http://book.itep.ru/6/q_crypt.htm)
Возможно, это при использовании 2x порта SAS (12 Gbit/s) в режиме wide (https://en.wikipedia.org/wiki/Serial_Attached_SCSI#Architecture) http://www.tomshardware.co.uk/samsung-huawei-sas-ssd-largest,news-57929.html "Samsung's new 30.72TB whopper uses a 12Gb/s SAS connection that provides the dual port and failover features prized in the data center."
В режиме failover по каждому 1x порту до 1,1 ГБ/с (кодирование 8/10 — 12 Гбит =12*10^12 /(1024)^3 = 1144 МБ/с), тогда 2 ГБ/с может быть суммарным при конфигурации active-active и чтениями с обоих хостов (sas-контроллеров).
В http://www.tomsitpro.com/articles/best-enterprise-ssds,2-963.html приводят Toshiba PX04s с интерфейсом "SAS 12GB/s dual-port mode" и заявленными скоростями в 1,8 ГБ/с, с примечанием "Toshiba's high performance specifications immediately raise the question if the PX04S operates in wide-port mode during dual-port operation. The PX04S does not support wideport functionality at this time, and instead utilizes a narrow-port active-active configuration that allows both ports to operate simultaneously and independently at full speed."
В https://www.theregister.co.uk/2015/08/04/seagate_enterprise_sas_ssd_creds/ описывали Seagate 1200.2 SSD также с dual port.
В минус могут уйти любые карты, см. технический овердрафт.
Либо амазон не позволит зайти в магазин человеку, у которого в аккаунте не кредитная карта (на это намекает "his Amazon account and credit card information" в материалах нескольких СМИ, сходным образом наверное устроен AWS).
Либо будут применяться обычные схемы МПС для трат, превышающих баланс карты (например, offline транзакции) — т.е. у амазона большие шансы получить деньги с банка (у них есть видеофиксация факта "покупки"), тогда как любители "А если" будут разбираться со своим банком.
Самсунг пишет для PM1643: "64-layer, 3-bit 512-gigabit (Gb) chips" (V-NAND V4, TLC). Стоимость за тб для современных ssd можно оценить по 860 pro (64-layer 3D MLC V-NAND, 256Gb dies) — 470-460 долларов за ТБ и по 860 evo (512Gb 64-layer 3D TLC V-NAND) — 320-350 долларов за ТБ. Т.е. в данном PM1643 (tlc) на 31 ТБ порядка 10 тысяч долларов стоят сами nand-кристаллы.
Архив сертификатов по логам Certificate Transparency (в поисковике crt.sh от COMODO) https://crt.sh/?q=%2A.googlevideo.com — еженедельно выходит по 10 сертификатов на 3 месяца, в которые входит googlevideo.com; 2 из 10 — для commonname *.googlevideo.com
One takeaway from the handshake diagrams above is that the private key is only used once in each handshake. This allows us to split the TLS handshake geographically, with most of the handshake happening at CloudFlare’s edge while moving the private key operations to a remote key server. This key server can be put on the customer’s infrastructure, giving them exclusive access to the private key.
http://epubs.surrey.ac.uk/813643/1/mainKeyless.pdf Content Delivery over TLS: A Cryptographic Analysis of Keyless SSL — 2017 — "We argue that proxied TLS handshakes require a new, stronger, 3-party security definition"
Физические лица могут получать пересылаемые в МПО товары, общая стоимость которых в эквивалентном выражении не превышает 1000 евро, и общий вес которых не превышает 31 кг без уплаты таможенных пошлин и налогов[1][2].
В случае получения физическим лицом товаров, пересылаемых в МПО, общая стоимость которых в эквивалентном выражении превышает 1000 евро или вес превышает 31 кг в части такого превышения применяется единая ставка таможенных пошлин и налогов, в размере 30 % таможенной стоимости указанных товаров[1].
С января 2018 года в связи с вступлением в силу Таможенного кодекса Евразийского экономического союза планируется постепенное уменьшение верхнего порога беспошлинного импорта МПО для физических лиц (отдельные страны могут устанавливать более низкий лимит). С 2019 года ожидается уменьшение порога до 500 евро. С 2020 года изменятся правила применения лимита: пошлиной в 15 % от стоимости будет облагаться каждое МПО дороже 200 евро; без ограничения на количество и общую стоимость отправлений за календарный месяц[3][4][5].
http://www.eurasiancommission.org/ru/nae/news/Pages/21-12-2017-2.aspx
Совет Евразийской экономической комиссии (ЕЭК) 20 декабря /2017/ установил новые правила ввоза товаров физическими лицами. Принято решение «Об отдельных вопросах, связанных с товарами для личного пользования».
Текста решения не нашел, есть проект от 7.11.2017 — https://www.alta.ru/tamdoc/17r00145/ Распоряжение Коллегии Евразийской экономической комиссии от 7 ноября 2017 г. N 145 "О проекте решения Совета Евразийской экономической комиссии "Об отдельных вопросах, связанных с товарами для личного пользования""
"3. Товары для личного пользования (..), доставляемые перевозчиком на таможенную территорию Евразийского экономического союза (далее – Союз), включая:… с 1 января 2020 г. – стоимость не превышает сумму, эквивалентную 200 евро, и (или) вес не превышает 31 кг"
В https://geektimes.ru/post/299381/ есть оценки замедления симуляции —
В перспективе — замедление времени при симуляции всего лишь в 300 раз (для той же сети в 1/165 размера мозга??). На топовых экзафлопсных суперкомпьютерах 2020-х годов, при энергопотреблении в 20-30+ МВт и немалой стоимости.
https://www.ssken.gr.jp/MAINSITE/event/2013/20130827-sci-1/lecture-01/SSKEN_sci2013-1_simon_presentation.pdf#page=14
Watts per Square cm — nuclear reactor vs multicore cpu — чуть менее 100 Вт на кв.см. (прогноз от 2007 до 2020 г)
2017 — обычные системы охлаждения отводят около 150 Вт на кв.см https://www.computerworld.com/article/3209724/computer-processors/cpu-architecture-after-moores-law.html "Removing 150 watts per square centimeter is the best we can do without resorting to exotic cooling"
2004 — эксперименты с испарителями — https://spectrum.ieee.org/computing/hardware/beat-the-heat "We are removing 300 to 400 watts per square centimeter with our current prototype"
https://www.nextbigfuture.com/2017/10/holy-grail-of-intrachip-microcooling-1000-watts-per-square-centimeter-achieved.html https://www.hpcwire.com/2017/10/24/purdue-researchers-hit-darpa-cooling-target-1000wcm2/ (https://www.sciencedirect.com/science/article/pii/S0017931017322573 "Heat fluxes up to 910 W/cm2 are dissipated using the dielectric fluid HFE-7100.")
DARPA финансирует "микроканалы" в чипе для отведения на уровне 1 кВт с кв.см. ("The 5 mm × 5 mm silicon chip area, with resistive heaters and local temperature sensors fabricated directly on the opposite face, is cooled by a 3 × 3 array of microchannel heat sinks that are fed with coolant using a hierarchical manifold distributor")
Следующий уровень — 10 кВт с кв.см. — это примерно как на поверхности ооочень большой кучи гниющих листьев ("2001 IEEE International Solid State Circuits… if the trend toward ever more fiery chips were to continue unchecked, and surely it will not, microprocessors a decade from now will be pouring out as much power as the surface of the sun, some 10000W/cm^2")
https://www.frontiersin.org/articles/10.3389/fninf.2018.00002/full? Extremely Scalable Spiking Neuronal Network Simulation Code: From Laptops to Exascale Computers, Frontiers in Neuroinformatics, vol 12 2018 doi.org/10.3389/fninf.2018.00002 (+ http://www.nest-simulator.org/ "NEST is a simulator for spiking neural network models that focuses on the dynamics, size and structure of neural systems rather than on the exact morphology of individual neurons")
В следующем десятилетии экзафлопсные машины (с десятками и сотнями тысяч серверов) вероятно увеличат количество памяти и потоков на узел. Если нейросимуляторы смогут воспользоваться полной вычислительной мощностью таких машин, то впервые станет возможна симуляция сетей достаточно большого размера "на клеточном" разрешении. При этом в NEST почему-то заявляют о симуляции топологии сети, а не о морфологии отдельных нейронов.
Вопрос — сколько будет стоить создание экза-флопсного суперкомпьютера в 2020, в 2030, в 2040 годах (в предположении выполнения закона Мура)? Сколько электричества он будет потреблять?
Правительственные программы "экзафлопс к 2020" вроде как заявляли об энергопотреблении в 20 МВт… https://www.nextplatform.com/2016/07/06/dreaming-100-exaflops-2030/ (и мечты про 80 МВт 100 экзафлопс в 2030).
EATX12V/EPS12V (eps 2.91 pdf).
На TR4 (Ryzen Threadripper) бывает 8+8 и 8+4 и только 8.
https://d1rktuf34l9h2g.cloudfront.net/a/ac/1000x2000px-LL-ac82eb1d_pinout.png
Разница с питанием видеокарт есть (и не только в полярности). В 4-pin cpu — две пары проводов (8A×2 суммарно 16A, 192Вт), в 8-pin cpu питании 4 пары проводов (7A×4 = 28 ампер, 336 Вт), а в 8 pin PCIe разъеме питания (и большинстве 6 pin) лишь 3 пары проводов и заниженные токи/мощности
"6 pin PCI Express power cable is actually rated at an extremely conservative 75 watts. I have no idea why the wattage is rated so low because the specifications from Molex clearly allow substantially more power"
"new 8 pin version provides a maximum of 150 watt"
См. подсчеты токов в http://www.playtool.com/pages/psuconnectors/connectors.html
Твердый охладитель, но не водород…
https://en.wikipedia.org/wiki/Kepler_(spacecraft)#Camera
https://www.nasa.gov/pdf/314125main_Kepler_presskit_2-19_smfile.pdf#page=21
Если кристалл жрет много электричества, то всю полученную энергию с кпд около 100% он превращает в тепло. А отводить сильно больше 100-200 Вт с площади кристалла в сотни кв.мм не получается.
См. Harnessing the Four Horsemen of the Coming Dark Silicon Apocalypse и другие публикации Dark Silicon: https://en.wikipedia.org/wiki/Dark_silicon ftp://ftp.cs.utexas.edu/pub/dburger/papers/ISCA11.pdf http://darksilicon.org/
Увеличивать площадь чипов сложно и дорого (но делают всяческие сверхдорогие Xeon/Xeon Phi, в т.ч. на 200-300Вт и Виндой на 64+ ядрах с площади в 683 мм2).
Размер чипов и микросборок на Silicon Interposer ограничен (максимальный размер одного кристалла задается лимитом степперов. У всех производителей ASML, Nikon, Canon — степпер засвечивает за 1 проход "Field Size" — не более чем 26x33 мм=850 кв.мм., у EUV заявлены те же 26x33).
Есть варианты и продукты с использованием микросборок без Silicon Interposer на всю площадь — EMIB от Интела, MCM(MCM-L?) у AMD c EPIC. Некоторые считают, что оптику следует интегрировать ближе к чипу, чтобы можно было создавать многочиповые решения/снижать затраты энергии на передачу данных.
В комментариях https://www.raspberrypi.org/blog/raspberry-pi-3-model-bplus-sale-now-35/ Eben Upton сообщал про проблемы с реализацией 2 ГБ — цена и SoC:
PS:
Порядка единиц (1.5) Вт при 4 K (https://ws680.nist.gov/publication/get_pdf.cfm?pub_id=901013 — Fig.2 "MRI"; Gifford-McMahon; http://www.shicryogenics.com/products/4k-cryocoolers/ "RDK-408D2 are the standard for MRI… 2nd Stage Capacity 1.0 W @ 4.2 K… 1st Stage Capacity 40-50 W @ 43 K"; https://cryocoolerorg.wildapricot.org/resources/Documents/C16/009.pdf).
Электропитание МРТ-установки (SKYRA — http://mriquestions.com/uploads/3/4/5/7/34572113/skyra_planning_guide.pdf) — standby 7.2 kVA, highest average — 56 kVa, momentary 140 kVa. Требования к охлаждающей воде: отведение 200 тыс BTU в час (непрерывно-круглосуточно, холодопроизводительность ~60 кВт, чиллер на полтонны-тонну).
См.также https://geektimes.ru/post/291135/ Разбираем магнитно-резонансный томограф Astrei 17 июля 2017
Оценки мощности для симуляции на разных уровнях есть в https://en.wikipedia.org/wiki/Mind_uploading#Computational_complexity
https://upload.wikimedia.org/wikipedia/commons/1/1e/Estimations_of_Human_Brain_Emulation_Required_Performance.svg
Оценка 2008 года http://www.fhi.ox.ac.uk/Reports/2008-3.pdf "Whole Brain Emulation. A Roadmap" — На мощнейших суперкомпьютерах 2023-2025 года (при сохранении тренда) возможно будет доступна нейросимуляция одного "мозга" (не в реальном времени; не забываем об оплате десятков или сотен МВт электропотребления машины).
На более простую Spiking neural network — 10^18 флопс = 1 экзафлопс = 1000 петафлопс (=20 штук Тяньхэ-2 по +-20 МВт каждый); 10 петабайтов памяти.
С таким количеством нейронов (порядка 86 млрд.) и синапсов (вики приводит 1.5 × 10^14 = 0.15 пета-связей, есть оценки в http://scholarcommons.usf.edu/cgi/viewcontent.cgi?article=4812&context=ujmm)
отследить все связи не так уж и просто. Есть несколько проектов для получения Коннектома (часть списка из Brain Mapping and Synapse Quantification In vivo, 2017) —
В https://en.wikipedia.org/wiki/Blue_Brain_Project успешно разрезали мышь и небольшой кусочек даже запускали на обсчет...
(Вне зависимости от аппаратной реализации: cpu, gpu, fpga, tpu/NVDLA/TrueNorth, симулятор будет потреблять вполне конечное количество энергии на каждую операцию. При этом для реальных мозгов нынешние модные нейросети и нейроускорители не подходят — они представляют собой очень грубую модель по мотивам "биомозга" "Coarse model… Due to all these and many other simplifications, be prepared to hear groaning sounds from anyone with some neuroscience background if you draw analogies between Neural Networks and real brains. See this review (pdf), or more recently this review if you are interested.")
Google показывал как они разбирают диски: https://youtu.be/XZmGGAbHqa0?t=222 (2011?). "We destroy hard drives that have reached the end of their lives in a thorough, multi-step process to prevent access to the data."; "multistage process beginning with a crusher that deforms the drive, followed by a shredder that breaks the drive into small pieces, which are then recycled at a secure facility."
А еще они недовольны современными дисками: Disks for Data Centers, 2016
Алгоритм Шора решает две задачи: разложение на множители и дискретный логарифм (сама статья Шора так и называется Algorithms for Quantum Computation: Discrete Log and Factoring, 1994, doi:10.1109/SFCS.1994.365700). При этом он работает "для любой коммутативной группы работает, нужно только умножать уметь", см http://logic.pdmi.ras.ru/~sergey/teaching/crypto10/12-quantum.pdf "Алгоритм Шора" — Сергей Николенко, Криптография — АФТУ РАН, 2010
(для создания некоммутативной криптографии не нужны квантовые компьютеры, а "квантовая криптография" = Quantum Key Distribution — это всего лишь линии связи на одиночных квантах и никаких кв.комп. также не требуют: http://sqi.cs.msu.su/store/storage/ss8dw5n_quantum_cryptography.pdf "квантовой криптографии… возможность генерации ключей, секретность которых гарантируется фундаментальными законами квантовой механики", http://book.itep.ru/6/q_crypt.htm)
IBM немного описывал для своих систем (доступных в "облаке" "IBM Quantum Experience"), также построенных на сверхпроводящих кубитах — Superconducting quantum computing
IBM QX5: Albatross — 16 кубитов, 22 соединения (соединены далеко не все пары кубитов)
https://github.com/QISKit/ibmqx-backend-information/tree/master/backends/ibmqx5
Можно также поискать среди публикаций Martinis Group — Josephson Junction Quantum Computing at UCSB, т.к. они активно участвуют (руководят) в квантовых проектах Google https://web.physics.ucsb.edu/~martinisgroup/publications.shtml
https://web.physics.ucsb.edu/~martinisgroup/papers/Neill2017.pdf — 9 кубитов
https://web.physics.ucsb.edu/~martinisgroup/papers/Foxen2017.pdf — о проблемах связи в массивах более чем 2xN
Айзек Азимов. "… Вставьте шплинт А в гнездо Б..." — Isaac Asimov. Insert Knob A in Hole B (1957)
http://www.lib.ru/FOUNDATION/ainb.txt_with-big-pictures.html
Более чем для 3/4 пакетов debian смогли: https://wiki.debian.org/ReproducibleBuilds https://wiki.debian.org/ReproducibleBuilds/Howto "Files in data.tar contain timestamps"
также https://en.wikipedia.org/wiki/Deterministic_compilation https://reproducible-builds.org/ https://github.com/jasonwhite/ducible
Возможно, это при использовании 2x порта SAS (12 Gbit/s) в режиме wide (https://en.wikipedia.org/wiki/Serial_Attached_SCSI#Architecture)
http://www.tomshardware.co.uk/samsung-huawei-sas-ssd-largest,news-57929.html "Samsung's new 30.72TB whopper uses a 12Gb/s SAS connection that provides the dual port and failover features prized in the data center."
В режиме failover по каждому 1x порту до 1,1 ГБ/с (кодирование 8/10 — 12 Гбит =12*10^12 /(1024)^3 = 1144 МБ/с), тогда 2 ГБ/с может быть суммарным при конфигурации active-active и чтениями с обоих хостов (sas-контроллеров).
В http://www.tomsitpro.com/articles/best-enterprise-ssds,2-963.html приводят Toshiba PX04s с интерфейсом "SAS 12GB/s dual-port mode" и заявленными скоростями в 1,8 ГБ/с, с примечанием "Toshiba's high performance specifications immediately raise the question if the PX04S operates in wide-port mode during dual-port operation. The PX04S does not support wideport functionality at this time, and instead utilizes a narrow-port active-active configuration that allows both ports to operate simultaneously and independently at full speed."
В https://www.theregister.co.uk/2015/08/04/seagate_enterprise_sas_ssd_creds/ описывали Seagate 1200.2 SSD также с dual port.
В минус могут уйти любые карты, см. технический овердрафт.
Либо амазон не позволит зайти в магазин человеку, у которого в аккаунте не кредитная карта (на это намекает "his Amazon account and credit card information" в материалах нескольких СМИ, сходным образом наверное устроен AWS).
Либо будут применяться обычные схемы МПС для трат, превышающих баланс карты (например, offline транзакции) — т.е. у амазона большие шансы получить деньги с банка (у них есть видеофиксация факта "покупки"), тогда как любители "А если" будут разбираться со своим банком.
https://arstechnica.com/information-technology/2018/01/we-test-the-worlds-first-amazon-go-watch-you-shop-grocery-store/ "Amazon account with valid credit card information and a working smartphone"
График цен SSD и HDD за 1 ТБ c 2008 с прогнозом до 2028 — https://images.anandtech.com/doci/11925/02_-_flash-hdd-cpgb.png (из anandtech 11925, October 12, 2017).
Цены на 30 ТБ не назывались, два года назад были 7 ТБ за 6 тыс и 15 за 10 тыс:
http://bgr.com/2018/02/20/samsung-30tb-ssd-release-date-specs-price/ "The price for the 30.72TB SSD was not announced, but the 15.36TB cost more than $10,000 two years ago."
https://www.anandtech.com/show/10533/samsung-expands-its-pm1633a-lineup-as-1536-tb-ssd-hits-retail-for-10k "PM1633a… July 29, 2016… $10k for 15 TB, $6k for 7 TB"
Самсунг пишет для PM1643: "64-layer, 3-bit 512-gigabit (Gb) chips" (V-NAND V4, TLC). Стоимость за тб для современных ssd можно оценить по 860 pro (64-layer 3D MLC V-NAND, 256Gb dies) — 470-460 долларов за ТБ и по 860 evo (512Gb 64-layer 3D TLC V-NAND) — 320-350 долларов за ТБ. Т.е. в данном PM1643 (tlc) на 31 ТБ порядка 10 тысяч долларов стоят сами nand-кристаллы.
Домены индивидуальные, а сертификат общий — *.googlevideo.com, см https://transparencyreport.google.com/https/certificates?cert_search=include_subdomains:true;domain:googlevideo.com https://transparencyreport.google.com/https/certificates/j2Le%2F6JHj7vJl0js9tayuj3tsW9FbtRTMO67%2BjrL6DE%3D
например https://r1---sn-puntnuxhn-3c2e.googlevideo.com/
https://ssl-tools.net/webservers/r1---sn-puntnuxhn-3c2e.googlevideo.com
https://crt.sh/?id=329025939
Архив сертификатов по логам Certificate Transparency (в поисковике crt.sh от COMODO) https://crt.sh/?q=%2A.googlevideo.com — еженедельно выходит по 10 сертификатов на 3 месяца, в которые входит googlevideo.com; 2 из 10 — для commonname *.googlevideo.com
Есть методы установления TLS соединений без наличия приватного ключа на кеширующем сервере. Пример — https://www.cloudflare.com/ssl/keyless-ssl/ https://arstechnica.com/information-technology/2014/09/in-depth-how-cloudflares-new-web-service-promises-security-without-the-key/ — приватный ключ хранится и обрабатывается на удаленном сервере (сервере гугла, сервере клиента cloudflare, код https://github.com/cloudflare/keyless). Сервер с ключами высылает кеширующему серверу готовый сессионный ключ для данного пользователя. Получаем полную безопасность приватного ключа ценой некоторой задержки при установке сессии, но созданная сессия может работать десятками минут.
http://epubs.surrey.ac.uk/813643/1/mainKeyless.pdf Content Delivery over TLS: A Cryptographic Analysis of Keyless SSL — 2017 — "We argue that proxied TLS handshakes require a new, stronger, 3-party security definition"
https://ru.wikipedia.org/wiki/Таможенные_аспекты_международных_почтовых_отправлений
http://www.eurasiancommission.org/ru/nae/news/Pages/21-12-2017-2.aspx
Совет Евразийской экономической комиссии (ЕЭК) 20 декабря /2017/ установил новые правила ввоза товаров физическими лицами. Принято решение «Об отдельных вопросах, связанных с товарами для личного пользования».
Текста решения не нашел, есть проект от 7.11.2017 — https://www.alta.ru/tamdoc/17r00145/ Распоряжение Коллегии Евразийской экономической комиссии от 7 ноября 2017 г. N 145 "О проекте решения Совета Евразийской экономической комиссии "Об отдельных вопросах, связанных с товарами для личного пользования""
"3. Товары для личного пользования (..), доставляемые перевозчиком на таможенную территорию Евразийского экономического союза (далее – Союз), включая:… с 1 января 2020 г. – стоимость не превышает сумму, эквивалентную 200 евро, и (или) вес не превышает 31 кг"