на хабре будет, скорее всего, где-нибудь в админке и хранении данных, если модераторы не перебросят на ГТ, конечно
только это даже не про «дома», это реальный проект в малом бизнесе, три года издевательств 24x7, увидите чужую боль и страдания ;) подписывайтесь и участвуйте в дискуссии, я с аудиторией общаюсь с удовольствием
не согласен: ECC суть Error Correction Code, а не detection code. Это давно не бит четности, многобитовая контрольная сумма способна исправить до половины битов своей длины в зависимости от алгоритма, если мне самому моя память не изменяет, извините за каламбур. Поищите по словам «теория помехоустойчивого кодирования», раздел блочных кодов. Или «ecc memory bit width». А «паритетом» её просто по старинке зовут:)
почему же, известно: потому что законотворцы «забыли» спросить у инженеров:)
а те, кто брал на себя технику, воспринимают задачу линейно и руководствуются принципом падишаха: дескать, возьмем кучу железа, а если не заработает, то либо ишак сдохнет, либо, простите, падишах перейдет на другую работу;) зато сколько всего интересного: проектирование, закупки, внедрения, да это же праздник!
"Следящий" продукт безопасности — не коммутатор и не шлюз, поломка на потребительском трафике не сказывается. С учётом качества имеющихся на рынке "аналогов" для корпораций и особенно (!) с поправкой на госзаказ лично мне кажется, что фактическая угроза приватности пользователей рунета гораздо ниже, чем многим кажется. Да аналогов-то и нет, никто такие масштабные конструкции толком не создавал, это вам не просто мегахранилище, это технологичная обвязка, фронтенды всякие и куча инфраструктурных стыков. Нет ничего невозможного, но с таким замахом нормально это работать всё равно не должно, потому что так почти всегда происходит с подобными проектами. Да здравствует импортозамещение, спите спокойно, дорогие друзья;)
Ага, и материнская плата microATX в его чреве как столик в пустом ресторане, да пара-другая весьма жестких дисков у дальнего входа:) Зато стены, можно сказать, в три кирпича, из миллиметровой холоднокатанной оцинкованной стали. Я поставил такой на колёса и пристегнул к нему второй корпус из-под CD-дубликатора (схема «сиамские башни», на рояльной петле с двойным блоком питания). Накопителей теперь можно насовать неприлично, и при этом под стол заезжает целиком, прямо с ИБП на спине. Переднюю панель вот только никак не напечатаю, хватило мотивации только на сменные пылевые картриджи… В черновиках пока это всё тут.
Благодарю за тему, я её скоро намерен развить в публикации, если, конечно, по приоритету не вытеснит…
Основной цимес немолодого серверного железа в том, что его часто можно купить б/у у частных лиц за копейки, но это не относится к б/у флэш-памяти и «механике». Так что прости, Kingston, но беру только память с паритетом, старые SSD оставляйте себе. Впрочем, если реально серверные с околонулевым пробегом по SMART, пишите в личку, заберу себе под SLOG:))
Поддержка регистровой памяти, к примеру, позволяет исправлять ошибки «на лету», а это пригождается при большом аптайме (сервер же!).
Наверное, ошибки выправляет механизм контрольных сумм (ECC), а не регистр. Есть ещё переходной вариант с «паритетом», но без без буфера, ECC Unbuffered DIMM (UDIMM). Она подешевле вроде, но и пореже встречается. А конские объёмы ОЗУ с контрольной суммой очень хорошо идут в сочетании с ZFS, для поддержания end-to-end целостности на уровне дисковых томов. Это для домашних NAS, которые все норовят собрать из консюмерного г*вна и палок. Я же рекомендую использовать серверное г*вно и серверные палки, работает совершенно по-другому, проверял и хочу поделиться результатами.
Просто серверная ОЗУ устроена чуть иначе — она содержит регистр между микросхемами и системным контроллером памяти для того, чтобы снизить электрическую нагрузку на контроллер и иметь возможность установить больше модулей в одном канале памяти.
Вот, сами себя и поправили. Контрольная сумма и регистр (буфер) часто идут вместе, но это как калькулятор и блокнот.
пока уважаемые члены клуба тут обмениваются плюсами и минусами, наших с вами коллег нагибает начальство, потому что их нагибает их начальство, ну и так далее… это и есть суть вертикали власти, которая может закрыть любой портал, включая и этот тоже; так вот мне жаль тех, кто снизу, тех, от кого требуют совершать технологические чудеса контентного анализа, ничего толком не давая, а только требуя и нагибая… власть вы всё равно не измените, так лучше бы порекомендовали, что делать тем несчастным, которые вынуждены работать живым антиспам-фильтром
хорошо, пусть генератор, пусть на бесконечном топливе, но пусть он эпично долбанёт (можно вместе с базой), чтобы нашим героям снова пришлось спасаться! Ладно, это я так, к слову. Вам их будущее виднее, чем мне… и очень важно, чтобы так и оставалось:)
я думаю, что на нашем веку по обычным лестницам они будут просто взлетать пешком через три-пять ступеней, а по сложным перемещаться обычным шагом…
sci-fi оффтоп
Многие «абилки» изделий в фильме I, Robot (кроме автономности, кроме характеров, кроме эмоций, на уровне насекомых) выглядят вполне достижимо. Мне особенно разрушитель зданий понравился, ну и сцена дорожной засады, особенно момент перехода на ручное управление:)
Чтобы метеостанция не сдохла через полгода-год от самозапиливающейся флэшки, настоятельно рекомендую монтировать её в read-only, см., например, https://geektimes.ru/post/283802/. Остальные рекомендации помещаю в спойлеры.
про 1-wire, sysfs и hardcode
Несмотря на имеющиеся ссылки, неплохо было бы посвятить хотя бы один абзац текста описанию того, что DS18B20 работает через интерфейс 1-wire, что доступ к нему получаете через sysfs, и что для этого подгружаются модули w1-gpio и w1_therm. Для тех, кто предпочитает активировать 1-wire по-простому, можно указать и на утилиту raspi-config. Хорошо бы объяснить смысл параметров типа pullup и питанию. Те, кто раньше не работал с датчиками через sysfs, наверняка оценят и разъяснения к схеме именования, по которой все устройства появляются в /sys/bus/w1/devices, а каждому устройству сопоставляется каталог вида YY-xxxxxxxxxxxx, где YY суть Family Code (28 для DS18B20), а остальное — уникальный номер устройства. И если Вы свои устройства зашиваете в скрипт хардкодом, предупредите, пожалуйста, об этом явно в комментариях. Хотя резиденты местного клуба и так разберутся, но для гостей портала все вышеперечисленное не будет лишним.
про измеряемые температуры
Я бы указал на ограничения по рабочим температурам, длине проводов и т.д. У самого одноплатника есть ограничения по работе, см., например, https://habrahabr.ru/post/318486/ и комментарии.
Если спросить поисковик про «DS18B20 Raspberry Pi», будет просто взрыв. Та статья, что Вы выбрали, содержит достаточно абсурдное утверждение о якобы измеряемом диапазоне -10°C..+85°C. Это совершенно неверно, потому что на самом деле DS18B20 измеряет диапазон -55°C to +125°C, но только в диапазоне от -10 до +85 его точность заявлена как ±0.5°C (т.е. 1°C). Думаю, что в Вашей геолокации -10°C это вообще несерьёзно, неужели не обратили внимания?
про стиль naive coding
Конечно, стиль naive coding гораздо более понятен читателям, но всё-таки финальный скрипт я бы организовал так, чтобы перед сетевой частью все файлы sysfs были уже закрыты. Что будет при наползании следующего прогона на предыдущий, кстати? Мало ли чего, народный сервер придержит Вам транзакцию, скриптина зависнет минут на 15, за ней вторая, и т.д. У меня утилита feh недели за три из-за течки памяти сжирает всю оперативную память и флэшка не сдохла только потому, что работает в read-only с отключённым swap.
Двухчасовой танец с бубном меня явно выбесил
Уверяю: у Вас впереди много интересного:) Тем не менее, плюсую авансом.
так всем немного не по себе, поэтому его и называли «пугающим»; ну вот как если бы взять человека из средневековья и прокатить на мотоцикле по мегаполису с ветерком, или когда в полной темноте из-за холма в лоб выскакивает трактор-стогомёт, управляемый перманентно непросыхающим трактористом — ощущения сходные:))
какие именно ощущения
Descent (by Parallax Software)
а к вопросу нейтрализации — есть ещё народный гнев и коктейль Молотова, кстати — дёшево и эффективно;) DISCLAIMER: не призываю, я вообще за мир во всём мире
Вопрос в том, с какой скоростью Вы узнаете об отказе первого диска в загрузочном массиве?
Ну либо при перезагрузке, либо smartctl в помощь.
Вы уж простите, что я докопался на эту тему, но как smartctl работает с аппаратным RAID? Мне почему-то казалось, что нужны проприетарные утилиты, может, и не для всех чипсетов.
Если у Вас работает smartctl (или ну хоть что-нибудь, но без перезагрузки), поделитесь, пожалуйста спецификацией, я возьму на заметку. Или это просто fakeRAID?
В конце концов аптайм длится месяцами.
Я где-то читал статью про отказы массивов, где была статистика на тему незамеченных (незаменённых вовремя) дисков. На объектах бываю редко, вручную на системы почти никогда не заглядываю, поэтому мне нужно, чтоб в случае чего сразу сообщение на смартфон:)
*при использовании на одном хосте*
GlusterFS это вообще не про один хост! Преимуществ ровно 0. Ну и смысл как бы в отказоустойчивости без поднятия из бэкапа в случае смерти ноды proxmox-кластера.
Так я потому и выделил фразу, что воспринимаю GlusterFS как некую среду для многоузловых (в т.ч. гиперконвергентных) систем более серъёзного уровня, чем одиночный «офисный» комбайн с 1С, где GlusterFS просто не раскрывается. Подтвердили, спасибо. Но я тогда не понимаю, зачем он тогда Вам, просто на перспективу? Не похоже, чтобы у Вас трудилась многоузловая ферма:)
А, если по уму, то схема, ЕМНИП, вполне отработанная для любой ОС или софта — если не хотим закладок, то надо производить аудит сырцов (и да, даже MS их с удовольствием даст), собирать на гос. серверах и распространять через них.
Простите, а Вы сами когда-нибудь получали у крупных западных игроков исходный код их продуктов (являющийся строжайше охраняемой интеллектуальной собственностью)? Участвовали когда-нибудь в сертификации на НДВ?
Ладно, допустим, это не западный вендор, и код получен. Что с ним делать дальше?
Поэтому я ZFS без ECC не использую сам и не рекомендую другим, иначе bit flip проникает в хранимые данные, как мутация в гены…
В таких исследованиях, кстати, ещё бывает информация по электрическому износу микросхем ОЗУ — не встречали? Это миф или реальность? спасибо
только это даже не про «дома», это реальный проект в малом бизнесе, три года издевательств 24x7, увидите чужую боль и страдания ;) подписывайтесь и участвуйте в дискуссии, я с аудиторией общаюсь с удовольствием
а те, кто брал на себя технику, воспринимают задачу линейно и руководствуются принципом падишаха: дескать, возьмем кучу железа, а если не заработает, то либо ишак сдохнет, либо, простите, падишах перейдет на другую работу;) зато сколько всего интересного: проектирование, закупки, внедрения, да это же праздник!
"Следящий" продукт безопасности — не коммутатор и не шлюз, поломка на потребительском трафике не сказывается. С учётом качества имеющихся на рынке "аналогов" для корпораций и особенно (!) с поправкой на госзаказ лично мне кажется, что фактическая угроза приватности пользователей рунета гораздо ниже, чем многим кажется. Да аналогов-то и нет, никто такие масштабные конструкции толком не создавал, это вам не просто мегахранилище, это технологичная обвязка, фронтенды всякие и куча инфраструктурных стыков. Нет ничего невозможного, но с таким замахом нормально это работать всё равно не должно, потому что так почти всегда происходит с подобными проектами. Да здравствует импортозамещение, спите спокойно, дорогие друзья;)
DISCLAIMER: я не оправдываю большого брата:)
Основной цимес немолодого серверного железа в том, что его часто можно купить б/у у частных лиц за копейки, но это не относится к б/у флэш-памяти и «механике». Так что прости, Kingston, но беру только память с паритетом, старые SSD оставляйте себе. Впрочем, если реально серверные с околонулевым пробегом по SMART, пишите в личку, заберу себе под SLOG:))
Наверное, ошибки выправляет механизм контрольных сумм (ECC), а не регистр. Есть ещё переходной вариант с «паритетом», но без без буфера, ECC Unbuffered DIMM (UDIMM). Она подешевле вроде, но и пореже встречается. А конские объёмы ОЗУ с контрольной суммой очень хорошо идут в сочетании с ZFS, для поддержания end-to-end целостности на уровне дисковых томов. Это для домашних NAS, которые все норовят собрать из консюмерного г*вна и палок. Я же рекомендую использовать серверное г*вно и серверные палки, работает совершенно по-другому, проверял и хочу поделиться результатами.
Вот, сами себя и поправили. Контрольная сумма и регистр (буфер) часто идут вместе, но это как калькулятор и блокнот.
и да, долой регулирование интернета, аминь
отлично, и интрига с доктором очень в тему, желаю продолжение:)
откуда, кстати, энергия на базе? надеюсь на драматический эпизод с поломкой/саботажем и героическим ремонтом, больше боли и страданий!
впрочем, *ходить* по лестницам и не обязательно: https://youtu.be/hyGJBV1xnJI
я думаю, что на нашем веку по обычным лестницам они будут просто взлетать пешком через три-пять ступеней, а по сложным перемещаться обычным шагом…
gpiopinниже порекомендовали, это к вопросу 1-wire.Чтобы метеостанция не сдохла через полгода-год от самозапиливающейся флэшки, настоятельно рекомендую монтировать её в read-only, см., например, https://geektimes.ru/post/283802/. Остальные рекомендации помещаю в спойлеры.
sysfs, и что для этого подгружаются модулиw1-gpio w1_therm raspi-config pullupи питанию. Те, кто раньше не работал с датчиками черезsysfs, наверняка оценят и разъяснения к схеме именования, по которой все устройства появляются в/sys/bus/w1/devices Если спросить поисковик про «DS18B20 Raspberry Pi», будет просто взрыв. Та статья, что Вы выбрали, содержит достаточно абсурдное утверждение о якобы измеряемом диапазоне -10°C..+85°C. Это совершенно неверно, потому что на самом деле DS18B20 измеряет диапазон -55°C to +125°C, но только в диапазоне от -10 до +85 его точность заявлена как ±0.5°C (т.е. 1°C). Думаю, что в Вашей геолокации -10°C это вообще несерьёзно, неужели не обратили внимания?
sysfsбыли уже закрыты. Что будет при наползании следующего прогона на предыдущий, кстати? Мало ли чего, народный сервер придержит Вам транзакцию, скриптина зависнет минут на 15, за ней вторая, и т.д. У меня утилита feh недели за три из-за течки памяти сжирает всю оперативную память и флэшка не сдохла только потому, что работает в read-only с отключённым swap.Уверяю: у Вас впереди много интересного:) Тем не менее, плюсую авансом.
PS
Лично мне по теме понравился вот этот tutorial: Raspberry Pi Tutorial Series: 1-Wire DS18B20 Sensor.
Descent (by Parallax Software)
а к вопросу нейтрализации — есть ещё народный гнев и коктейль Молотова, кстати — дёшево и эффективно;) DISCLAIMER: не призываю, я вообще за мир во всём мире
но что дальше, как можно проверить десяток-другой миллионов строк кода на наличие «закладок»?
Вы уж простите, что я докопался на эту тему, но как smartctl работает с аппаратным RAID? Мне почему-то казалось, что нужны проприетарные утилиты, может, и не для всех чипсетов.
Если у Вас работает smartctl (или ну хоть что-нибудь, но без перезагрузки), поделитесь, пожалуйста спецификацией, я возьму на заметку. Или это просто fakeRAID?
Я где-то читал статью про отказы массивов, где была статистика на тему незамеченных (незаменённых вовремя) дисков. На объектах бываю редко, вручную на системы почти никогда не заглядываю, поэтому мне нужно, чтоб в случае чего сразу сообщение на смартфон:)
Так я потому и выделил фразу, что воспринимаю GlusterFS как некую среду для многоузловых (в т.ч. гиперконвергентных) систем более серъёзного уровня, чем одиночный «офисный» комбайн с 1С, где GlusterFS просто не раскрывается. Подтвердили, спасибо. Но я тогда не понимаю, зачем он тогда Вам, просто на перспективу? Не похоже, чтобы у Вас трудилась многоузловая ферма:)
Простите, а Вы сами когда-нибудь получали у крупных западных игроков исходный код их продуктов (являющийся строжайше охраняемой интеллектуальной собственностью)? Участвовали когда-нибудь в сертификации на НДВ?
Ладно, допустим, это не западный вендор, и код получен. Что с ним делать дальше?
источник
Поделитесь опытом аудита хотя бы 10 млн. строк кода, стало интересно.
Ссылки приветсвуются.