Как стать автором
Обновить
17
0
Айван @AivanF

Программный Инженер, Разработчик, Аналитик

Отправить сообщение

Ceph. Анатомия катастрофы

Время на прочтение20 мин
Количество просмотров65K
Ceph — это object storage, призванный помочь построить отказоустойчивый кластер. И все-таки отказы случаются. Все, кто работает с Ceph, знают легенду о CloudMouse или Росреестре. К сожалению, делиться отрицательным опытом у нас не принято, причины провалов чаще всего замалчивают, и не дают будущим поколениям научиться на чужих ошибках.

Что ж, настроим тестовый, но близкий к реальному кластер и разберем катастрофу по косточкам. Измерим все просадки производительности, найдем утечки памяти, разберем процесс восстановления обслуживания. И все это под руководством Артемия Капитулы, который потратив почти год на изучение подводных камней, заставил при отказе производительность кластера не падать в ноль, и latency не подскакивать до неприличных значений. И получил красный график, который ну сильно лучше.


Далее вы найдете видео и текстовую версию одного из лучших докладов DevOpsConf Russia 2018.


Знакомство с хранилищем Ceph в картинках

Время на прочтение11 мин
Количество просмотров334K
Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

Знакомьтесь: Ceph


Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.
Читать дальше →

Новый сервис от Google ставит под вопрос защиту персональных данных

Время на прочтение7 мин
Количество просмотров10K

Google планирует заменить cookie на новую технологию сбора информации о пользователях для рекламодателей. В Евросоюзе опасаются монополии IT-гиганта в области обезличенных данных (ОД) и деанонимизации. Представители бизнеса и эксперты соглашаются с тем, что американская компания только формально будет соблюдать законы стран о защите персональных данных (ПД). По факту Google получит IT-инструмент не только маркетингового, но и идеологического манипулирования гражданами.

Читать далее

Что скрывают протоны?

Время на прочтение10 мин
Количество просмотров25K
Двадцать лет назад физики начали исследовать загадочную асимметрию внутреннего строения протона. Результаты их работы, опубликованные в конце февраля 2021 года, объясняют, как антивещество помогает стабилизировать ядро каждого атома.

Очень редко упоминается тот факт, что протоны — позитивно заряженные частицы в центре атома — являются отчасти антивеществом.

В школе нам говорили, что протон представляет собой группу из трех элементарных частиц под названием кварки — два u-кварка (верхних) и один d-кварк (нижний), чьи электрические заряды +2/3 и -1/3 соответственно в сумме дают протону заряд +1. Но за этой элементарной картиной скрывается гораздо более странная и еще неразгаданная история.
Читать дальше →

Что делать, если технический прогресс ухудшает жизнь людей? Перестаньте кормить зверя

Время на прочтение8 мин
Количество просмотров42K
Что делать, если технический прогресс ухудшает жизнь людей? Перестаньте кормить зверя


— Погоди, какой-то луддит хочет поговорить со мной лицом к лицу

«В девятнадцатом веке английские текстильщики отреагировали на внедрение новых технологий на фабрике, разбив вдребезги ткацкие станки, из-за которых люди теряли работу, голодали и умирали. Это движение было высмеяно учёными как архаичная и неэффективная попытка остановить ход истории. Но оно олицетворяет антагонистические отношения между всеми рабочими людьми (включая нас сегодня), и так называемыми прогрессивными достижениями новых технологий. Луддиты не были архаичными, и они по-прежнему проявляют себя в 21 веке», — из аннотации к книге Гевина Мюллера «Луддиты были правы насчёт того, почему вы ненавидите свою работу».

Сегодня эта проблема опять актуальна. Техногиганты Facebook, Google и Amazon — символы технологического прогресса и компьютерной революции. Транснациональные корпорации с капитализацией в триллионы долларов, знамя интернет-экономики, гордость Кремниевой долины.

Но всё громче раздаются голоса «современных луддитов», которые сомневаются, что интересы технокорпораций совпадают с интересами общества. Неужели технический прогресс способен ухудшать жизнь людей? Разве такое возможно в принципе?
Читать дальше →

Почему мы должны перестать заниматься пет-проектами

Время на прочтение6 мин
Количество просмотров42K
image

Я проработал над своим проектом три года. Причем этот был далеко не первый, у меня скопилось целое кладбище незаконченных проектов. Но ведь на основной работе я вполне успешно справляюсь со своими задачами. Нет проблем ни с оценкой сроков, ни с исполнением.

Конечно, такая ситуация не должна никого удивлять: работа — это работа, а домашний проект должен приносить удовольствие, можно делать самое вкусненькое, а не заниматься однообразной шлифовкой мелких деталей, которые необходимы для релиза.

Все это так, но удовольствие видеть, как твоим продуктом пользуется кто-нибудь еще, видеть, что он решает чьи-то проблемы — несравнимо выше. Так что я решил во что бы это ни стало довести хотя бы один проект до релиза.
Нужно было всего лишь разобраться, что мне мешало сделать это раньше.
Читать дальше →

Помолчи-ка, программист

Время на прочтение11 мин
Количество просмотров103K

Всякая дичь случается в жизни программистов. Кидают на деньги, таскают на допросы в налоговую, угрожают арматурой, обещают испортить репутацию. Сейчас, конечно, как-то покультурнее стало, но нет-нет да и случится какая-нибудь история, достойная публикации.

Сегодняшний герой – Сергей, имя вымышленное. Добро пожаловать в клуб анонимных обиженных программистов, устраивайтесь поудобнее, в комнату входит человек и говорит:

«Здравствуйте, я – Сергей. Мне запрещают разговаривать с клиентами. Но я в этом не виноват.»

Читать далее

Почему вам не дают подробный фидбек после собеседования

Время на прочтение8 мин
Количество просмотров81K

Зашла вчера в чат тестировщиков и вижу знакомый диалог:

— Мне в фирме 1 обещали фидбек через пару дней. В итоге неделя прошла, сам им пишу, а меня игнорят...

— Ага, я вот тоже собеседование в фирме 2 прошел, мне обещали ответ дать. А прислали просто отписку! «Вы нам не подходите», и всё.

Читать далее

Стратегии расширения Django User Model

Время на прочтение9 мин
Количество просмотров109K
В Django встроена прекрасная система аутентификации пользователей. В большинстве случаев мы можем использовать ее «из коробки», что экономит много времени разработчиков и тестировщиков. Но иногда нам необходимо расширить ее, чтобы удовлетворять потребностям нашего сайта.

Как правило возникает потребность хранить дополнительные данные о пользователях, например, краткую биографию (about), дату рождения, местоположение и другие подобные данные.

В этой статье пойдет речь о стратегиях, с помощью которых вы можете расширить пользовательскую модель Django, а не писать ее с нуля.
Читать дальше →

Биологически правдоподобное обучение ИИ. Краткий обзор достижений

Время на прочтение13 мин
Количество просмотров6.9K

Алгоритм, который привёл к безудержному успеху нейронных сетей глубокого обучения, не работает в биологическом мозге, но исследователи находят работающие альтернативы. Изучая алгоритмы в искусственных сетях глубокого обучения, учёные узнают всё больше о том, как учатся сети биологических нейронов.

В 2007 году ведущие мыслители в области нейронных сетей глубокого обучения организовали неофициальную «спутниковую» встречу на полях престижной ежегодной конференции по искусственному интеллекту. Последним спикером встречи был  Джеффри Хинтон  из Университета Торонто, когнитивный психолог и учёный в области компьютерных наук, ответственный за некоторые из крупнейших достижений в области глубоких сетей...

Приятного чтения!

Заключённый использовал одиночную камеру для изучения математики. Сегодня он решает самые трудные уравнения в мире

Время на прочтение19 мин
Количество просмотров73K

В 2010 году некий Кристофер Хейвенс (Christopher Havens) был приговорен к 25 годам тюремного заключения за убийство. В 2020 году его работа по теории чисел была опубликована в научном журнале. Все стены камеры, в которой Кристофер Хейвенс отбывает срок, испещрены бумажными листками с формулами.

Бумажные листы, исписанные числами и греческими символами, уже не помещаются на небольшом столике и теперь, как пёстрые обои, развешаны по всем стенам камеры размером 2.4x3.7 метров. В процессе поиска решений он мог записывать на стенах уравнения непрерывных дробей длиной до 4.5 метров. Это его история.

Приятного чтения!

Трассировщик лучей с нуля за 100 строчек Python

Время на прочтение16 мин
Количество просмотров25K

В этом посте мы заглянем под капот алгоритмов компьютерной графики, пошагово разберем основные принципы трассировки лучей и напишем ее простую реализацию на Python. Никаких сторонних графических библиотек — только NumPy и голый код в компиляторе.

Примечание: Эта статья ни в коем случае не является полным руководством/объяснением трассировки лучей, поскольку эта тема слишком обширна, а скорее просто введением для любопытствующих.

Читать далее

Ловушка знаний или как ускорить обучение в несколько раз

Время на прочтение5 мин
Количество просмотров64K

В этой статье я рассмотрю только один параметр, влияющий на освоение чего либо - внимание. Конечно, существуют и другие, но это вопрос других статей. Прошу в критике и комментариях учесть это.

Ключевой параметр во всех моих вычислениях - уровень концентрации внимания при применении. Цифры относительны. Тенденции прослеживаются при любых эмпирических оценках. Я взял высокие для удобства демонстрации принципов. 

Познать дзен быстрого обучения

−2000 строк кода

Время на прочтение1 мин
Количество просмотров35K
История с сайта Folklore.org рассказывает эпизод процесса разработки внутри Apple в первые годы жизни компании.

В начале 1982 года команда ПО Lisa старалась двигаться к тому, чтобы в течение следующих шести месяцев софт вышел. Часть менеджеров решила, что неплохо бы оценивать производительность каждого отдельного инженера в числе строк кода, написанных за неделю. Менеджеры создали форму, которую инженеров обязали заполнять каждую пятницу. В этой форме одно из полей отвели на число строк кода за неделю.

Билл Аткинсон, автор Quickdraw, один из главных дизайнеров пользовательского интерфейса и явно самый важный разработчик Lisa, посчитал число строк кода глупой оценкой продуктивности. Билл видел своей целью писать как можно более маленькие и быстрые программы. Показатель в число строк кода наоборот побуждал писать небрежный, раздутый и кривой код.
Читать дальше →

Судьба предателя, угнавшего новейший МиГ-25 в Японию

Время на прочтение9 мин
Количество просмотров1.5M

Сегодня в воздушном пространстве США летают около пятидесяти истребителей российского производства — от устаревших МИГ-15 и до современных МИГ-29. Большая их часть приобретена на открытом рынке после распада Советского Союза и расторжения Варшавского Договора. В советское время у американцев не было шансов приобрести наши боевые машины, хотя Штаты ради этого были готовы на все.

6 сентября 1976 года произошло ЧП: во время учебного полета на одном из дальневосточных аэродромов в Приморье, старший лейтенант Виктор Беленко поднялся в воздух на суперсовременном МИГ-25, и не вернулся на базу.

Сегодня в воздушном пространстве США

Выгорание — норма? Часть 1

Время на прочтение8 мин
Количество просмотров45K

Почему люди выгорают, как отличить выгорание от усталости, как отловить на ранних стадиях, терминология и нейробиология процесса на пальцах. Первая статья цикла — вводная: разбираемся с терминами и пониманием явления.


Вводная часть


Выгорание — довольно объемная тема, охватить которую в рамках одной статьи не вижу возможности. Воспринимать такой объем информации, утрамбованный в одну статью, будет сложновато.


Мне важно, чтобы изложенным материалом было потом удобно пользоваться, как мне самой, так и читателям. Поэтому я решила написать цикл статей, и разложить всё по полочкам в том объеме, который потребуется для достаточного погружения.


В первой статье цикла разбираю, что такое выгорание, как, почему и у кого возникает (далее это тоже будет, в связке со стадиями), синхронизируем терминологию, познакомимся с моделями и стадиями (фазами) выгорания по Маслач и Буриш. Имея такую базу, проще понять своё состояние и наметить конкретный план выхода, а также продолжить изучение темы самостоятельно.


Читать дальше →

Как подключить содержимое любых файлов для использования в коде C / C++

Время на прочтение5 мин
Количество просмотров25K

Задача состояла в подключении файлов: HTML, JS, CSS; без специальной подготовки. Так же неудобно подключать бинарные файлы (например картинки) конвертируя их в HEX. Так как не хотелось конвертировать в HEX или разделять на строки, искал способ подключения файла в адресное пространство программы.

Читать дальше →

О фейковых криптовалютах (Ethereum, Tron, Ripple и пр)

Время на прочтение10 мин
Количество просмотров310K

К сожалению, концепция криптовалют, несмотря на своё изящество, не нашла понимания у основной массы пользователей. "Среднему пользователю" неважно, лежат ли его деньги в распределённом блокчейне или на каком-то конкретном сайте. Для него это всё равно "где-то в сети". Когда деньги на сайте - даже спокойнее, потому что понятно, кто за него отвечает, в случае чего можно поругаться или написать в соцсети о том, какие они негодяи, или даже подать в суд, а если деньги "потерялись" в блокчейне, то и пожаловаться некому. Пользователи, покупающие биткоины, не хранят приватные ключи у себя, а в основном делегируют это посторонним сайтам, потому для них разницы действительно нет. А даже если хранят у себя - сначала ведь этот ключ они где-то генерируют, и потом скачивают. Понятно, что это уже не полностью их ключ. В результате распространяются слухи о "взломе биткоина", когда деньги уходят хакерам, и подобные байки. С другой стороны, умные и авторитетные люди объясняют, что блокчейн и построенные на нём криптовалюты - это надёжно и правильно, и не верить им нет оснований.

Это закономерно привело к появлению муляжей криптовалют, которые якобы используют те же технологии, но при этом дают преференции их создателям, т.е. не такие уж децентрализованные. Для пользователей всё равно, а создателям профит. Самый распространённый из таких муляжей - Ethereum.

Читать далее

Собираем Mac mini на Raspberry Pi Zero

Время на прочтение11 мин
Количество просмотров28K

Несколько лет назад я увидел собранный Джоном Ликом из RetroMacCast миниатюрный Macintosh, размер которого был в три раза меньше реального. Меня одолела зависть…Я очень хотел собрать аналогичный, но тогда был слишком ограничен в ресурсах. Однако время шло, и технологии не стояли на месте. Появление более компактных и дешевых компонентов существенно облегчило задуманный тогда проект, и в итоге он воплотился в жизнь.
Читать дальше →

Переобученные нейросети в дикой природе и у человека

Время на прочтение6 мин
Количество просмотров83K
Представьте, что вы проектируете птенца чайки. ТЗ такое — у него довольно плохое зрение, маленький мозг, но ему нужно как можно больше есть, а то сдохнет. Еду ему приносит мама-чайка. Основная задача — распознать маму-чайку и получить у неё еды. Во входной поток зрения поступает, скажем, 320х200 px, и дальше 10 сантиметров от глаза он не умеет фокусироваться. Природа решила так — надо разметить клюв чайки ярким оранжевым округлым пятном. Вот таким:



В ходе реверс-инжиниринга чайки в 1950-х Нико Тинберген провёл 2431 опыт с 503 птенцами (часть его коллега Рита Вейдманн высидела сама). Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки. Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.

Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе.

Если вы думаете, что мы с вами не забагованы, то ошибаетесь. У нас, людей, есть примерно такой же пример переобучения, хорошо известный анимешникам.
Читать дальше →

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Зарегистрирован
Активность