Девять лет назад я начал «в свободное от основной работы время» преподавать компьютерные дисциплины в одном из университетов Санкт-Петербурга. И только сравнительно недавно к своему удивлению обнаружил, что в наших вузах практически отсутствуют курсы с фокусом на проблематику распределённых вычислений. И даже на Хабре эта тема не раскрыта в достаточной мере! Надо прямо сейчас исправлять ситуацию.

Этой теме я и хотел посвятить статью или даже серию статей. Но потом решил выложить своё учебное пособие по основам распределённых вычислений, вышедшее в свет в этом году (читай, небольшую книгу объемом 155 страниц). В итоге получился гибрид – статья со ссылкой на книгу. Книга распространяется бесплатно и доступна в электронном виде.

Вместо пролога. Приступив к тексту статьи, я в очередной раз задумался, а зачем программисту нужно знать теоретические основы распределённых вычислений. Этот вопрос я неоднократно слышал (и продолжаю слышать) от студентов и специалистов, уже работающих в области ИТ. Действительно, зачем, например, знать, что «множество событий распределённого вычисления упорядочено частично, а не линейно»? В чем, так сказать, каждодневная практическая польза этого фундаментального знания?

Должен признать, что у меня нет готового заученного ответа, который я могу выдать не задумываясь. Поэтому каждый раз приходится напрягаться извилинами, и каждый раз ответы и аргументы получаются разными. Вот и сейчас всё как впервые…

На сегодняшний день ЦЕРН является одним из крупнейших пользователей Kubernetes в мире. Согласно недавней статистике, в этой европейской организации, стоящей за Большим адронным коллайдером (БАК) и рядом других известных научно-исследовательских проектов, запущено 210 кластеров K8s, обслуживающих одновременное выполнение сотен тысяч задач. Эта история успеха — о них.

По многочисленным просьбам, я заново открываю цикл “легендарные усилители”, чтобы продолжить рассказ о самых внушительных разработках в области усилительной техники, появившихся за последние семьдесят лет.



Некоторые из моих читателей справедливо отметили, что, несмотря на мой скепсис в отношении т.н. “лампового звука”, в этом цикле я уделил пренебрежительно мало внимания полупроводниковым разработкам. Этот пост исправит такую вопиющую несправедливость.

Да простят меня любители “теплой ламповости”, но на самом деле полупроводниковых УМЗЧ, признанных схемотехническими шедеврами, инженерами, меломанами и аудиофилами, значительно больше, чем ламповых.

Google решил сделать из Google Maps новый миллиардный бизнес, подняв цены в 14 раз и уменьшив лимит бесплатного использования почти в 30 раз, всё с минимальным периодом уведомления. К счастью, это немедленно стимулировало конкуренцию. Apple Maps, MapBox, TomTom — что выбрать?

Наш стартап GdziePoLek.pl позволяет пациентам находить нужные лекарства в обычных аптеках. И даже по названию («где найти лекарства») понятно, насколько важно отображение на карте. Работу сервиса легко объяснить одной картинкой, на фоне которой всегда были карты Google Maps:


Типичная страница нашего сервиса показывает наличие лекарства в аптеках

Органические молекулы находят в регионах формирования звёзд, в остатках звёзд и в межзвёздном газе, по всему Млечному Пути. В принципе, ингредиенты скалистых планет и жизни на них могли появиться в нашей Вселенной достаточно быстро, и задолго до появления Земли

История о том, как Вселенная стала такой, какой мы видим её сегодня, от Большого взрыва до огромного пространства, заполненного скоплениями, галактиками, звёздами, планетами и жизнью, объединяет нас всех. С точки зрения жителей планеты Земля, до момента появления Солнца и Земли прошло 2/3 космической истории. Однако жизнь появилась на нашем мире настолько давно, насколько мы способны заглядывать в прошлое при помощи измерений – возможно, даже 4,4 млрд лет назад. Это заставляет задуматься: не появлялась ли жизнь во Вселенной раньше нашей планеты, и в принципе, насколько давно она могла появиться? Это хочет узнать наш читатель:

Как скоро после Большого взрыва могло накопиться достаточно тяжёлых элементов для формирования планет, и, возможно, жизни?

И даже если мы ограничимся тем типом жизни, который мы считаем «похожим на наш», ответ на этот вопрос отправит нас дальше в прошлое, чем вы могли бы себе представить.

В науке можно найти удивительно мало доказанных фактов. Вместо этого учёные часто рассуждают о том, сколько свидетельств существует в пользу их теорий. Чем больше свидетельств, тем сильнее теория и тем больше людей с ней соглашаются.

Учёные обычно очень осторожно подходят к сбору свидетельств и тщательной проверке своих теорий. Но в истории науки есть несколько ключевых, хотя и редких, примеров того, как свидетельства оказались настолько обманчивыми, что заставили всё научное сообщество верить в то, что позже было признано совершенно неверным.

Обычно учёные при сборе свидетельств делают предсказания чего-либо, и смотрят, насколько они оказались правы. Проблемы случаются, когда предсказания оказываются правильными, а теория, использовавшаяся для их создания, оказывается неправильной. Предсказания, кажущиеся особенно рискованными, и оказавшиеся правильными, кажутся очень убедительными свидетельствами, как часто подчёркивали Карл Поппер и другие философы науки. Но история показывает, что даже очень убедительные свидетельства могут обмануть нас.

В июле 2015 года межпланетная станция "Новые горизонты" вошла в историю, совершив первый пролёт мимо Плутона. В процессе пролёта зонд собрал горы данных о поверхности Плутона, его составе, атмосфере и системе спутников. Он также подарил нам захватывающие снимки «сердца» Плутона, его замёрзших равнин, горных гряд и загадочной "колючей равнины".

Эти странные особенности впервые продемонстрировали, как сильно отличается поверхность Плутона от Земли и других планет внутренней Солнечной системы. Забавно, что они также показали, насколько этот далёкий мир похож на Землю. К примеру, в новом исследовании команда учёных, обрабатывавших изображения, полученные с «Новых горизонтов», заметила «дюны» на поверхности Плутона, напоминающие песчаные дюны Земли.

В материале, перевод которого мы сегодня публикуем, речь пойдёт о том, что делать в ситуации, когда данные, получаемые с сервера, выглядят не так, как нужно клиенту. А именно, сначала мы рассмотрим типичную проблему такого рода, а потом разберём несколько путей её решения.

Я опять хочу погрузить вас в мир странного опыта, который дают люди из игровой сферы. Прошлый раз был командир крупного альянса из Eve, а сегодня — Хаст и Тео, которые ведут коммерческие настольные словесные ролевые игры.

В смысле, что к нему приходят игроки, они вместе садятся за стол, и он начинает рассказывать, что с ними происходит. А они отвечают, что делают. Ведущий игры обеспечивает движок и рендер, а игроки делают выбор за героев. Это как компьютерная онлайн-игра, только абсолютно без компьютера. И с полной, тотальной свободой действий.

Это увлечение носит массовый характер в Америке и Европе, потому что куда интереснее сериалов и сетевых игр в правильных руках. В России это больше 25 лет был любительский «кухонный» формат, но вот уже пару лет как появились профессиональные Мастера. То есть ведущие, которые зарабатывают только этим себе на жизнь. Ранее такого извращения не наблюдалось.

Из опыта этих людей можно много почерпнуть для гейм-дизайна и вообще полезного. Но куда интереснее просто залезть и посмотреть, как устроен этот мир гиков.

Формирование космической структуры на крупных и малых масштабах сильно зависит от взаимодействия тёмной и нормальной материи. Несмотря на косвенные свидетельства существования тёмной материи, нам бы очень хотелось напрямую обнаружить её – а это может произойти, только если между нормальной и тёмной материей будет ненулевое взаимное пересечение.

Баланс материи во Вселенной, несмотря на все её планеты, звёзды, газ, пыль, галактики, и всё, что мы в ней обнаруживаем, не сходится. На крупнейших космических масштабах мы видим одно и то же: для наблюдаемых нами гравитационных эффектов не хватает материи. Материя скапливается, образуя космическую паутину; скопления галактик вырастают до огромных размеров, а внутри них галактики движутся с большими скоростями; отдельные галактики вращаются с большой скоростью, остающейся большой до самого их края.

Но всего это могло и не быть, если бы материи не было в пять раз больше, чем всё, за что могут отвечать одни лишь протоны, нейтроны и электроны. Нашей картине Вселенной для внутренней непротиворечивости необходима тёмная материя (ТМ). И если она реальна, тогда и у нашего Млечного пути имеется своё гало из ТМ, причём часть этой ТМ проходит через Солнечную систему, Землю и даже ваше тело. И вот как узнать, сколько ТМ находится внутри вас в данный момент.

Как массивное распараллеливание возвышает эффективность мозга над возможностями ИИ

Мозг – устройство сложное; у людей он содержит порядка 100 млрд нейронов и около 100 триллионов соединений между ними. Его часто сравнивают с другой сложной системой с огромными возможностями решения задач: цифровым компьютером. В мозге и компьютере содержится большое количество элементарных единиц – нейронов или транзисторов, соответственно – подключенных к сложным схемам, обрабатывающим информацию, передаваемую электрическими сигналами. На глобальном уровне архитектуры мозга и компьютера немного похожи, поскольку состоят из практически отдельных контуров для ввода, вывода, центральной обработки, и памяти.

Кто лучше справляется с решением проблем – мозг или компьютер? Учитывая быстрое развитие компьютерных технологий в последние десятилетия, можно решить, что побеждает компьютер. И действительно, компьютеры разрабатывают и программируют с целью победы над человеческими мастерами в сложных играх, таких, как шахматы в 1990-х, и го, совсем недавно – а также в конкурсах на энциклопедические знания, таких, как телевикторина "Jeopardy!" Но пока что люди побеждают компьютеры во множестве задач, связанных с реальным миром – от способности различить на дороге велосипедиста или пешехода до поднятия со стола чашки с чаем и аккуратного перемещения её ко рту – не говоря уже о концептуализации и творчестве.

Всем привет. На днях возникла идея написать статьи про основы компьютерных сетей, разобрать работу самых важных протоколов и как строятся сети простым языком. Заинтересовавшихся приглашаю под кат.

Предположим, что вы плохо владеете сетевыми технологиями, и даже не знаете элементарных основ. Но вам поставили задачу: в быстрые сроки построить информационную сеть на небольшом предприятии. У вас нет ни времени, ни желания изучать толстые талмуды по проектированию сетей, инструкции по использованию сетевого оборудования и вникать в сетевую безопасность. И, главное, в дальнейшем у вас нет никакого желания становиться профессионалом в этой области. Тогда эта статья для вас.

Пустыня Атакама в Чили — райское место для астрономов. Уникальная чистота воздуха, благоприятные атмосферные условия в течение года и крайне низкий уровень светового загрязнения делают этот негостеприимный район идеальным местом для строительства гигантских телескопов. Например, телескоп E-ELT, под который уже готовят строительную площадку. Однако это не единственный масштабный проект подобного рода. С 2005 года ведутся работы по созданию ещё одного впечатляющего астрономического инструмента, Гигантского Магелланова Телескопа (GMT). Так он будет выглядеть после окончания строительства в 2020 году:



В основе его оптической системы лежит отражающая поверхность из 7 огромных круглых зеркал. Каждое диаметром 8,4 м и весом 20 т. Само по себе изготовление таких зеркала, да ещё и с требуемой точностью, представляет настоящий инженерный шедевр. Как же создаются подобные изделия? Об этом — под катом.

Огромный, 25-метровый Гигантский Магелланов телескоп (ГМТ) не только откроет новую эру наземной астрономии, но и получит первые, самые современные изображения Вселенной, на которых звёзды будут выглядеть именно такими, какие они есть, без дифракционных лучей

При разглядывании величайших изображений Вселенной у нас включается память и воображение. Мы можем рассмотреть планеты Солнечной системы с удивительной детализацией, галактики, расположенные в миллионах или даже миллиардах световых лет от нас, туманности, где рождаются новые звёзды, и звёздные останки, имеющие жутковатый, фаталистический вид нашего космического прошлого и будущего нашей Солнечной системы. Но самые распространённые объекты на этих фотографиях – это звёзды, имеющиеся везде и во всех направлениях, куда бы мы ни посмотрели, как в нашем Млечном Пути, так и за его пределами. И на всех изображениях, от наземных телескопов до Хаббла, у звёзд почти всегда видны лучи: это артефакт изображения, присущий конструкции телескопов. Мы готовимся к появлению следующего поколения телескопов, и среди них выделяется 25-метровый Гигантский Магелланов телескоп (ГМТ): у него единственного не будет этих дифракционных лучей.

Эта история для меня началась в 2015 году, когда я посмотрел передачу на Youtube с Павлом Поляном, посвященную 70-летию освобождения Аушвица-Биркенау. Он рассказывал о своей книге «Свитки из пепла», его новых переводах с оригиналов документов от непосредственных свидетелей холокоста — членов зондеркоммандо, о найденных им цензурированных первыми переводчиками местах, о состоянии рукописей и о технических проблемах чтения, с которыми он столкнулся.

Меня заинтересовал момент: каким же образом выглядит процесс перевода военных документов, насколько качественно они были оцифрованы, все ли было сделано для того, чтобы не ломать глаза переводчику. Когда я получил на анализ копии оцифрованных документов, я был удивлен нераскрытым потенциалом одной их них – Марселя Наджари. Ее часть в «свитках из пепла» занимала совсем малую главу, через несколько лет эта история раскрутилась до публикаций в мировых СМИ. Она интересна так же, как и страшна.

Моя специальность — физика конденсированного состояния. Разумеется, в процессе погружения в нее требуется изучать много научных статей, однако на разбор хотя бы одной может уйти немало времени. На arxiv в разделе cond-mat публикуется более тысячи статей в месяц. Складывается ситуация, когда многие исследователи, особенно начинающие, не обладают целостным видением своей области науки. Описанный в этой статье инструмент резюмирует содержимое базы научных статей и призван ускорить работу с литературой.

По следам недавней публикации про работу с картами метеорадаров я решил написать о собственном подобном опыте.

Где-то в конце мая, очередной раз прикидывая, соберется ли гроза из вон тех туч за окном, я подумал: если даже на самолетах ставят метеорадары, по которым они обходят грозы, то неужели нет аналогичных стационарных радаров? И если они есть, то не доступны ли изображения с них в интернете?

Не самый быстрый поиск в интернете показал, что такие радары есть, называются ДМРЛ (доплеровские метеорологические радиолокаторы), и снимки с них действительно выставляются в интернете. Есть российский сайт meteorad.ru, белорусский meteoinfo.by (правда, недоступно из России, не из России см. раскрывающееся меню слева), и еще есть сайт orm.mipt.ru. При этом самые приятные картинки — на meteorad.

Вскоре понял, что метеораду не хватает трех вещей: хорошей картографической подложки, истории за последние несколько часов и объединения картинок с нескольких радаров. На каком-то другом сайте я нашел карту с таким функционалом, но там не было наиболее меня интересующего нижегородского радара. Что ж, значит, надо сделать такую карту самому.

Представление художника о планетарной системе Кеплер-42. У нас есть все основания полагать, что вся она состоит из материи, а не из антиматерии, но чёрные дыры, возможно, расскажут нам совсем другую историю – у нас нет возможности установить, из чего они состоят

Одна из величайших космических загадок всей Вселенной – почему материи в ней настолько больше, чем антиматерии. Законы физики, насколько они нам известны, позволяют создавать и уничтожать материю и антиматерию строго в равных долях. Однако же, глядя на звёзды, галактики и крупномасштабные структуры Вселенной, мы обнаруживаем, что все они состоят из материи, а количество антиматерии пренебрежимо мало. Это космическая загадка заставляет многих людей рассуждать о том, что, возможно, и существовало равное количество антиматерии, а затем она каким-то образом отделилась от материи. Возможно ли это, и могла ли антиматерия спрятаться в чёрных дырах? Наш читатель спрашивает:

Существует загадка наличия материи и отсутствия соответствующего количества антиматерии. Некоторые удалённые и старые чёрные дыры сформировались гораздо быстрее, чем могут предсказать текущие теории. Может ли пропавшая антиматерия прятаться внутри этих доисторических чёрных дыр? Сравнима ли масса сверхмассивных чёрных дыр хотя бы приблизительно с количеством пропавшей антиматерии?

Мысль захватывающая. Давайте углубимся в эту теорию и разберёмся.

0. Вступление

Цель данной статьи собрать в небольшую кучку основную информацию, минимально достаточную для того, чтобы начать работать с докер на ежедневной основе и удалить с рабочей машины локально установленные apache, mysql, virtualenv, python3, mongodb, memchaced, redis, php5, php7 и весь остальной зоопарк, который мы используем при разработке, и который зачастую еще и конфликтует между собой от версии к версии.