Мы подготовили подборку свежих высоко оцененных изданий (опубликованных после 2021 года), которые рекомендуют специалисты облачных провайдеров, резиденты Hacker News и участники тематических тредов на других площадках.

Книги из списка могут быть полезны системным администраторам, разработчикам и всем, кто желает погрузиться в мир микросервисов, ОС и DevOps.

Также напомним, что у нас есть база знаний с практическими материалами по облачным сервисам.

Безопасные высокоскоростные линии связи достигли практически всех уголков Земли и вышли за ее пределы. Однако задержки распространения сигнала в сетях спутниковой связи исторически значительно затрудняли развитие «космического VPN».

По мере снижения стоимости связи, растет интерес к сетевым архитектурам, которые в перспективе обеспечат интеграцию наземных и космических сетей… до самого предела распространения нашей цивилизации.

Возможно ли построение безопасных каналов связи не только на околоземной орбите, но в пределах Солнечной системы или даже далее?

Разработчики часто находятся между Сциллой и Харибдой: «не улучшай то, что работает» и «можно ли сделать лучше то, что и так работает отлично?». Применительно к облачной архитектуре пространство для манёвра сужается: каждое изменение может повлиять на бизнес тысяч клиентов.

Сегодня наша тема — повод задуматься и подискутировать. Мы затронем аспект облака, о котором обычно не говорят — JSON. Объекты JSON используют для разных задач. В основном это обмен данными между серверами и веб-приложениями. Формат также применяют для управления облачной инфраструктурой, интеграции с кастомными скриптами и сервисами. Есть и экзотические кейсы вроде хранения в файлах JSON записей базы данных.

Однако некоторые специалисты отмечают большое количество «синтаксического мусора», другие — ограниченную поддержку инструментов разработки. Поэтому появляются альтернативы, о которых мы и поговорим в сегодняшнем материале.

По мере роста компании с территориально распределённой структурой сети передачи данных становятся бутылочным горлышком, которое затрудняет модернизацию и внедрение новых сервисов.

В таких случаях виртуализация сетевых устройств, то есть запуск функций сети в виде виртуальных машин или контейнеров, привлекательна — на первый взгляд. Однако ряд экспертов считает, что сетевая виртуализация переоценена.

Мы решили рассмотреть разные точки зрения, а также сравнить возможности SDN и NFV в построении динамичной сетевой архитектуры.

PostgreSQL и Redis — распространенные СУБД, которые «обросли» аудиторией. Их популярность варьируется от задачи к задаче, а сами они имеют свои сильные и слабые стороны.

Нашим клиентам бесплатно на тест доступны PostgreSQL и Redis по модели DBaaS, поэтому мы решили подробнее рассмотреть эти инструменты с точки зрения надежности, производительности и простоты настройки, а также обсудить тематические кейсы.

Мы запустили новую Базу Знаний. В классическом формате — это простые и понятные инструкции для клиентов облака. Если вы откроете, например, статью «Кроссплатформенная миграция», то узнаете, как перенести данные между различными средами виртуализации.

Большинство руководств к вычислительным системам и программному обеспечению строгие, бьющие прямо в точку. Однако многие их предшественники были написаны в другом тоне, и на то было несколько причин. Легко было встретить смешные иллюстрации и даже примеры кода с комментарием «Надеюсь, вы знаете, что делаете».

Обсудим такие руководства и поговорим об отношении к этим, на первый взгляд, формальным документам.

Герои статьи для себя сделали иллюстрацию

Последние несколько месяцев оказались богаты на новости о системах искусственного интеллекта. Тематические площадки и видеохостинги заполнены контентом про ChatGPT и Midjourney; разработчики делятся примерами кода, созданного ИИ-помощником Copilot.

Да, результаты варьируются от случая к случаю, но волны хайпа оказалось достаточно, чтобы на проекты обратили внимание корпорации. Так, в Google беспокоятся, что новые языковые модели пошатнут их положение на рынке, а Microsoft планирует инвестировать $10 млрд в компанию-разработчика ChatGPT.

Новые нейросети уже находят применение в программных проектах. Их встраивают в текстовые редакторы, браузеры, облачные платформы. Но какой бы ни была модель машинного обучения, работа с ней требует вычислительных ресурсов. Поддержка таких решений может обходиться в сотни тысяч долларов ежедневно.

И в этом ключе интересно сместить акцент на более доступные «туманные вычисления».

Оптика — краеугольный камень сетевых систем, телевидения, телекоммуникаций и, конечно, ЦОДов. Оптические разработки служат инструментом коммуникации как между серверами, так и отдельными вычислительными компонентами. По некоторым оценкам, по крайней мере три четверти трафика остается и «циркулирует» внутри дата-центров.

Объемы данных в мире постоянно увеличиваются — по оценкам исследовательской компании TechJury, человечество генерирует приблизительно 1,15 трлн мегабайт ежедневно. Вместе с объемами данных растет и потребность в развитии высокоскоростных технологий передачи данных.

Сегодня мы обсудим, какие технологии обеспечат критически важную связь между многочисленными вычислительными ресурсами. Даже незначительные улучшения в производительности или использовании ресурсов могут оказать значительное влияние на работу серверов.

Подготовили компактную подборку книг для специалистов по кибербезопасности. Их рекомендуют к прочтению резиденты новостного веб-агрегатора Hacker News, крупные исследовательские институты, а также издательства MIT и Harvard Business Review. В список попали как исчерпывающие настольные справочники для развития hard skills, так и легкие материалы для погружения в историю предмета.

Физик Альберт-Ласло Барабаши всегда считал, что сетевые технологии во многом предопределяют жизнь каждого человека. Они связаны с многочисленными сферами: личными отношениями, бизнесом, медициной. Своими исследованиями и идеями Барабаши внес значительный вклад в развитие науки о сетях.

Вместе с ученым Рекой Альбертом физик создал модель Барабаши-Альберт (БА). В настоящее время это наиболее известная модель масштабно-инвариантной сети. Она базируется на двух основных принципах: неограниченном росте и преимущественном присоединении. Давайте поговорим о ней подробней и попробуем разобраться, чем она была хороша и почему критики пытались разгромить эту идею.

Потеря бэкапов — проблема как для обычных пользователей, так и для организаций. Ситуации, когда данные пропадают из-за программного сбоя, не редкость, но так же часто причиной потери становится сбой аппаратный — в 42% случаев (по данным StorageCraft).

В ЦОДах для хранения резервных копий флеш-память постепенно занимает доминирующее положение. У SSD есть множество плюсов и очень мало минусов. Можно предположить, что через несколько SSD накопители победят окончательно и бесповоротно. На самом деле все обстоит несколько иначе.

Посмотрим на статистику облачных провайдеров и опыт энтузиастов, предпочитающих нестандартные подходы к хранению резервных копий.

Знать время нужно всем. Точное время необходимо для криптографии, непрерывного производства, навигации на Земле и в космосе.

Интернет зависит от времени так, что малейшая ошибка ведет к масштабным проблемам: падению серверов, сбоям в DNS, зависанию приложений. Из-за проблем со временем системы зацикливаются и потребляют излишние ресурсы CPU.

Конечно, программисты знают, откуда берется время. UNIX-time, timestamp, datetime, tzdata, NTP и другие решения дают четкое ощущение контроля времени. Однако кому на самом деле время принадлежит, кто несет за него ответственность?

Это история о бесконечном поиске консенсуса, талантливых одиночках, работающих без зарплаты, крушении «Титаника», увлеченном слепом программисте и смелых решениях, ведущих к новым ошибкам. Это история про время.

Удивительно, но на заре вычислительных систем их отказоустойчивости уделяли значительно меньше внимания, чем сегодня. Вопросами репликации и резервирования занимались лишь отдельные институты и другие организации, которые работали в специфических областях знаний.

Впервые об отказоустойчивости начали говорить в XIX веке — еще до появления первых ЭВМ. В 1837 году английский математик и изобретатель Чарльз Бэббидж опубликовал научную работу, где упомянул отказоустойчивость — fault tolerance — математических вычислений.

Мы решили поговорить об этом подробнее — рассказать об отказоустойчивых системах, разработанных во времена, когда не было привычных суперкомпьютеров, дата-центров и всего интернета.

≀И эта статья ответит на вопрос, зачем вообще читать книги в 2023 году при великом разнообразии онлайн-курсов.

39 книг-мастридов для разработчиков, которые хотят освежить знания, быть в курсе новых технологий и прокачать свои навыки.

Каждое издание из подборки расширяет знания по целому ряду тем, связанных с разработкой.

Для вашего удобства добавил рейтинг, ссылки на переводы и картинки для тех, кто просто добавляет статью в закладки, не читая. Enjoy на новогодних праздниках или прямо сейчас.

Собственные серверы — особенно при дефиците электронных компонентов — могут позволить себе только большие компании. Найти ресурсы сложно, а покупать и поддерживать дата-центр — дорого.

Разворачивать физические дата-центры, искать людей, которые будут их поддерживать, — или осваивать насколько профессий, чтобы делать всё самому, — отнимает время и силы.

В то же время облачные технологии отдельным разработчикам и стартапам могут дать новые возможности, чтобы ускорить и продвинуть разработку — расскажем сегодня, как именно.

Бизнес применяет самые разные способы хранения корпоративных документов и персональных данных. Среди них встречаются нестандартные решения. Так, в одной западной компании, занимающейся разработкой, записи хранили в обычном текстовом файле JSON на диске, пока не перешли на etcd — key-value базу данных (позже компания вернулась к концепции единого файла из-за личных предпочтений фаундера).

В принципе любая компания может развернуть систему управления базами данных самостоятельно, если есть собственный ИТ-отдел и необходимые компетенции. Однако не каждая компания может себе позволить нанять администратора баз данных, чтобы тот занимался поддержкой. Следил за ресурсами, использованием оперативной памяти и хранилища и при необходимости их увеличивал, а также обеспечивал мониторинг, регулярное бэкапирование, настраивал оптимальную конфигурацию сервера СУБД.

Упростить все эти задачи можно, используя облачные базы данных по модели DBaaS (Database-as-a-Service). Что еще могут предложить базы данных в облаке? Как минимум две вещи — масштабируемость и производительность. О них расскажем далее. Материал подан доступно для начинающих.

Облачные технологии позволяют экономить на собственном железе и его обслуживании. Но даже в этом случае необходимо своевременно отключать неиспользуемые серверы и виртуальные машины. Сегодня мы подготовили компактную подборку утилит для оптимизации стоимости вычислительных ресурсов.

Предлагаем обратить внимание на open source решения, позволяющие найти «узкие места» и сократить чек в условиях уже развернутой инфраструктуры — например, Komiser, OpenCost, Koku.

Современный завод создает не только огромное количество продукции. Предприятие с помощью устройств генерирует данные, которые можно трансформировать в умные решения для повышения производительности.

Чтобы эффективно обрабатывать большие данные, оптимизировать бизнес-процессы и повысить их управляемость, к нам за помощью обратились представители крупного промышленного предприятия.

Заказчик в течение года расширял производство: открывал новые линии, внедрял современные системы, автоматизировал процессы. Эти меры увеличили нагрузку на сеть. Требовалось повысить скорость передачи данных в 10 раз и добиться отказоустойчивости в режиме 24/7.

Законодатели вводят все больше нормативов, направленных на защиту информации и критической инфраструктуры. Выполнить часть требований безопасности позволяет технология SD-WAN в облаке. Это — программно-определяемая сеть, абстрагирующая сетевое оборудование от механизмов управления. Поставщик услуги берет на себя ответственность за защиту сети, данных и контроль доступа к информации. Обычно про Cloud SD-WAN говорят в контексте технологий управления ИТ-инфраструктурой. Сегодня расскажем о других возможностях сервиса.

Если компания активно тестирует гипотезы и запускает новые прототипы, в облаке могут накапливаться «забытые» сервисы, которые продолжают потреблять ресурсы. Есть open source инструменты, которые автоматически находят и удаляют неиспользуемые инстансы в такой инфраструктуре. Обсудим возможности и предпосылки к использованию подобных решений.