Распределённые системы *

Сентябрь традиционно считается периодом криптоспада. Но текущий месяц даже во время спада принёс нам одно важное событие – долгожданный The Merge Ethereum 15 сентября.

Небольшая предыстория

В 2016 году хакеры выявили уязвимость Эфириума и вывели из сети порядка $50 млн. Чтобы восстановить курс монеты в июле 2016 года был произведён хардфорк Ethereum. Тогда же образовался Ethereum Classic (ETC), помимо основной монеты ETH. Но данное изменение было поддержано не всем сообществом. Нашлись те, кто был уверен, что изменения в исходном коде блокчейна – это против правил, даже несмотря на атаки, подобные той, что была в июне 2016-ого. Благодаря таким энтузиастам на свет появился Ethereum Classic (ETC), который по настоящее время существует независимо от исходного блокчейна Ethereum. Курс ETC на момент публикации статьи $33,95.

Ethereum 2.0

The Merge является первым в истории прецедентом перехода действующей сети с Proof-of-Work на Proof-of-Stake. До слияния согласование новых блоков обеспечивалось майнерами. После слияния этот процесс будет обеспечен валидаторами, т.е. держателями Ethereum, чьи монеты заблокированы в стейкинге. Переход с PoW на PoS станет отправной точкой новой эпохи для Ethereum. 

The Merge успешно состоялся 15 сентября 2022. Но это не конечный этап в переходе Эфириума с PoW на PoS. Далее мы увидим еще 4 важных шага, а сам «переезд» растянется на несколько лет. 

Еще до мёрджа все существенные ошибки протоколов были найдены, слияние прошло в запланированном режиме. 

Остановимся подробней на дальнейших стадиях перехода.

В апреле этого года, после нескольких лет успешного развития платформы Waves Enterprise и ее использования в различных проектах мы решили выпустить её open-source версию, чтобы расширить охват потенциальных пользователей платформы. Мы сохранили в ней почти всю функциональность и классные фичи: это контейнеризированные смарт-контракты на любом языке, поддержка трех разных консенсусов, возможность обмена конфиденциальными данными и не только. Убрали только поддержку ГОСТ-криптографии, TLS и PKI.

В этом посте мы сравним наш блокчейн с известными аналогами, расскажем, как развернуть его самостоятельно и настроить мониторинг. В итоге вы получите готовую блокчейн-песочницу для экспериментов и разработки децентрализованных приложений на любом языке программирования.

Возможно ли создать поисковую систему, которую тяжело подвергнуть цензуре, влиянию и блокировке?

Говоря техническим языком, возможно ли выполнять полнотекстовый поиск не имея удаленного сервера, удобным для пользователя способом, одновременно храня поисковый индекс в peer-to-peer системе и имея возможность быстро обновлять поисковый индекс?

Да, это возможно!

Под катом описание архитектуры поискового движка Summa на Rust и набора приемов, позволивших ответить утвердительно на все вопрос

Не секрет, что именно в Discord сейчас принято вести беседы; каждый день через эту платформу проходит 4 миллиарда сообщений от миллионов людей. На наш взгляд — убедительно. Но текстовый чат — лишь малая толика тех возможностей, что поддерживает Discord. Здесь предусмотрены серверные роли, пользовательские эмодзи, видеозвонки и многое другое. Вся эта информация складывается в терабайты данных, которые Discord доставляет клиентам.

Для предоставления такого колоссального объёма данных эксплуатируется набор кластеров NoSQL-баз данных (на основе ScyllaDB), и каждый из этих кластеров является источником истины для соответствующего множества данных. Поскольку Discord — это платформа для чатов в реальном времени, требуется, чтобы базы данных справлялись с плотным потоком запросов настолько быстро, насколько возможно.

Отопительный сезон не за горами, поэтому сегодня пишем про самую что ни на есть «горячую» тему – теплогенерацию. Основная траектория, по которой движется энергетическая отрасль в России, – снижение затрат на выработку электричества и тепла. И эта задача в первую очередь стоит перед генерирующими компаниями. Что для этого можно сделать? Повысить эффективность за счет автоматизации расчета показателей использования топлива в зависимости от текущей нагрузки и режимов работы оборудования электростанции. Важную роль здесь играет создание онлайн-системы расчета показателей. Именно об этом и пойдет речь в данном материале.

Автор статьи: Фред Эрсам - соучредитель компании Coinbase. Он был включен в списки Forbes 30 (до 30 лет) и TIME Magazine 30. Ранее он работал валютным трейдером в Goldman Sachs в Нью-Йорке, где занимался торговлей и управлял электронной платформой Goldman.

Фред прогнозировал переход Ethereum с PoW на PoS на 2018/2019 годы. Как мы видим, он ошибся в прогнозе на 3-4 года. Данная статья также была написана в начале 2018 года и нам кажется, что именно сегодня имеет смысл прочитать и осмыслить её ещё раз.

Модели машинного обучения, натренированные на данных с торговых площадок на основе блокчейна, способны создать самый мощный в мире искусственный интеллект. Они объединяют два мощных примитива: частное машинное обучение, которое позволяет проводить обучение на конфиденциальных частных данных, не раскрывая их, и стимулы на основе блокчейна, которые позволяют этим системам привлекать лучшие данные и модели, чтобы сделать их умнее. В результате получаются открытые рынки, где любой может продать свои данные и сохранить их конфиденциальность, а разработчики могут использовать стимулы, чтобы привлечь к себе лучшие данные для своих алгоритмов.

Блокчейн - это радикально новая вычислительная модель, в которой данные и приложения защищаются не централизованными посредниками, а децентрализованной сетью компьютеров. Благодаря своей безразрешительной природе блокчейн позволяет любому человеку подключиться к сети и начать независимую проверку целостности вычислений, что приводит к созданию системы сдержек и противовесов между пользователями и операторами сети.

От создания новых цифровых валют с программной денежной политикой (например, Bitcoin) до выполнения программируемых приложений с минимальным доверием (например, Ethereum), блокчейн быстро входит в общественное сознание как новая форма цифровой инфраструктуры, часто называемая Web3. Однако, несмотря на то, что всеобъемлющее ценностное предложение блокчейн признается многими, нюансы, касающиеся лежащей в основе блокчейн модели доверия, часто понимаются неправильно.

Эта статья поможет объяснить, чем модель доверия в блокчейн отличается от традиционных вычислений, рассмотрев роль самопроверяющихся полных узлов, в частности то, как они обеспечивают достоверность производителей блоков (например, майнеров/валидаторов) и как снижение стоимости проверки лежит в основе масштабируемости блокчейн.

Представьте: у вас пара сотен микросервисов, и вдруг всё ломается. А может даже не всё, а, скажем, только одна страница. Если вы хорошо знакомы с системой, то по мониторингам и логам быстро обнаружите проблему и пойдете её решать. Но иногда систему вы видите впервые, и на поиск бага могут часы, или даже дни.

Всем привет, меня зовут Саша Казанцев, я — тимлид команды “Clickme” в hh.ru. В этой статье расскажу о том, как мы внедряли трейсинг. 

Сложные серверные приложения могут включать десятки и сотни микросервисов, которые могут как предоставлять точки подключения для клиентов, так и взаимодействовать между собой и своими хранилищами данных. Естественным образом при развертывании таких приложений приходится решать две задачи: как поддерживать сервисы в работоспособном состоянии (здесь может помочь Kubernetes или любая другая система оркестрации) и как их регистрировать и связывать с префиксами или адресами публикации для внешних клиентов? Также весьма остро встает вопрос мониторинга взаимодействия микросервисов и организации нагрузочных тестов как на отдельные сервисы, так и на целые группы.

В этой статье мы обсудим использование оператора Istio для координации микросервисов и инструмента для нагрузочного тестирования Fortio, который может использоваться также и для тестирования произвольных сервисов под высокой нагрузкой.

Разобравшись в предыдущей статье с проблемами и возможностями энергетической отрасли и архитектурой блокчейн, давайте углубимся в некоторые примеры потенциальных сценариев использования, которые открывают совершенно новый мир возможностей в энергетической отрасли. Гибридные смарт-контракты позволяют реализовать широкий спектр сценариев использования, которые могут поддержать переход к экологически чистой энергии и помочь обществу справиться с задачами по изменению климата. Гибридная структура использует блокчейн для надежного отслеживания и урегулирования многосторонних процессов, смарт-контракты для определения правил взаимодействия всех участвующих сторон, а также оракулы для беспрепятственной и безопасной интеграции данных реального мира и традиционной неблокчейн-инфраструктуры в более мощные цифровые контракты.

Ниже описаны восемь потенциальных вариантов использования инфраструктуры гибридных смарт-контрактов в чистой энергетике.

Энергетическая отрасль переживает значительные инфраструктурные и рыночные преобразования в связи с растущим спросом на экологически чистую энергию, в основном обусловленным попытками сдержать вредные последствия изменения климата. Чтобы облегчить переход к экологически чистой энергии, были введены государственные субсидии и программы финансового стимулирования для привлечения инвестиций в проекты возобновляемой энергетики и технологии утилизации углерода. Кроме того, были разработаны глобальные системы отчетности о климатических выбросах для установления более высоких международных стандартов и обеспечения подотчетности. Однако переход к экологически чистой энергетике сопряжен с целым рядом проблем: от убеждения различных заинтересованных сторон в необходимости принятия на себя обязательств по достижению амбициозных целей в области изменения климата до удовлетворения глобального спроса на энергию при внедрении менее предсказуемых возобновляемых источников энергии и сдерживания инфляционного давления на цены на энергию в течение всего переходного процесса.

Технология блокчейн может стать важным инструментом в поддержке необходимого перехода к чистой энергии, выступая в качестве общей инфраструктуры с открытым исходным кодом, которая позволяет нескольким независимым сторонам отслеживать активы через глобальный реестр и обеспечивать соблюдение соглашений с помощью криптографической истины . Используя блокчейн, энергетическая отрасль может лучше оцифровать и присвоить ценность инвестициям в чистую энергию, что приведет к более демократичному доступу к денежным потокам от "зеленых" инвестиций, большей прозрачности успеха проектов в области чистой энергии и большей подотчетности заинтересованных сторон, выполняющих свои обязательства.

Представьте идеальный мир с бесконечными ресурсами, в котором можно сколько угодно линейно масштабироваться под нагрузку: просто доставлять серверы, диски, видеокарты, как только потребуется больше мощностей. Звучит хорошо? Только оказывается, что когда серверов 5 000 и дисков 100 000, то несколько из них обязательно находятся в состоянии maintenance или repair, куда их привели обстоятельства непреодолимой силы. И главная задача здесь — обеспечить доступность сервиса в условиях постоянных сбоев. 

В статье разберём, как построить отказоустойчивую платформу, с какими неочевидными corner cases может столкнуться сервис с UGC-контентом, а ещё — как жить в реальном, а не идеальном мире и оптимизировать железо. Чтобы раздавать 4 Тбит/с можно, конечно, использовать 400 серверов по 10 Гбит/с, но гораздо интереснее грамотно всё потюнить и выжать 100 Гбит/с с Java-сервера.  

Накопить за 7 лет терабайты данных в монолите и решить, что пора оптимизировать систему и разбивать её на микросервисы — страшный сон для айтишника. Добавим сюда ещё база на решениях от 1С и необходимость обеспечить непрерывность процесса. Стало страшно? А для нас — возможность показать экспертность и решить нетривиальную задачу. О том, как «кролик» помог сдвинуть гору рассказал архитектор 1С компании «Автомакон» Виталий Осиповский.

С 2013 года ВкусВилл проводил внутреннюю автоматизацию с использованием программ на базе 1С. За годы активного развития и эксплуатации база увеличилась до нескольких терабайт, кратно выросло количество операций, что спровоцировало большой объем работы для администраторов, оптимизаторов и команды разработчиков. Например, тяжелые алгоритмы планирования, закрытий, генерации документов могли негативно влиять на работу всей базы.

Любые сбои и простои были неадекватно затратны и влияли на все компоненты системы в целом. А сама система не годилась для быстрого масштабирования бизнеса. Поэтому уже в 2020 году приняли решение о поэтапном разделении монолита на отдельные программные компоненты.  

Децентрализованные приложения или dApps - это приложения, которые не полагаются на централизованный сервер или бэкэнд, а используют технологии Web3, такие как блокчейн и оракулы для хранения своей логики и функций бэкэнда, что делает их защищенными от взлома и безопасными.

В этом техническом руководстве вы узнаете как создать простой dApp, который позволяет пользователю получать и хранить текущую цену Ethereum в смарт-контракте. Готовую демонстрационную версию можно найти на GitHub.

Разрабатываете приложения с применением Apache Kafka? Мы собрали для вас статьи, которые помогут освоить инструмент, познакомят с рабочими кейсами с использованием ПО. Делимся пользой и свежими идеями, подборками книг и реализованными задумками.

Гибридный смарт-контракт — это приложение, состоящее из двух частей:

1) Смарт-контракт — код, который работает исключительно на блокчейне
2) Децентрализованная сеть(и) оракулов — безопасные сервисы вне блокчейн, поддерживающие смарт-контракт.

Эти два компонента беспрепятственно и безопасно взаимодействуют друг с другом, образуя единое гибридное приложение смарт-контракта. В результате код на блокчейне дополняется множеством уникальных и важных способов, открывая множество новых вариантов использования, которые были бы невозможны только с помощью кода на блокчейн из-за технических, юридических или финансовых ограничений.

Важно отметить, что DON по-прежнему обеспечивают очень высокий уровень устойчивости к взлому и надежности, соответствующий гарантиям, предоставляемым смарт-контрактом, но они делают это в изолированной среде вне блокчейн с использованием множества различных подходов к безопасности.

Хотя технологии на основе блокчейна обладают многими качествами, которые отличают их от других вычислительных парадигм, их основным ценностным предложением является генерация криптографической истины. В самом простом смысле, криптографическая истина — это форма вычислений и ведения учета, которая является более точной, доступной, проверяемой и защищенной от взлома, чем существующие альтернативы. 

Криптографическая истина происходит от инфраструктуры с минимизацией доверия - кода, который работает именно так, как задумано, потому что его выполнение и проверка не зависят от доверия к незнакомцам или неконтролируемым переменным. Блокчейн генерирует минимизацию доверия, используя криптографию для аутентификации данных и обеспечения хронологического порядка записей, а также децентрализованный консенсус для подтверждения новых записей и сохранения их неизменности. Благодаря этому механизму многосторонние процессы могут отслеживаться и выполняться на общем, достоверно нейтральном бэкенде, который стимулируется к честному управлению.