Распределённые системы *

В апреле этого года, после нескольких лет успешного развития платформы Waves Enterprise и ее использования в различных проектах мы решили выпустить её open-source версию, чтобы расширить охват потенциальных пользователей платформы. Мы сохранили в ней почти всю функциональность и классные фичи: это контейнеризированные смарт-контракты на любом языке, поддержка трех разных консенсусов, возможность обмена конфиденциальными данными и не только. Убрали только поддержку ГОСТ-криптографии, TLS и PKI.

В этом посте мы сравним наш блокчейн с известными аналогами, расскажем, как развернуть его самостоятельно и настроить мониторинг. В итоге вы получите готовую блокчейн-песочницу для экспериментов и разработки децентрализованных приложений на любом языке программирования.

Возможно ли создать поисковую систему, которую тяжело подвергнуть цензуре, влиянию и блокировке?

Говоря техническим языком, возможно ли выполнять полнотекстовый поиск не имея удаленного сервера, удобным для пользователя способом, одновременно храня поисковый индекс в peer-to-peer системе и имея возможность быстро обновлять поисковый индекс?

Да, это возможно!

Под катом описание архитектуры поискового движка Summa на Rust и набора приемов, позволивших ответить утвердительно на все вопрос

Не секрет, что именно в Discord сейчас принято вести беседы; каждый день через эту платформу проходит 4 миллиарда сообщений от миллионов людей. На наш взгляд — убедительно. Но текстовый чат — лишь малая толика тех возможностей, что поддерживает Discord. Здесь предусмотрены серверные роли, пользовательские эмодзи, видеозвонки и многое другое. Вся эта информация складывается в терабайты данных, которые Discord доставляет клиентам.

Для предоставления такого колоссального объёма данных эксплуатируется набор кластеров NoSQL-баз данных (на основе ScyllaDB), и каждый из этих кластеров является источником истины для соответствующего множества данных. Поскольку Discord — это платформа для чатов в реальном времени, требуется, чтобы базы данных справлялись с плотным потоком запросов настолько быстро, насколько возможно.

Отопительный сезон не за горами, поэтому сегодня пишем про самую что ни на есть «горячую» тему – теплогенерацию. Основная траектория, по которой движется энергетическая отрасль в России, – снижение затрат на выработку электричества и тепла. И эта задача в первую очередь стоит перед генерирующими компаниями. Что для этого можно сделать? Повысить эффективность за счет автоматизации расчета показателей использования топлива в зависимости от текущей нагрузки и режимов работы оборудования электростанции. Важную роль здесь играет создание онлайн-системы расчета показателей. Именно об этом и пойдет речь в данном материале.

Автор статьи: Фред Эрсам - соучредитель компании Coinbase. Он был включен в списки Forbes 30 (до 30 лет) и TIME Magazine 30. Ранее он работал валютным трейдером в Goldman Sachs в Нью-Йорке, где занимался торговлей и управлял электронной платформой Goldman.

Фред прогнозировал переход Ethereum с PoW на PoS на 2018/2019 годы. Как мы видим, он ошибся в прогнозе на 3-4 года. Данная статья также была написана в начале 2018 года и нам кажется, что именно сегодня имеет смысл прочитать и осмыслить её ещё раз.

Модели машинного обучения, натренированные на данных с торговых площадок на основе блокчейна, способны создать самый мощный в мире искусственный интеллект. Они объединяют два мощных примитива: частное машинное обучение, которое позволяет проводить обучение на конфиденциальных частных данных, не раскрывая их, и стимулы на основе блокчейна, которые позволяют этим системам привлекать лучшие данные и модели, чтобы сделать их умнее. В результате получаются открытые рынки, где любой может продать свои данные и сохранить их конфиденциальность, а разработчики могут использовать стимулы, чтобы привлечь к себе лучшие данные для своих алгоритмов.

Блокчейн - это радикально новая вычислительная модель, в которой данные и приложения защищаются не централизованными посредниками, а децентрализованной сетью компьютеров. Благодаря своей безразрешительной природе блокчейн позволяет любому человеку подключиться к сети и начать независимую проверку целостности вычислений, что приводит к созданию системы сдержек и противовесов между пользователями и операторами сети.

От создания новых цифровых валют с программной денежной политикой (например, Bitcoin) до выполнения программируемых приложений с минимальным доверием (например, Ethereum), блокчейн быстро входит в общественное сознание как новая форма цифровой инфраструктуры, часто называемая Web3. Однако, несмотря на то, что всеобъемлющее ценностное предложение блокчейн признается многими, нюансы, касающиеся лежащей в основе блокчейн модели доверия, часто понимаются неправильно.

Эта статья поможет объяснить, чем модель доверия в блокчейн отличается от традиционных вычислений, рассмотрев роль самопроверяющихся полных узлов, в частности то, как они обеспечивают достоверность производителей блоков (например, майнеров/валидаторов) и как снижение стоимости проверки лежит в основе масштабируемости блокчейн.

Представьте: у вас пара сотен микросервисов, и вдруг всё ломается. А может даже не всё, а, скажем, только одна страница. Если вы хорошо знакомы с системой, то по мониторингам и логам быстро обнаружите проблему и пойдете её решать. Но иногда систему вы видите впервые, и на поиск бага могут часы, или даже дни.

Всем привет, меня зовут Саша Казанцев, я — тимлид команды “Clickme” в hh.ru. В этой статье расскажу о том, как мы внедряли трейсинг. 

Сложные серверные приложения могут включать десятки и сотни микросервисов, которые могут как предоставлять точки подключения для клиентов, так и взаимодействовать между собой и своими хранилищами данных. Естественным образом при развертывании таких приложений приходится решать две задачи: как поддерживать сервисы в работоспособном состоянии (здесь может помочь Kubernetes или любая другая система оркестрации) и как их регистрировать и связывать с префиксами или адресами публикации для внешних клиентов? Также весьма остро встает вопрос мониторинга взаимодействия микросервисов и организации нагрузочных тестов как на отдельные сервисы, так и на целые группы.

В этой статье мы обсудим использование оператора Istio для координации микросервисов и инструмента для нагрузочного тестирования Fortio, который может использоваться также и для тестирования произвольных сервисов под высокой нагрузкой.

Разобравшись в предыдущей статье с проблемами и возможностями энергетической отрасли и архитектурой блокчейн, давайте углубимся в некоторые примеры потенциальных сценариев использования, которые открывают совершенно новый мир возможностей в энергетической отрасли. Гибридные смарт-контракты позволяют реализовать широкий спектр сценариев использования, которые могут поддержать переход к экологически чистой энергии и помочь обществу справиться с задачами по изменению климата. Гибридная структура использует блокчейн для надежного отслеживания и урегулирования многосторонних процессов, смарт-контракты для определения правил взаимодействия всех участвующих сторон, а также оракулы для беспрепятственной и безопасной интеграции данных реального мира и традиционной неблокчейн-инфраструктуры в более мощные цифровые контракты.

Ниже описаны восемь потенциальных вариантов использования инфраструктуры гибридных смарт-контрактов в чистой энергетике.

Энергетическая отрасль переживает значительные инфраструктурные и рыночные преобразования в связи с растущим спросом на экологически чистую энергию, в основном обусловленным попытками сдержать вредные последствия изменения климата. Чтобы облегчить переход к экологически чистой энергии, были введены государственные субсидии и программы финансового стимулирования для привлечения инвестиций в проекты возобновляемой энергетики и технологии утилизации углерода. Кроме того, были разработаны глобальные системы отчетности о климатических выбросах для установления более высоких международных стандартов и обеспечения подотчетности. Однако переход к экологически чистой энергетике сопряжен с целым рядом проблем: от убеждения различных заинтересованных сторон в необходимости принятия на себя обязательств по достижению амбициозных целей в области изменения климата до удовлетворения глобального спроса на энергию при внедрении менее предсказуемых возобновляемых источников энергии и сдерживания инфляционного давления на цены на энергию в течение всего переходного процесса.

Технология блокчейн может стать важным инструментом в поддержке необходимого перехода к чистой энергии, выступая в качестве общей инфраструктуры с открытым исходным кодом, которая позволяет нескольким независимым сторонам отслеживать активы через глобальный реестр и обеспечивать соблюдение соглашений с помощью криптографической истины . Используя блокчейн, энергетическая отрасль может лучше оцифровать и присвоить ценность инвестициям в чистую энергию, что приведет к более демократичному доступу к денежным потокам от "зеленых" инвестиций, большей прозрачности успеха проектов в области чистой энергии и большей подотчетности заинтересованных сторон, выполняющих свои обязательства.

Представьте идеальный мир с бесконечными ресурсами, в котором можно сколько угодно линейно масштабироваться под нагрузку: просто доставлять серверы, диски, видеокарты, как только потребуется больше мощностей. Звучит хорошо? Только оказывается, что когда серверов 5 000 и дисков 100 000, то несколько из них обязательно находятся в состоянии maintenance или repair, куда их привели обстоятельства непреодолимой силы. И главная задача здесь — обеспечить доступность сервиса в условиях постоянных сбоев. 

В статье разберём, как построить отказоустойчивую платформу, с какими неочевидными corner cases может столкнуться сервис с UGC-контентом, а ещё — как жить в реальном, а не идеальном мире и оптимизировать железо. Чтобы раздавать 4 Тбит/с можно, конечно, использовать 400 серверов по 10 Гбит/с, но гораздо интереснее грамотно всё потюнить и выжать 100 Гбит/с с Java-сервера.  

Накопить за 7 лет терабайты данных в монолите и решить, что пора оптимизировать систему и разбивать её на микросервисы — страшный сон для айтишника. Добавим сюда ещё база на решениях от 1С и необходимость обеспечить непрерывность процесса. Стало страшно? А для нас — возможность показать экспертность и решить нетривиальную задачу. О том, как «кролик» помог сдвинуть гору рассказал архитектор 1С компании «Автомакон» Виталий Осиповский.

С 2013 года ВкусВилл проводил внутреннюю автоматизацию с использованием программ на базе 1С. За годы активного развития и эксплуатации база увеличилась до нескольких терабайт, кратно выросло количество операций, что спровоцировало большой объем работы для администраторов, оптимизаторов и команды разработчиков. Например, тяжелые алгоритмы планирования, закрытий, генерации документов могли негативно влиять на работу всей базы.

Любые сбои и простои были неадекватно затратны и влияли на все компоненты системы в целом. А сама система не годилась для быстрого масштабирования бизнеса. Поэтому уже в 2020 году приняли решение о поэтапном разделении монолита на отдельные программные компоненты.  

Децентрализованные приложения или dApps - это приложения, которые не полагаются на централизованный сервер или бэкэнд, а используют технологии Web3, такие как блокчейн и оракулы для хранения своей логики и функций бэкэнда, что делает их защищенными от взлома и безопасными.

В этом техническом руководстве вы узнаете как создать простой dApp, который позволяет пользователю получать и хранить текущую цену Ethereum в смарт-контракте. Готовую демонстрационную версию можно найти на GitHub.

Разрабатываете приложения с применением Apache Kafka? Мы собрали для вас статьи, которые помогут освоить инструмент, познакомят с рабочими кейсами с использованием ПО. Делимся пользой и свежими идеями, подборками книг и реализованными задумками.

Гибридный смарт-контракт — это приложение, состоящее из двух частей:

1) Смарт-контракт — код, который работает исключительно на блокчейне
2) Децентрализованная сеть(и) оракулов — безопасные сервисы вне блокчейн, поддерживающие смарт-контракт.

Эти два компонента беспрепятственно и безопасно взаимодействуют друг с другом, образуя единое гибридное приложение смарт-контракта. В результате код на блокчейне дополняется множеством уникальных и важных способов, открывая множество новых вариантов использования, которые были бы невозможны только с помощью кода на блокчейн из-за технических, юридических или финансовых ограничений.

Важно отметить, что DON по-прежнему обеспечивают очень высокий уровень устойчивости к взлому и надежности, соответствующий гарантиям, предоставляемым смарт-контрактом, но они делают это в изолированной среде вне блокчейн с использованием множества различных подходов к безопасности.

Хотя технологии на основе блокчейна обладают многими качествами, которые отличают их от других вычислительных парадигм, их основным ценностным предложением является генерация криптографической истины. В самом простом смысле, криптографическая истина — это форма вычислений и ведения учета, которая является более точной, доступной, проверяемой и защищенной от взлома, чем существующие альтернативы. 

Криптографическая истина происходит от инфраструктуры с минимизацией доверия - кода, который работает именно так, как задумано, потому что его выполнение и проверка не зависят от доверия к незнакомцам или неконтролируемым переменным. Блокчейн генерирует минимизацию доверия, используя криптографию для аутентификации данных и обеспечения хронологического порядка записей, а также децентрализованный консенсус для подтверждения новых записей и сохранения их неизменности. Благодаря этому механизму многосторонние процессы могут отслеживаться и выполняться на общем, достоверно нейтральном бэкенде, который стимулируется к честному управлению.

77+ примеров использования смарт-контрактов

В своей основе, контракты определяют условия и обязанности при обмене чем-либо между двумя и более независимыми сторонами. Исторически так сложилось, что требовался  централизованный арбитраж для подтверждения, что условия контракта соблюдаются. Благодаря появлению технологии блокчейн и смарт-контрактов, мы можем заменить централизованных арбитражеров на децентрализованную инфраструктуру, сокращая таким образом риски всех участников и повышая при этом эффективность исполнения.

Однако, из-за механизмов консенсуса в блокчейне, смарт-контракты не имеют встроенной функции или возможности связываться с внешними ресурсами, такими как поставщики данных или сервисы API, как средством верификации исхода реальных событий, происходящих за пределами блокчейна. Это создает так называемую проблему оракулов в блокчейне и является одним из самых серьезных препятствий для исполнения смарт-контрактов.

Чтобы преодолеть отсутствие такого связующего звена, гибридные смарт-контракты используют оракулы в качестве посредника для сбора информации из внешних источников данных, предоставления информации во внешние источники, и для вычислений off-chain. Оракулы обеспечивают не только двустороннюю связь между смарт-контрактами и внешним миром,  но и безопасную среду, которая защищает от любого риска единой точки отказа (single point of failure), например, от манипуляции данных или системного сбоя.