Всегда когда читаю про моделирование, сама модель как правило не вызывает вопросов, вопросы вызывает как загружаются данные. Например, каким образом достигается идемпотентность при загрузке.
По идее, чтобы понять, что значение историзированного атрибута изменилось, нужно загрузить новый батч, и потом сделать джойн по значению, что звучит как-то некрасиво и тяжело. Можете дать наводку, как у вас это работает? Где-то во внешней in-memory системе? Или внутри хранилища уже разруливаете? Пишете кастомные скрипты? Или на уровне фреймворка решается?
Что можно почитать из книг на эту тему? Не совсем научпоп, чтобы немножко начать разбираться в технологиях, но и не фундаментальный курс органической химии.
Как написано в документации, «A key capability of Airflow is that these DAG Runs are atomic, idempotent items, <...>», что значит: «Подразумевается, что даг генерируется в неизменном виде».
Мне всегда казалось, смысл этого предложения в том, что каждый отдельный дагран можно запускать сколько угодно раз и ничего не изменится (смысл идемпотентной операции). Например, при загрузке данных за день предполагается, что сначала мы удаляем данные за этот день, чтобы они не задублировались. +atomic, то есть каждый дагран работает со своим набором данных (например, за конкретные сутки/час/10 минут).
Проверяет соответствие регулярному выражению с учётом регистра
LIKE использует не регулярные выражения, а свой синтаксис шаблонов. Кто это знает, понял, что имелось в виду, а кто не знает, мог подумать, что туда надо писать regexp.
Вот-вот, захотел я такой в кафе почту проверить, а там говорят: зарегистрируйтесь на госуслугах! И я такой еду на почту регистрироваться на госуслугах, чтобы проверить почту.
Вот за это я и люблю Хабр. Напишешь низкосодержательный самопиар — порвут на тряпки.
Жаль, что 9 из 10 статей в стиле «всё очень перспективно вот наш очень перспективный стартап с будущей перспективой», технология может быть интересная, но пока непонятно, как и где. Как Интернет в 1997: никто не понимает, что это, но хотят срубить бабла.
оно должно быть обществом, а не стадом (тут технологии ничем не помогут
Вы и правы, и нет. С одной стороны, да, это воспитание, информация и т.д. Но ведь состояние общества и условия, в котором общество находится — это сообщающиеся сосуды. Система может выстроена так, чтобы незаметно разрывать социальную ткань, заменяя её вертикальным связями человек — государство. А может быть и наоборот.
Вы перестаёте давить местное самоуправление, возникают связи, из связей вырастает общество. Наличие среды для таких связей — это в общем-то технический вопрос.
В 2011 году тоже нельзя было скрыть подтасовку (см. статью про распределения голосов и явки), только это не помогло. В конечном итоге задаче — исключить возможность (сделать её очень дорогой), а не обеспечить прозрачность. Прозрачность и сейчас есть: все всё понимают, никто ничего (законного) сделать не может.
Утопию никто не предлагает строить. Я как раз хотел бы, чтобы сообщество поработало над реалистичными стандартами, которые не нарушают слишком радикально сложившийся порядок вещей. Государство, национальные валюты, гражданство — это никуда не девается и работает так же, как и в аналоговом мире, но лучше, надёжнее и быстрее.
С другой стороны, нужно обсудить все возможности. Если какой-то горизонтальный механизм позволит, по крайней мере в далекой перспективе, заменить государство в какой-то отдельной сфере, надо его обсуждать, критиковать, искать слабые стороны.
Я говорю не о насильственном принуждении, а об обычае, который позволит обществу функционировать. Когда я говорю «требовать свидетельства», это значит, что ваш контракт для голосования будет отключаться, если другие граждане не подтвердят, что вы существуете и дееспособны. Это НЕ значит, что вас насильно потащат на площадь и будут что-то там себе свидетельствовать.
Когда я говорю «запретить свидетельствовать чаще раза в год» это не значит, что вас высекут и посадят в яму, если вы засвидетельствуете что-то чаще раза в год. Это значит, что в смарт-контракте не будет предусмотрено такой возможности (если граждане так договорятся).
Вообще, я-то как раз не начинал со свободы от государства: я написал, что государство в каком-то количестве необходимо, как раз чтобы идентифицировать людей, стоящих за контрактами. Просто в этой ветке обсуждения мы развиваем идею, что можно заменить государство горизонтальными связями.
Не знаю, можете подумать на эту тему и поделиться выводами :)
Возможно, физическим присутствием свидетелей при регистрации гражданства, плюс ограничением количества свидетельств. Например, вам нужно 6 свидетелей для регистрации, но каждый из них может засвидетельствовать не больше одного гражданина в год, то есть свидетельский голос — это нечто ценное, и его захочется сохранить для детей в семье, вступающих в совершеннолетие.
Потом, мы забываем, что вся информация открыта, то есть публика сможет отследить внезапное появление «мёртвых душ», которые не совершали никаких действий, кроме голосования.
Можно требовать от граждан периодического подтверждения существования и дееспособности свидетелями; запретить одному и тому же лицу быть свидетелем для одного и того же лица слишком часто; запретить новым гражданам свидетельствовать.
Над деталями реализации действительно нужно хорошо подумать отдельно, а для этого нужна всесторонняя критика и кооперация. Возможно, такая схема вообще не будет работать в современном обществе, но мне она очень нравится именно локальностью и горизонтальными связями.
Спасибо, очень интересная мысль. Вообще, при правильно выстроенных горизонтальных связях в некоторых сферах можно вообще избежать централизации, но это работает только в очень маленьких сообществах. В больших же без представительного органа не обойтись, а он, как бы честно ни выбирался, по форме будет являться государством.
Если речь идёт о голосовании в масштабах страны, можно ввести игрушечный имущественный ценз: голосующий должен иметь на счету небольшую сумму криптовалюты. Таким образом для каждого отдельного гражданина это будет бесплатно (деньги не сгорают при голосовании), а масштабные фальсификации будет устроить очень дорого.
Хотя у меня есть ощущение, что это кончится построением консесусной системы внутри другой консенсусной системы.
Не желаете как-то скооперироваться для дальнейших построений?
Я предполагаю, что будет стандарт сертификата «продаваемой мелкой собственности», вроде существующего стандарта токенов ERC20, и кошельки будут работать с этим стандартом. То есть, при покупке за токены у вас не будет технической возможности не получить мелкий товар в собственность.
Ну сумка — это просто пример для демонстрации. Речь, конечно, идёт о вещах, которым обязательно требуется подтверждение подлинности и собственности: недвижимость, автомобили, драгоценности. То есть, пользователь сам заинтересован иметь соответствующую электронную «бумажку», чтобы потом иметь возможность перепродать вещь.
Если рассматривается только утопичный сценарий, когда государство котирует блокчейн и все расплачиваются криптой, то вопрос снимаю :)
С государством всё сложно, да. Я надеюсь, что государство на волне хайпа начнёт внедрять технологию, а дальше уже будет нельзя провернуть фарш обратно :) Но конечно, надо понимать, что это будет концом государства в том виде, в котором мы его знает — что не очень плохо, как мне кажется.
Потом, не обязательно всем расплачиваться «криптой», я выше предложил вполне компромиссный вариант с токенами, которые приравниваются к национальной валюте.
Создать базу граждан и проассоциировать их с аккаунтами, т. е. исключить анонимность блокчейна?
Блокчейн (по крайней мере, известные мне системы) не анонимен, а псевдонимен (pseudonymous): аккаунты есть, но не всегда известно, кто за ними стоит.
Нет, я не предлагаю создать базу граждан; я предлагаю дать гражданам возможность совершать юридически значимые действия с помощью смарт-контрактов — добровольно.
Установить обязательную форму для смарт-контрактов?
Обязательная форма предполагает принуждение, разумеется, я не призываю к этому. Смарт-контракты, например Ethereum, по определению не предполагают «обязательной формы», и никто не может помешать контрактам быть любой формы. Другой вопрос, что какие-то контракты могут признаваться государством юридическими значимыми и равноценными соответствующим «бумажным» документам.
Например, я могу прийти в ГАИ, попросить выпустить смарт-контракт в виде сертификата собственности на автомобиль, и дальше осуществлять куплю-продажу этого автомобиля через смарт-контракты, со всеми их удобствами. При этом государство будет признавать покупателя собственником автомобиля по факту смены владельца в контракте. Чем это удобно помимо чисто логистических вещей вроде автоматической одновременной передачи денег и подписания «договора»? Например, владелец сможет заявить об угоне автомобиля без всяких заявлений, просто поставив соответствующую «галочку» в интерфейсе.
Если так, то вопрос: чем это отличается от нынешней системы с договорами, государством и правом? К их форме тоже есть обязательные требования, соблюдение которых гарантирует государственную защиту, и они тоже неанонимны.
Разница в том, что здесь мы используем надёжную децентрализованную систему, у граждан по определению больше возможностей, и всё работает с гораздо меньшим количеством чиновников и бумаг.
Вспомните пример с сумкой и замените сумку на квартиру. Сейчас, чтобы продать квартиру, нужно:
заключить предварительный договор
внести залог
положить нужную сумму денег в банковскую ячейку
отдать договор на регистрацию
подождать регистрации
обменяться ключами от ячейки и ключами от квартиры
В этом процессе неизбежно участвует банк, риэлторы, юристы, регистратор. Смарт-контракт позволит Вам выставить квартиру на продажу конкретному лицу и надежно обменять её на установленную сумму денег, которую Вы получите по истечении указанного срока (чтобы у участников сделки было время заявить о неправомочных действиях, утере ключа и тд.) Никакого банка, бумаг, очередей в регистрационном центре.
В каком-то смысле Вы правы: и «аналоговое» свидетельство права собственности, и смарт-контракт — это в конечном счёте бумажки. Разница в том, что возможности смарт-контрактов гораздо богаче.
Разумеется, при продаже товара конечному потребителю право переходит ему — в этом весь смысл. В случае с автомобилями это просто необходимо, например, для продажи на вторичном рынке.
В случае купли-продажи идея в передаче прав. То есть, когда Вы покупаете автомобиль, то можете отследить верифицированную цепочку владельцев от производителя и до текущего владельца. В случае биткоина происходит транзакция прав на валюту, а здесь — тразнакция прав собственности.
Если продавец автомобиль украл, то он не может доказать факт владения, и Вы его не купите (и никто не купит).
Спасибо за статью, очень интересно.
Всегда когда читаю про моделирование, сама модель как правило не вызывает вопросов, вопросы вызывает как загружаются данные. Например, каким образом достигается идемпотентность при загрузке.
По идее, чтобы понять, что значение историзированного атрибута изменилось, нужно загрузить новый батч, и потом сделать джойн по значению, что звучит как-то некрасиво и тяжело. Можете дать наводку, как у вас это работает? Где-то во внешней in-memory системе? Или внутри хранилища уже разруливаете? Пишете кастомные скрипты? Или на уровне фреймворка решается?
Мне всегда казалось, смысл этого предложения в том, что каждый отдельный дагран можно запускать сколько угодно раз и ничего не изменится (смысл идемпотентной операции). Например, при загрузке данных за день предполагается, что сначала мы удаляем данные за этот день, чтобы они не задублировались. +atomic, то есть каждый дагран работает со своим набором данных (например, за конкретные сутки/час/10 минут).
LIKE использует не регулярные выражения, а свой синтаксис шаблонов. Кто это знает, понял, что имелось в виду, а кто не знает, мог подумать, что туда надо писать regexp.
Жаль, что 9 из 10 статей в стиле «всё очень перспективно вот наш очень перспективный стартап с будущей перспективой», технология может быть интересная, но пока непонятно, как и где. Как Интернет в 1997: никто не понимает, что это, но хотят срубить бабла.
Вы и правы, и нет. С одной стороны, да, это воспитание, информация и т.д. Но ведь состояние общества и условия, в котором общество находится — это сообщающиеся сосуды. Система может выстроена так, чтобы незаметно разрывать социальную ткань, заменяя её вертикальным связями человек — государство. А может быть и наоборот.
Вы перестаёте давить местное самоуправление, возникают связи, из связей вырастает общество. Наличие среды для таких связей — это в общем-то технический вопрос.
С другой стороны, нужно обсудить все возможности. Если какой-то горизонтальный механизм позволит, по крайней мере в далекой перспективе, заменить государство в какой-то отдельной сфере, надо его обсуждать, критиковать, искать слабые стороны.
Когда я говорю «запретить свидетельствовать чаще раза в год» это не значит, что вас высекут и посадят в яму, если вы засвидетельствуете что-то чаще раза в год. Это значит, что в смарт-контракте не будет предусмотрено такой возможности (если граждане так договорятся).
Вообще, я-то как раз не начинал со свободы от государства: я написал, что государство в каком-то количестве необходимо, как раз чтобы идентифицировать людей, стоящих за контрактами. Просто в этой ветке обсуждения мы развиваем идею, что можно заменить государство горизонтальными связями.
Возможно, физическим присутствием свидетелей при регистрации гражданства, плюс ограничением количества свидетельств. Например, вам нужно 6 свидетелей для регистрации, но каждый из них может засвидетельствовать не больше одного гражданина в год, то есть свидетельский голос — это нечто ценное, и его захочется сохранить для детей в семье, вступающих в совершеннолетие.
Потом, мы забываем, что вся информация открыта, то есть публика сможет отследить внезапное появление «мёртвых душ», которые не совершали никаких действий, кроме голосования.
Можно требовать от граждан периодического подтверждения существования и дееспособности свидетелями; запретить одному и тому же лицу быть свидетелем для одного и того же лица слишком часто; запретить новым гражданам свидетельствовать.
Над деталями реализации действительно нужно хорошо подумать отдельно, а для этого нужна всесторонняя критика и кооперация. Возможно, такая схема вообще не будет работать в современном обществе, но мне она очень нравится именно локальностью и горизонтальными связями.
Если речь идёт о голосовании в масштабах страны, можно ввести игрушечный имущественный ценз: голосующий должен иметь на счету небольшую сумму криптовалюты. Таким образом для каждого отдельного гражданина это будет бесплатно (деньги не сгорают при голосовании), а масштабные фальсификации будет устроить очень дорого.
Хотя у меня есть ощущение, что это кончится построением консесусной системы внутри другой консенсусной системы.
Не желаете как-то скооперироваться для дальнейших построений?
Я предполагаю, что будет стандарт сертификата «продаваемой мелкой собственности», вроде существующего стандарта токенов ERC20, и кошельки будут работать с этим стандартом. То есть, при покупке за токены у вас не будет технической возможности не получить мелкий товар в собственность.
С государством всё сложно, да. Я надеюсь, что государство на волне хайпа начнёт внедрять технологию, а дальше уже будет нельзя провернуть фарш обратно :) Но конечно, надо понимать, что это будет концом государства в том виде, в котором мы его знает — что не очень плохо, как мне кажется.
Потом, не обязательно всем расплачиваться «криптой», я выше предложил вполне компромиссный вариант с токенами, которые приравниваются к национальной валюте.
Блокчейн (по крайней мере, известные мне системы) не анонимен, а псевдонимен (pseudonymous): аккаунты есть, но не всегда известно, кто за ними стоит.
Нет, я не предлагаю создать базу граждан; я предлагаю дать гражданам возможность совершать юридически значимые действия с помощью смарт-контрактов — добровольно.
Обязательная форма предполагает принуждение, разумеется, я не призываю к этому. Смарт-контракты, например Ethereum, по определению не предполагают «обязательной формы», и никто не может помешать контрактам быть любой формы. Другой вопрос, что какие-то контракты могут признаваться государством юридическими значимыми и равноценными соответствующим «бумажным» документам.
Например, я могу прийти в ГАИ, попросить выпустить смарт-контракт в виде сертификата собственности на автомобиль, и дальше осуществлять куплю-продажу этого автомобиля через смарт-контракты, со всеми их удобствами. При этом государство будет признавать покупателя собственником автомобиля по факту смены владельца в контракте. Чем это удобно помимо чисто логистических вещей вроде автоматической одновременной передачи денег и подписания «договора»? Например, владелец сможет заявить об угоне автомобиля без всяких заявлений, просто поставив соответствующую «галочку» в интерфейсе.
Разница в том, что здесь мы используем надёжную децентрализованную систему, у граждан по определению больше возможностей, и всё работает с гораздо меньшим количеством чиновников и бумаг.
Вспомните пример с сумкой и замените сумку на квартиру. Сейчас, чтобы продать квартиру, нужно:
В этом процессе неизбежно участвует банк, риэлторы, юристы, регистратор. Смарт-контракт позволит Вам выставить квартиру на продажу конкретному лицу и надежно обменять её на установленную сумму денег, которую Вы получите по истечении указанного срока (чтобы у участников сделки было время заявить о неправомочных действиях, утере ключа и тд.) Никакого банка, бумаг, очередей в регистрационном центре.
В каком-то смысле Вы правы: и «аналоговое» свидетельство права собственности, и смарт-контракт — это в конечном счёте бумажки. Разница в том, что возможности смарт-контрактов гораздо богаче.
Если продавец автомобиль украл, то он не может доказать факт владения, и Вы его не купите (и никто не купит).