Распределенные данные Что насчёт JOIN?
Нам нужно сходить в сервис пользовательских данных, в сервис авторизации и аутентификации, подтянуть его комментарии, историю просмотров — и отдать. Вместо JOIN мы выполняем какое-то число HTTP-вызовов.
Вопрос без иронии.
Описанный механизм работает хорошо, когда он про одну сущность детализацию собирает.
Как этот механизм выглядит, когда для управленческих инструментов требуется разнообразными способами агрегировать информацию по тысячам сущностей, в реальном времени по актуальным данным?
В монолите был бы один хранимый view, который джойнит и агрегирует десяток таблиц, всё внутри одной базы, на злостно оптимизированных фильтрованных индексах, отдавая только результат в несколько сотен КБ.
Здесь же, получается, запрашиваем 100К строк с одного микросервиса, 200К с другого, 15М с третьего, передаём эти гигабайты JSON по сети, парсим у себя, стараясь не упасть по памяти, и джойним вручную на самописных алгоритмах?
Мне, кстати, интересно. Разве работа таких банковских систем не регулируется жестко надзорным органом в плане надежности, достоверности и безопасности? Разве не должен разрабам прилететь шипованный, с усиками для их удовольствия, пистон от Центробанка за отображение недостоверной финансовой информации? Особенно если причина этого лишь в том, что для собственного удобства они выбрали микросервисы, которые фундаментально не умеют в транзакционную целостность?
Новый сайт Сбер онлайн.
Хтоническое чудовище, которое отвратило меня от Сбера.
Я пользовался кнопкой "Вернуться в старый дизайн" до самого последнего дня. А потом с осознанным усилием заставлял себя пользоваться новой версией и замечать в ней плюсы. Но я не смог.
В незапамятные времена, когда я был ещё клиентом Дальневосточного банка Сбербанка России, я пользовался тогдашним древним Сбербанк Онл@йн. Он был суров и коряв, но функционален, быстр и понятен. Любая операция легко находилась и выполнялась, а интерфейс — что ж, пригоден к работе.
А потом развернули большое обновление до Настоящего Сбербанк Онлайн — того самого, что был отправлен в утиль текущей версией сайта.
С привычной опаской я начал пользоваться им, и ощутил себя перешедшим с Windows 98 на Windows 7. Это был, по версии меня, однозначно лучший сайт онлайн-банкинга в России. Словно абсолютно всё в нём было продумано людьми, понимавшими, зачем люди приходят на подобный сайт и что они там делают. Всё под рукой. Всё там, где ожидаешь увидеть. Всё интуитивно понятно. Всё настраивается. Всё работает со скоростью звука.
И вот принудительный перевод в новый интерфейс.
Всё огромное. Каждая кнопка и каждое поле на полстраницы — отлично, чтобы просто смотреть на айпаде, отвратительно, если пытаться пользоваться на десктопе.
Всё не под рукой. Всё не там, где ожидаешь увидеть. Всё далеко не понятно интуитивно. Ничего не настраивается. Всё забито рекламой продуктов банка и информацией, которая не нужна. Нет избранных операций, приходится всё время лезть в "Шаблоны" (где с высокой вероятностью возникнет ошибка "Сейчас по этому шаблону платить нельзя, попробуйте позже"). Но главное — всё чудовищно медленно работает.
При каждом чихе вся (по ощущениям) огромная машинерия фреймворков, поддерживающая клиентский интерфейс, перегружается и инициализируется заново. Каждый переход между страницами, любое нажатие любой кнопки — 10 секунд ожидания, при этом вверху страницы ползёт слева направо модный пиксельный прогрессбар загрузки, как на ютубе.
Словно интерфейс написан на Blazor WebAssembly, причём так, чтобы при каждом нажатии кнопки все assembly загружались заново.
Возможности обращения в банк нет — только архивный список обращений, созданных в Настоящем Сбербанк Онлайн, без возможности создать новые. Чат с техподдержкой круглосуточно выключен, при попытке воспользоваться — "сейчас никого нет, уж извините, попробуйте позже".
"Ну это уж откровенный поклёп!" — воскликнет на этом месте разработчик нового "сбер онлайн". — "У нас всё работает быстро и в чате всегда кто-то есть!"
Да, работает быстрее, чем описано выше, и в чате всегда кто-то есть. Просто чтобы это ощутить, надо в своём файрволе разрешить браузеру доступ к нестандартным портам, по которым, оказывается, хочет работать та самая огромная машинерия фреймворков, поддерживающая клиентский интерфейс. (Естественно, что по умолчанию доступ к этим портам для firefox.exe закрыт.)
Не обнаружив открытых секретных портов, огромная машинерия фреймворков начинает заниматься полной перезагрузкой страницы при каждом чихе, а чат превращается в тыкву — всё это без каких-либо сообщений пользователю.
Если же порты открыть (список пришлось подбирать экспериментально по логам файрвола), сайт начинает работать куда быстрее, а в чате появляются люди.
И в качестве изощренного издевательства — эта монструозная айпадная машинерия при выполнении реальных банковских операций показывает в специально отведённой рамочке те самые родные, узнаваемые страницы Настоящего Сбербанка Онлайн, со всем их визуальным оформлением и продуманностью, которые и выполняют искомое.
Чтобы ты знал, клиент, что они ещё там, ещё живы, только изуродованы (шрифты в них пляшут вверх и вниз как бог на душу положит, — я так понимаю, из-за конфликтов CSS из Настоящего Сбербанка Онлайн и Venom'а, который его поглотил). Чтоб наполняло тебя это особо изысканными эмоциями от обновления.
Это вы, получается, уволили команду, которая понимала, что удобно людям, и отдали сайт в работу команде, которая понимала, что удобно бэкенд-разрабам.
Для этого вы приходите к страховой и говорите, что вот вам депозит, в рамках которого вы будете лечить наших сотрудников. Страховая тут не несёт рисков и работает как управляющая компания в вашем доме
Меня когда в страховой убеждали этот вариант применить, то говорили: это вы не просто свои деньги на лечение откладываете без всякой выгоды, тут прежде всего дело в том, что многие клиники, работающие по ДМС, выставляют намного меньшие счета по этой схеме. Наличными, к примеру, вы бы заплатили 70 т.р., а по депозитному счёту вам выставят, скажем, 30 т.р.
Это уже поздно, будет уже очевидно, что сфоткано не тогда, а сейчас.
Только ведь и это не помогло бы.
Когда в суд обращаешься из-за фальшивого собрания, требуется вывесить уведомление для всех собственников, что ты обратился в суд. И мы когда в суд обращались, после полиции и прокуратуры, вывесили, как требуется, такое уведомление, сфотографировали его и акт составили за подписью разных собственников. Приложили к иску как доказательство исполнения надлежащей процедуры. Суд вернул, сказал — доказательство ненадлежащее :)
Превратить его в надлежащее так и не удалось. Оттого и своё собрание провели.
Приложение генерирует бланк официального бумажного объявления, которое можно разместить где-то публично.
Хе хе.
Вот у нас сейчас в суде находится дело.
Полтора года назад группа мошенников закинула в ГЖИ фальшивый протокол собрания собственников, что якобы мы, собственники нашего дома, избрали своей управляющей организацией ООО "Жилкомвектор №3 Хрунзенского района". Стопроцентная фальшивка, подделка подписей 120 собственников.
Собственники о фальшивке узнали случайно, закидали обращениями ГЖИ, обратились в полицию, прокуратуру и суд. Результат — ноль.
Тогда собственники провели собственное, настоящее собрание, с повесткой дня "Избрать управляющей организацией то, что у нас на самом деле легитимная управляющая организация". Провели жёстко, по всей форме, с кучей бумажек, официальным вывешиванием и оповещением. Сдали протокол в ГЖИ. И из всех мер это единственное, что помогло, им пришлось вернуть наш дом обратно нам в управление.
И вот спустя год ГЖИ подаёт в суд на нас, на собственников, с целью отменить наше настоящее собрание и вернуть в "законную" силу фальшивое "собрание". Причина — "отсутствие доказательств надлежащего уведомления собственников о созыве собрания".
Т.е. что не представили мы документ, надёжно удостоверяющий, что уведомление о собрании было таки вывешено в том самом "где-то публично".
Какой документ был бы таким доказательством, спрашиваем мы у ГЖИ? Заказные письма, отвечают они. Мошенники-то представили "реестр почтовых отправлений", что заказные письма были вроде бы отправлены.
Законное требование? Ни в малейшей степени. Грубейшее нарушение ст. 45 ЖК РФ.
Но значения это не имеет, поскольку районный суд предварительно встал на сторону ГЖИ и предложил нам действительно доказать, что публично вывешивали.
У меня стоит расширение, которое вырезает из страницы результатов код, который позволяет гуглу знать, что я кликнул результат. Я же наверное не один такой; это как-то учитывалось в исследовании?
Поэтому я сообщил о нём.
Если кто-то захочет создать запись Feedback Hub, то это нужно сделать.
Судя по описанию этого репа, этот баг там оффтопик, а Feedback Hub, на моей памяти, ни к чему никогда не приводил.
Это размещение значков на рабочем столе в десятке — вообще интересный источник программных решений.
Если копировать на рабочий стол папку с медленного сетевого диска, то с довольно ненулевой вероятностью эта процедура приведёт к смещению всех значков на рабочем столе.
Т.е. позиция 0,0 в левом верхнем углу сетки будет освобождена, все значки в первом столбце сдвинуты на 1 позицию вниз, последний значок переходит в следующий столбец и становится его первым, что сдвигает вниз на 1 все значки второго столбца, и так до тех пор, пока не обнаружится столбец, в котором значки не доходят до низа — тогда он выдерживает смещение вниз, и процесс перестаёт переливаться.
Это происходит потому, что сначала "алгоритм" решает освободить место 0,0 для нового значка, представляющего копируемую папку, помещает его туда, потом немедленно перемещает его оттуда в то место рабочего стола, куда вы его на самом деле перетащили. Если компьютер подтормаживает в достаточной степени, эту телепортацию можно наблюдать покадрово.
Если копируется с быстрого диска, с высокой степенью вероятности этого всего не происходит.
Писал на Feedback Hub давным-давно. Ноль просмотров, ноль ответов.
А судя по прочим постам на Feedback Hub, это не просматриваемый никем твиттер по интересам, с баг-репортами слабо связанный.
Эта вот касса самообслуживания, что на картинке рядом с кофемашиной — она же и в оперсоналенных послеремонтных пятёрочках стоит. И не так давно ей здорово попортили интерфейс модным молодёжным обновлением. Теперь модный интерфейс не показывает цену за единицу, а показывает только сумму по строке и общую сумму, т.е. приходится в уме делить 201,69 на 3, чтобы узнать, что одна штука стоит 67,23 рубля. А когда акции там, 1+1, скидки по карте, вообще не то показывает, что по строке, что в итоге — конечную сумму узнаёшь только перед самой оплатой.
В чеке же, однако, всё правильно, с ценами штук, суммами по строкам, скидками правильными и т.д., т.е. вся эта информация в машине есть, просто модный молодёжный интерфейс её не показывает.
Старый немодный интерфейс всё показывал правильно.
Вопрос без иронии.
Описанный механизм работает хорошо, когда он про одну сущность детализацию собирает.
Как этот механизм выглядит, когда для управленческих инструментов требуется разнообразными способами агрегировать информацию по тысячам сущностей, в реальном времени по актуальным данным?
В монолите был бы один хранимый view, который джойнит и агрегирует десяток таблиц, всё внутри одной базы, на злостно оптимизированных фильтрованных индексах, отдавая только результат в несколько сотен КБ.
Здесь же, получается, запрашиваем 100К строк с одного микросервиса, 200К с другого, 15М с третьего, передаём эти гигабайты JSON по сети, парсим у себя, стараясь не упасть по памяти, и джойним вручную на самописных алгоритмах?
Упрощённо говоря, Capcom Anti-Tamper из игры вырезали, а Denuvo вырезать не смогли, но скормили ему фальшивый файл лицензии.
Результат — сильный прирост производительности. Denuvo при этом продолжает работать, то есть дело как бы не в нём (https://www.youtube.com/watch?v=-ig4dqozB1I&lc=Ugy59kYZLBbv6shc4cd4AaABAg, первый комментарий).
Так и должно быть: текущий полупатч закрывает вектор RCE, но не LPE, о чём сразу сообщали.
Мне, кстати, интересно. Разве работа таких банковских систем не регулируется жестко надзорным органом в плане надежности, достоверности и безопасности? Разве не должен разрабам прилететь шипованный, с усиками для их удовольствия, пистон от Центробанка за отображение недостоверной финансовой информации? Особенно если причина этого лишь в том, что для собственного удобства они выбрали микросервисы, которые фундаментально не умеют в транзакционную целостность?
Мне пришлось открыть 7764 и 8097.
Возможно, люди просто воспринимают тормоза как естественную характеристику нового сайта и терпят.
Новый сайт Сбер онлайн.
Хтоническое чудовище, которое отвратило меня от Сбера.
Я пользовался кнопкой "Вернуться в старый дизайн" до самого последнего дня. А потом с осознанным усилием заставлял себя пользоваться новой версией и замечать в ней плюсы. Но я не смог.
В незапамятные времена, когда я был ещё клиентом Дальневосточного банка Сбербанка России, я пользовался тогдашним древним Сбербанк Онл@йн. Он был суров и коряв, но функционален, быстр и понятен. Любая операция легко находилась и выполнялась, а интерфейс — что ж, пригоден к работе.
А потом развернули большое обновление до Настоящего Сбербанк Онлайн — того самого, что был отправлен в утиль текущей версией сайта.
С привычной опаской я начал пользоваться им, и ощутил себя перешедшим с Windows 98 на Windows 7. Это был, по версии меня, однозначно лучший сайт онлайн-банкинга в России. Словно абсолютно всё в нём было продумано людьми, понимавшими, зачем люди приходят на подобный сайт и что они там делают. Всё под рукой. Всё там, где ожидаешь увидеть. Всё интуитивно понятно. Всё настраивается. Всё работает со скоростью звука.
И вот принудительный перевод в новый интерфейс.
Всё огромное. Каждая кнопка и каждое поле на полстраницы — отлично, чтобы просто смотреть на айпаде, отвратительно, если пытаться пользоваться на десктопе.
Всё не под рукой. Всё не там, где ожидаешь увидеть. Всё далеко не понятно интуитивно. Ничего не настраивается. Всё забито рекламой продуктов банка и информацией, которая не нужна. Нет избранных операций, приходится всё время лезть в "Шаблоны" (где с высокой вероятностью возникнет ошибка "Сейчас по этому шаблону платить нельзя, попробуйте позже"). Но главное — всё чудовищно медленно работает.
При каждом чихе вся (по ощущениям) огромная машинерия фреймворков, поддерживающая клиентский интерфейс, перегружается и инициализируется заново. Каждый переход между страницами, любое нажатие любой кнопки — 10 секунд ожидания, при этом вверху страницы ползёт слева направо модный пиксельный прогрессбар загрузки, как на ютубе.
Словно интерфейс написан на Blazor WebAssembly, причём так, чтобы при каждом нажатии кнопки все assembly загружались заново.
Возможности обращения в банк нет — только архивный список обращений, созданных в Настоящем Сбербанк Онлайн, без возможности создать новые. Чат с техподдержкой круглосуточно выключен, при попытке воспользоваться — "сейчас никого нет, уж извините, попробуйте позже".
"Ну это уж откровенный поклёп!" — воскликнет на этом месте разработчик нового "сбер онлайн". — "У нас всё работает быстро и в чате всегда кто-то есть!"
Да, работает быстрее, чем описано выше, и в чате всегда кто-то есть. Просто чтобы это ощутить, надо в своём файрволе разрешить браузеру доступ к нестандартным портам, по которым, оказывается, хочет работать та самая огромная машинерия фреймворков, поддерживающая клиентский интерфейс. (Естественно, что по умолчанию доступ к этим портам для firefox.exe закрыт.)
Не обнаружив открытых секретных портов, огромная машинерия фреймворков начинает заниматься полной перезагрузкой страницы при каждом чихе, а чат превращается в тыкву — всё это без каких-либо сообщений пользователю.
Если же порты открыть (список пришлось подбирать экспериментально по логам файрвола), сайт начинает работать куда быстрее, а в чате появляются люди.
И в качестве изощренного издевательства — эта монструозная айпадная машинерия при выполнении реальных банковских операций показывает в специально отведённой рамочке те самые родные, узнаваемые страницы Настоящего Сбербанка Онлайн, со всем их визуальным оформлением и продуманностью, которые и выполняют искомое.
Чтобы ты знал, клиент, что они ещё там, ещё живы, только изуродованы (шрифты в них пляшут вверх и вниз как бог на душу положит, — я так понимаю, из-за конфликтов CSS из Настоящего Сбербанка Онлайн и Venom'а, который его поглотил). Чтоб наполняло тебя это особо изысканными эмоциями от обновления.
Это вы, получается, уволили команду, которая понимала, что удобно людям, и отдали сайт в работу команде, которая понимала, что удобно бэкенд-разрабам.
А я теперь на 90% в другом банке.
Меня когда в страховой убеждали этот вариант применить, то говорили: это вы не просто свои деньги на лечение откладываете без всякой выгоды, тут прежде всего дело в том, что многие клиники, работающие по ДМС, выставляют намного меньшие счета по этой схеме. Наличными, к примеру, вы бы заплатили 70 т.р., а по депозитному счёту вам выставят, скажем, 30 т.р.
Это правда так?
Нет, ну 100% это нереально. ЖК такого требования не ставит.
Решение о согласии на перевод жилого помещения в нежилое помещение (пункт 4.5 части 2 статьи 44 ЖК РФ) принимается простым большинством голосов с учетом распределения по подъездам (часть 1.2 статьи 46 ЖК РФ).
Это уже поздно, будет уже очевидно, что сфоткано не тогда, а сейчас.
Только ведь и это не помогло бы.
Когда в суд обращаешься из-за фальшивого собрания, требуется вывесить уведомление для всех собственников, что ты обратился в суд. И мы когда в суд обращались, после полиции и прокуратуры, вывесили, как требуется, такое уведомление, сфотографировали его и акт составили за подписью разных собственников. Приложили к иску как доказательство исполнения надлежащей процедуры. Суд вернул, сказал — доказательство ненадлежащее :)
Превратить его в надлежащее так и не удалось. Оттого и своё собрание провели.
Хе хе.
Вот у нас сейчас в суде находится дело.
Полтора года назад группа мошенников закинула в ГЖИ фальшивый протокол собрания собственников, что якобы мы, собственники нашего дома, избрали своей управляющей организацией ООО "Жилкомвектор №3 Хрунзенского района". Стопроцентная фальшивка, подделка подписей 120 собственников.
Собственники о фальшивке узнали случайно, закидали обращениями ГЖИ, обратились в полицию, прокуратуру и суд. Результат — ноль.
Тогда собственники провели собственное, настоящее собрание, с повесткой дня "Избрать управляющей организацией то, что у нас на самом деле легитимная управляющая организация". Провели жёстко, по всей форме, с кучей бумажек, официальным вывешиванием и оповещением. Сдали протокол в ГЖИ. И из всех мер это единственное, что помогло, им пришлось вернуть наш дом обратно нам в управление.
И вот спустя год ГЖИ подаёт в суд на нас, на собственников, с целью отменить наше настоящее собрание и вернуть в "законную" силу фальшивое "собрание". Причина — "отсутствие доказательств надлежащего уведомления собственников о созыве собрания".
Т.е. что не представили мы документ, надёжно удостоверяющий, что уведомление о собрании было таки вывешено в том самом "где-то публично".
Какой документ был бы таким доказательством, спрашиваем мы у ГЖИ? Заказные письма, отвечают они. Мошенники-то представили "реестр почтовых отправлений", что заказные письма были вроде бы отправлены.
Законное требование? Ни в малейшей степени. Грубейшее нарушение ст. 45 ЖК РФ.
Но значения это не имеет, поскольку районный суд предварительно встал на сторону ГЖИ и предложил нам действительно доказать, что публично вывешивали.
А вы говорите, через приложение.
И это, для референса, Санкт-Петербург.
Уже было.
UTF-16 использует 2 или 4 байта для кодирования одной code point (но не 1 или 3). Один логический символ может потребовать нескольких code point.
Юрий Нестеренко — Тупиковая ветвь
https://github.com/palant/searchlinkfix
https://addons.mozilla.org/ru/firefox/addon/google-search-link-fix/
У меня стоит расширение, которое вырезает из страницы результатов код, который позволяет гуглу знать, что я кликнул результат. Я же наверное не один такой; это как-то учитывалось в исследовании?
Судя по описанию этого репа, этот баг там оффтопик, а Feedback Hub, на моей памяти, ни к чему никогда не приводил.
Это размещение значков на рабочем столе в десятке — вообще интересный источник программных решений.
Если копировать на рабочий стол папку с медленного сетевого диска, то с довольно ненулевой вероятностью эта процедура приведёт к смещению всех значков на рабочем столе.
Т.е. позиция 0,0 в левом верхнем углу сетки будет освобождена, все значки в первом столбце сдвинуты на 1 позицию вниз, последний значок переходит в следующий столбец и становится его первым, что сдвигает вниз на 1 все значки второго столбца, и так до тех пор, пока не обнаружится столбец, в котором значки не доходят до низа — тогда он выдерживает смещение вниз, и процесс перестаёт переливаться.
Это происходит потому, что сначала "алгоритм" решает освободить место 0,0 для нового значка, представляющего копируемую папку, помещает его туда, потом немедленно перемещает его оттуда в то место рабочего стола, куда вы его на самом деле перетащили. Если компьютер подтормаживает в достаточной степени, эту телепортацию можно наблюдать покадрово.
Если копируется с быстрого диска, с высокой степенью вероятности этого всего не происходит.
Писал на Feedback Hub давным-давно. Ноль просмотров, ноль ответов.
А судя по прочим постам на Feedback Hub, это не просматриваемый никем твиттер по интересам, с баг-репортами слабо связанный.
Ньюфаг детектед...
Эта вот касса самообслуживания, что на картинке рядом с кофемашиной — она же и в оперсоналенных послеремонтных пятёрочках стоит. И не так давно ей здорово попортили интерфейс модным молодёжным обновлением. Теперь модный интерфейс не показывает цену за единицу, а показывает только сумму по строке и общую сумму, т.е. приходится в уме делить 201,69 на 3, чтобы узнать, что одна штука стоит 67,23 рубля. А когда акции там, 1+1, скидки по карте, вообще не то показывает, что по строке, что в итоге — конечную сумму узнаёшь только перед самой оплатой.
В чеке же, однако, всё правильно, с ценами штук, суммами по строкам, скидками правильными и т.д., т.е. вся эта информация в машине есть, просто модный молодёжный интерфейс её не показывает.
Старый немодный интерфейс всё показывал правильно.