Разбираемся с тем, как накрывающие друг друга волны хайпа в безбрежном океане ИИ влияют на наши профессиональные схемы работы по удостоверению персональных данных (ПД). Последняя волна так или иначе связана с ИИ агентами, но как выяснилось, не только.

Представьте себе такую картинку. В эту минуту миллионы пользователей в онлайне совершают покупки в интернет магазинах или получают в том же онлайне услуги самых разнообразных сервис‑провайдеров. При этом они постоянно передают свои персональные данные поставщикам услуг и товаров, которым необходимо верифицировать полученные ПД, чтобы отфильтровать попытки фрода и убедиться в благонадежности и платежеспособности клиента. Очень часто они для этого обращаются к нам, в компанию IDX, для удостоверения полученных данных. Покупателям товаров и потребителям услуг тоже желательно бы убедиться в надежности поставщика, особенно когда речь идет об операции «из рук в руки» (вторичный рынок товаров и услуги самозанятых и индивидуалов). До недавнего времени для этого можно было воспользоваться услугой многочисленных сервисов типа «Глаз бога», но недавно, после очередного усиления ответственности за обработку ПД вплоть до уголовной, все эти сервисы прикрылись в одночасье.

Конечно, прежде, чем купить что‑то у поставщика, которым раньше не пользовался, люди обычно читают рекомендации, сравнивают предложение с другими похожими, проводят некоторые изыскания в сети. Самые продвинутые могут даже спросить совета у ИИ‑ассистента, но безоглядно доверять этому совету не будут, потому что знают, что лучшие друзья писателя, переводчика и кодировщика в житейских бытовых вопросах часто подвирают и галлюцинируют. Поэтому помощь ИИ пока не выделяется на общем фоне проверок надежности поставщика.

2025 год объявлен годом расцвета ИИ агентов — самостоятельных (автономных) помощников в выполнении полезной работы. Как обычно, хайпу в этих публикациях хоть отбавляй, поэтому вдумчивые читатели пытаются пробраться через этот хайп к истине. Нам в компании IDX это тоже важно, потому что по нашим представлениям появление работающих ИИ агентов существенно поменяет ландшафт обработки персональных данных (ПД). Мы приступили к работе над серьезным аналитическим отчетом о прогрессе ИИ агентов и его влиянии на ПД, что потребует некоторого времени.В этой же и последующих заметках мы будем отмечать наиболее интересные или хотя бы курьезные сведения, которые будут попадаться по пути.

4 апреля этого года появилась очередная публикация с прогнозом и сценариями развития ИИ до конца 2027 года (AI2027), подготовленная группой известных авторов, включая Даниэля Кокотайло, Скотта Александра и других. Здесь на Хабре уже опубликован перевод этой публикации, оригинал выложен на отдельном сайте ai-2027.com.

В этой статье рассматривается синергия между блокчейном и искусственным интеллектом (ИИ). Исследуются ключевые преимущества блокчейна, включая повышение безопасности и конфиденциальности данных, возможность децентрализованной разработки ИИ, укрепление этического и нормативного соответствия (комплайанса) в политике управления ИИ, а также защиту интеллектуальной собственности.

Глобальный экономический ущерб от COVID-19 оценивается в 10-12 триллионово долларов. Представьте себе, что может случится в результате киберпандемии.

В сентябре 2024 года в Бедфорде, штат Песильвания, США состоялся семинар “Новые парадигмы безопасности”, материалы которого были опубликованы в январе нынешнего года. В числе прочих на семинаре была представлена работа уже знакомого нам специалиста по кибербезопасности Адама Шостака (я писал о его последней книге в этом блоге) и его соавтора Джосайи Дийкстра, который двадцать лет проработал в АНБ.

Поскольку опубликованный материал назывался “Борьба с киберугрозами пандемического масштаба: Уроки COVID-19”, я воспринял это как продолжение направления размышлений Адама Шостака, с которым познакомился в его книжке. Поэтому я решил не просто пересказать, а перевести эту статью на русский язык и предложить ее вашему вниманию, благо объем сравнительно небольшой.

Понятие "киберинцидент пандемического масштаба" вводится в этой статье гипотетически, но на примерах киберинцидентов последних 40 лет показывается, как близки мы были к этому. И хотя киберпандемия пока не случилась, готовиться к ней надо. Еще одна причина, по которой я заинтересовался этим материалом заключается в том, что много лет назад, во второй половине нулевых годов этого века, мне довелось принять участи в работе АДЭ — Ассоциации документальной электросвязи. Эта уникальная профессиональная организация в форме общественно-государственного объединения ежегодно проводит конференцию под названием “Обеспечение доверия и безопасности при использовании ИКТ”. Работа, в которой я принимал участие двадцать лет назад относилась к разработке отраслевых рекомендация по взаимодействию операторов связи и сервис провайдеров в условиях чрезвычайных ситуаций и чрезвычайных происшествий (ЧС и ЧП). В терминах приведенной ниже статье Шостака и Дейкстры этот документ являлся плейбуком для угроз любого характера (all-hazards). Все примеры в статье приводятся на примере США, то ли глобального партнера России, то ли вероятного противника, если вы не уверены — дождитесь очередного интервью Трампа. Ведется ли работа по разработке плейбуков для киберсобытий пандемического масштаба в России, я пока не знаю, но собираюсь узнать и отчитаться в одной из следующих публикаций.

Введение

В последние две недели февраля появилось множество обзоров нового законопроекта Федерального Закона (пока без номера), внесенного правительством в Госдуму 15 февраля. Рабочее название закона “О создании государственных информационных систем по противодействию правонарушениям (преступлениям), совершаемым с использованием информационно- телекоммуникационных технологий, и о внесении изменений в отдельные законодательные акты Российской Федерации.”

Часто бывает, что появление каких-то законодательных инициатив приводит к необходимости реконструировать логику законодателя, не всегда достаточно полно отраженную в пояснительных записках к проектам законов,  а для этого, возможно, надо заново осмыслить всю экосистему персональных данных, в которую входит и наша компания IDX, предоставляющая услуги удаленного удостоверения личности и верификации персональных данных.

Существенные положения законопроекта

Переводя на бытовой язык название законопроекта, речь в нем идет в первую очередь о создании платформ по борьбе с кибермошенничеством со статусом ГИС, со всеми вытекающими отсюда последствиями. Чем же будут заниматься эти платформы? Вот сокращенный вариант текста законопроекта: одна из двух ГИС (статья 1 законопроекта) будет заниматься “выявлением (жирный шрифт мой —ВБ) информации, распространяемой в целях злоупотребления доверием путем введения в заблуждение …относительно достоверности информации и (или) принадлежности сайта и (или) страницы сайта …, в том числе в связи с использованием доменного имени, сходного до степени смешения с доменным именем, принадлежащим органам государственной власти либо с товарным знаком, фирменным наименованием, … права на которые принадлежат организации, индивидуальному предпринимателю или физическому лицу, и (или) сетевого адреса, и (или) информационной системы, и используемой в том числе для получения неправомерного доступа к принадлежащей таким пользователям информации”. Уф, обожаю юридический гоблдигук.

В последнее время две темы в новостях о новейших достижениях в области ИИ привлекали наибольшее внимание специалистов и досужей публики, которая желает все знать — китайский проект DeepSeek и производитель оборудования для ИИ американская компания Cerebras. Здесь, на Хабре своевременно появлялись публикации по обеим темам. Я сходил по некоторым ссылкам к первоисточникам, приведенным в этих публикациях для проверки фактов. Вы тоже можете это сделать, если захотите.

Для тех, кто не следил, напоминаю, что с успехами DeepSeek связывают недавнее обрушение фондового рынка Америки на триллион долларов, из которых шестьсот миллиардов пришлось на флагман в производстве оборудования для ИИ — компанию NVIDIA, поскольку сервис DeepSeek китайского базирования работает на платформе, не использующей NVIDIA. Мы еще не успели пережить крах Intel, а тут такое. Cerebras Systems тоже приходит к владельцам и управляющим NVIDIA в страшных снах, поскольку предлагают альтернативное GPU архитектурам решение для ИИ платформ, особенно облачных — компьютеры на кристалле по технологии wafer scale integration. Некоторые горячие головы называют Cerebras убийцей NVIDIA. Убийца или нет, но черный лебедь точно. А два черных лебедя — это тяжело даже для компании с капитализацией 2.89 триллиона долларов даже после последнего падения на 17.8% (с тех пор отпрыгнули опять за три триллиона).

И вот, последняя новость, два черных лебедя слились в объятьях — 30 января компания Cerebras объявила о том, что разместит на серверах, расположенных в США, китайскую модель ИИ DeepSeek R1 (оригинал публикации на сайте технологических новостей Venture Beat здесь, ее пересказ в блоге компании BotHub на Хабре — здесь). Я выделил жирным шрифтом те слова, которые, как мне кажется, отражают главный смысл этой новости. Чуть позже в той же публикации цитируются слова директора по маркетингу продуктов Cerebras Джеймса Ванга (James Wang), который в пересказе BotHub ошибочно называется старшим исполнительным директором. Так вот, этот Джеймс Ванг сказал в эксклюзивном интервью сайту Venture Beat буквально следующее: “Если вы используете API DeepSeek, который сейчас очень популярен, эти данные отправляются прямо в Китай” и это заявление меня слегка удивило своей неполиткорректностью и отсутствием доказательств. Впрочем, на мой взгляд, оно вполне в стиле внешней политики новой администрации США, которая того и гляди начнет торговую войну с Китаем.

По древней традиции, корни которой уже и старожилы с запущенной амнезией не упомнят, перед Новым Годом хочется сказать что-нибудь значительное и ободряющее, тем более, что в этом году ханука совпала с католическим рождеством и кроет Новый Год как бык овцу. Это символичное совпадение разных календарей в очередной раз дает слабую надежду на то, что разодранный в лоскуты мир одумается и начнет отползать от пропасти. Товарищи, мы станем братья и все такое.

Буквально на днях я закончил читать тетралогию ПВО по вселенной Transhumanism Inc. Оказалось, что я запустил это дело и не читал не только последний роман “Круть”, но и предыдущие два — “KGBT”+ и “Путешествие в Элевсин”. Этот пост я помещу в хаб “Информационная безопасность” с тэгом “кибербез” хотя бы на том основании, что в последних двух романах главный герой — это заместитель начальника службы безопасности корпорации Transhumanism Inc. Маркус Зоргенфрей (нет, не еврей, но с российскими корнями, то есть предки жили в Добром государстве в эпоху позднего карбона). Поскольку вся корпорация Transhumanism Inc. предоставляет услуги цифровой жизни за пределами физических тел (в банке), такая классификация поста будет оправдана.

Несмотря на то, что при чтении всей тетралогии я нередко ржал как помешанный, но прорыдавшись, поневоле задумывался о вопросах вполне профессиональных. Например, начальник СБ адмирал-епископ Ломас рассказывает своему заместителю, что удалось запереть в банке демона зла Ахилла и отключить от нее все информационные потоки, то есть заточить демона в темницу. Обеспокоенный Маркус Зоргенфрей спрашивает, но позвольте, ведь банка с демоном находится в банкохранилище, где обеспечивается электропитание и климатика, а демон хитер и опасен, не может ли он выбраться из банки по электрическим проводам или по слаботочке? Нет, успокаивает его адмирал Ломас, не сможет, потому что именно здесь проходит великая граница между материей и сознанием. Похихикав, я задумался, что же это мне напоминает из недавнего опыта. И тут меня как молнией ударило и я опять начал бешено хохотать как Паниковский перед гирями, когда тот сообразил, что они золотые.

Нас в компании IDX, которая занимается легальным удостоверением персональных данных, естественным образом интересует все, что связано с ПД, даже если оно выходит за рамки нашей операционной деятельности. При этом, мы естественно держим в голове одну мысль — не пора ли нам тоже этим заняться, чтобы дополнить и обогатить наши сервисы.

В последнее время популярная аббревиатура OSINT(Open‑source Intelligence — расследование по открытым источникам) незаметно переползла из контекста журналистских расследований в стиле Bellingcat и других специалистов, которых иногда называют обидным прозвищем «разгребатели грязи» (muckrakers), в сферу кибербезопасности и утвердилась там в качестве, как минимум, модного направления, которое у всех на слуху.

Что ж, давайте разбираться.

У меня, бывшего системного аналитика, действующего переводчика и вечного книжного червя, с детства засело в памяти выражение героя школьного романа, ныне мало популярного, но с неизменно актуальным названием: «… по каждому предмету капитальных сочинений очень немного… Надобно читать только их». Я и до сих пор считаю, что если ты сам не стоял у истоков темы, но хочешь разобраться, надо начинать с чтения этих капитальных сочинений.

Вот эти сочинения, рекомендованные специалистом по OSINT, который нынче консультирует компанию IDX:

Сразу после выхода законов об изменении законов об ответственности за ненадлежащее обращение с персональными данными, мы в компании IDX, как и все, кто имеет дело с персональными данными (как выяснилось, это вообще все юридические лица и ИП, поэтому, короче, как весь народ) втянули голову в плечи и прижали уши. Немного отдышавшись, высунули голову из окопа и начали оглядываться. Тут мы вспомнили, что есть люди, которые работают с обезличенными персональными данными, например в интернет-рекламе, и решили узнать, как обстоят дела у них. Очень удачно оказалось, что как минимум трое сотрудников компании работали когда-то вместе с Михаилом Бенюхисом, который последние 15 лет занимался интернет-рекламой и попросили его об интервью. К счастью, Михаил не отказался и вот что получилось.

Начало обзора здесь.

Первые необъяснимые результаты

Восьмая глава в каком то смысле переломная для всей истории эволюции глубоких сетей, рассказанной в книге. Здесь тревожные звоночки, которые звенели раньше, превращаются в первые проблемы работы с моделями, которые мы даже объяснить не можем, а можем только высказать какие-то предположения. 

Сама глава посвящена оценке качества модели, обученной на учебном наборе данных. Качество понимается как точность предсказаний, сделанных моделью на проверочном, тестовом наборе.

В довольно простой задаче распознавания рукописных цифр, используя хорошо известную базу MNIST (60 тысяч обучающих образцов и десять тысяч тестовых) в упрощенном варианте MNIST-1D (всего 4000 обучающих образцов). Каждый упрощенный образец дискретизируется в 40 точках и на каждый из сорока входов модели подается горизонтальное смещение точки образца (поэтому набор данных и называется MNIST-1D). В модели два слоя по 100 элементов в каждом. Для оптимизации используется стохастический градиентный спуск. По ходу обучения ошибка классификации образцов, подаваемых на вход плавно снижается до нуля. Однако ошибки на тестовом наборе, которые начинают снижаться, дойдя до 40%, остаются на этом уровне. Значение функции потерь при этом даже увеличивается, приближаясь к единице, что означает, что модель делает те же ошибки, но с большей уверенностью.

На простых регрессионных моделях исследуются три источника ошибок (шум, дисперсия и смещение) при генерации тестовых данных и предлагаются методы сокращения дисперсии (за счет увеличения количества тестовых данных) и смещения за счет увеличения мощности модели (с шумом ничего поделать нельзя). При этом еще существует баланс дисперсии и смещения — увеличивая мощность модели, чтобы сократить ошибку смещения, мы получаем увеличение дисперсии как компоненты ошибки. Это значит, что для каждой модели существует некоторая оптимальная мощность для заданного объема обучающих данных.

Предуведомления

Я обещал в предыдущей публикации в этом блоге, что напишу про еще одну книжку, которую перевел в конце прошлого года для того же издательства «Бомбора». Книжка довольно увесистая, 526 страниц, называется «Understanding Deep Learning». Автор Simon J.D. Prince. — ученый, исследователь, почетный профессор Университета Бата (University of Bath). Он был руководителем проектов в двух компаниях, известных на рынке ИИ‑продуктов: Anthropics Technology Ltd и RBC Borealis. В 2012 году вышла его первая книга «Computer Vision. Models, Learning, and Inference», которая выдержала четыре издания, была переведена на китайский и продалась в количестве более десяти тысяч экземпляров (для научного издания это много).

Как и в обзоре предыдущей книги, хочу сделать оговорку, что делаю его не как специалист по ИИ, а как читатель с базовой подготовкой в ИТ и прикладной математике в объеме технического университета по специальности «Автоматизированные системы управления» и аспирантуры по методам стохастической фильтрации (фильтр Калмана) для гироскопических и навигационных систем. То есть я хочу поделиться своим читательским опытом с теми, кто, как и я, хочет понять что происходит в отрасли ИИ и получить начальные, но не совсем уж популярные сведения по архитектуре и математическим моделям нейронных сетей.

Свой перевод я сдал в издательство с рабочим заглавием «Понимание глубокого обучения», которое, скорее всего, поменяется. Во‑первых, названия всегда придумывает отдел маркетинга, а во‑вторых, в предисловии автор пишет, что в названии книги содержится некоторая шутка или горькая ирония, потому что на момент написания книги (оригинал вышел в 2023 году) никто не понимал глубокого обучения. На Хабре очень много публикаций по этой теме, и, мне кажется, что читатели этого сайта в большинстве своем знакомы как минимум с основами, но все же рискну уточнить термины. «Глубокое обучение» — это сокращение от «обучение глубоких нейронных сетей». Во‑первых, удобнее при изложении, а во‑вторых есть преемственность с названием охватывающей области исследований — машинного обучения, которое много лет развивалось без использования нейронных сетей, а теперь успешность их применения и бурный рост исследований и продуктов на их базе настолько превзошли все другие подходы, что многими термины «машинное обучение» и «глубокое обучение» воспринимаются как синонимы, хотя это пока еще не так.

Когда неожиданно для себя и для всех берешься за какое-то дело, это может затронуть некие глубинные пласты мироздания и слегка заржавевший механизм приходит в движение, показывая в окошечках удивительные комбинации символов, не виданные или не узнанные ранее.

О проблеме плотности тестовых данных для моделей ИИ

Вот, к примеру, взялся я давеча переводить монографию по машинному обучению в версии Deep Learning. Ничто не предвещало, просто в восьмой главе обсуждали, почему хорошо обученные модели на тестовых данных ведут себя не так хорошо, и обсуждение на примере задачи многомерной классификации привело автора к сетованию, что чем выше размерность задачи, тем разреженнее становятся тестовые данные. Выборка в 100 000 образцов выглядит прилично в трехмерной задаче, но как только размерность задачи начинает расти, плотность образцов в пространстве пар «вход/выход» падает катастрофически. Чтобы пояснить свою мысль, автор рассказывает о том, что я знал в младенческом возрасте, когда читал журнал «Квант» и мечтал поступить в МФТИ, но с тех пор уже забыл напрочь.

Пример очень простой, но наглядный, не погнушайтесь элементарной математикой. Возьмем круг, вписанный в квадрат со стороной, равной единице. Какая будет площадь круга? Ответ известен из курса школьной математики.

Вступление

Когда я присоединился к компании IDX после некоторого перерыва в профессиональной карьере, хотя и не в прежнем качестве архитектора и менеджера проектов, а в роли автора, я погрузился в обширный материал того, что произошло в отрасли информационной безопасности (ИБ) за последние десять лет. По мере вхождения в предмет я не мог не заметить, что тема персональных данных (ПД) стала занимать гораздо больший объем в необъятном и довольно эклектичном круге вопросов ИБ, чем это было всего несколько лет назад.

Попросту говоря, складывается ощущение, что выдувается пузырь. Тут же захотелось понять — сам выдувается или его выдувают. Вы же помните пузыри доткомов, когда в любой завалящий проект инвесторы вливали щедрые миллионы, лишь бы в описании было что‑нибудь «с точкой» (.com). Инвестиционному рынку это на пользу не пошло, но это другая история. Здесь меня больше волновала судьба того проекта, в котором я теперь участвую, и хотелось увидеть его в перспективе. Идею проекта я слышал от основателя и руководителя IDX Светы Беловой еще лет десять назад. Еще через пару лет звезды встали правильно, и вот уже седьмой год компания успешно работает на рынке, пусть и довольно нишевом. Если бы это был чисто инвестиционный пузырь, столько лет он бы не продержался, значит, как минимум, во всей это истории есть естественный дрейф, и есть искусственные воздействия на направление этого дрейфа. Захотелось посмотреть на этот дрейф на фоне «большой картинки». На нашем внутреннем жаргоне этот жанр называется «поговорить о великом». Поэтому я решил написать эту заметку, описывающую «большую картинку», как я ее вижу.

Виздательстве «Бомбора» (импринт суперкорпорации «АСТ/Эксмо») в конце года должна выйти в моем переводе книга одного из самых известных специалистов в области информационной безопасности Адама Шостака (Adam Shostack). В оригинале книга вышла в 2023 году под заглавием «THREATS. What Every Engineer Should Learn from Star Wars».

Возможно, вы спросите — почему в моем переводе, ты кто вообще такой? На Хабре можно встретить много критики в адрес переводных изданий издательства «Бомбора», вот наконец и переводчик явился со своими рекомендациями. В свое оправдание могу только сказать, что переводами специальной литературы я занимался все сорок лет, что проработал в отрасли ИТ, со времен, когда она еще так и не называлась. Переводы, которые я делал или редактировал, всегда были связаны с моей основной работой в качестве руководителя проектов, системного архитектора, евангелиста правильных технологий и архитектур. После окончания активной карьеры в профессиональном качестве я переключился на переводы художественной литературы. Но вот, ровно год назад мне снова предложили вернуться к техническим переводам, но на этот раз уже предложенные книжки не лежали в русле моей основной специализации. Перевод этих книг стал для меня поводом узнать что‑то новое, догнать ход событий в менее известных мне областях. Моя базовая подготовка в ИТ позволяет надеяться, что грубых ошибок я не наделал.

После того, как я за год перевел три книжки, из них две довольно толстых и мудреных (кроме книги Шостака еще объемную монографию о глубоких нейронных сетях «Understanding Deep Learning» (автор Simon J.D. Prince), я уже не удивлялся, когда мне предложили присоединиться к компании IDX в качестве копирайтера (в хорошем смысле). Перейдем собственно к рассказу о книге.