Часть 1 или туда и обратно...

1. Неожиданные герои

«Совокупность человеческого опыта расширяется с невероятной скоростью, и средства, которые мы используем, чтобы пробраться через этот лабиринт к важному на данный момент предмету, те же, что использовались во времена парусников.»

1945 год, Венневер Буш «As We May Think»

Так получилось, что последние лет 10 я посвятил исследованию проблемы информационных перегрузок и поискам её решения. То, что сначала просто ощущалось как неудобство хранения закладок, в какой-то момент привело к интересу к комплексным информационно-аналитическим системам, а потом вовсе немного вышло из-под контроля, превратившись в полновесный эпичный квест против “древнего зла” и поиски оружия против него. Может, я немного увлёкся, но проблема оказалась серьезнее, чем я предполагал, и, думаю, то, что я обнаружил в процессе, может быть полезно не только мне одному.

В разработке программ, наверное, как и в любом деле, часто всплывает тема мотивации, и обычно она тесно связана с осмысленностью и полезностью работы. То что вы делаете, должно иметь значение, быть полезно, заметно, но в лучшем случае полезность измеряется в скорости открытия страниц или экономии процентов заряда, что немного разочаровывает. Поэтому я всегда с изрядной долей иронии воспринимал motto некоторых IT-компаний и отдельных программистов, что они спасают мир написанием своих программок, мне сразу вспоминалась шутка, что «теперь у нас на одну проблему больше». Но как-то так получилось, что я сам внезапно обнаружил себя в ситуации, когда и мне пришлось спасать мир, и, конечно, с помощью программки.

Сейчас тема стала особенно актуальной, так как внезапно выяснилось, что не только у людей проблемы с памятью и контекстом, но и у ИИ есть точно такие же проблемы. Плюс, как и любая технология, ИИ, кроме бонусов, несёт и риски, и в данном случае это уже проявляется в резком росте ИИ-слопа, галлюцинациях моделей, обмане и усилении заблуждений пользователя. Так что сейчас особенно важно иметь возможность проверить любые выводы моделей, как, впрочем, и выводы других людей, или даже свои собственные.

Настало уникальное время, ИИ даёт возможность в одну каску решать такие проблемы, которые ты бы ещё вчера не вывез бы и с хорошей командой. Я думаю, именно сейчас имеет смысл описать нечто вроде постмортема/ретроспективы: как вообще можно найти по-настоящему важные и интересные проблемы и как (не надо) их решать. Возможно, это последний большой проект, где хотя бы само исследование и проектирование было сделано без ИИ, так что будет полезно ещё и зафиксировать «As we were thinking» в эпоху до-ИИ.

Подчеркну - это именно нечто вроде исследовательского отчета, попытка зафиксировать, из чего я исходил, что нашел, и куда пришел, по сути это мой личный trailblazing (поиск пути). Частично это саморефлексия, чтобы пройтись по выводам еще раз самому; частично я уже устал вариться в собственном соку, и мне нужен взгляд со стороны от коллективного разума; частично потому, что знаю, что есть люди, кто тоже пытался в разное время решать подобную проблему, и думаю, что сейчас самое время объединить усилия, иначе опять мир спасут не те и не так :)

Но прежде чем начать решать проблему, её нужно сначала хорошо изучить и описать, а прежде чем изучать - её нужно заметить, и бывает, что как раз этот этап занимает больше всего времени.

2. Скитания во тьме

Я обещал рассказать, как можно найти такую достойную проблему. Секрет прост: на самом деле она, скорее всего, уже вас нашла, просто вы её не можете разглядеть в малых проявлениях в вашей жизни, которые вам постоянно мешают.

Вот и моё знакомство с проблемой началось со вкладок в браузере. Довольно быстро стало понятно (ещё тогда, в начале 2000-х!), что иерархическое хранение по папкам просто не работает; плюс сама ссылка не очень полезна, нужен контекст, нужны цитаты, нужен, наконец, удобный поиск по содержимому. Но создатели браузеров, похоже, до сих пор думают, что они идеальны. А тогда ещё даже альтернатив в персональных информационных менеджерах (PIM) типа Evernote не было, максимум отдельный файлик (и по классике потом его потерять, потом найти, потом вручную мержить разные версии…).

Как будущий (на тот момент) программист, в теории я мог написать свой PIM самостоятельно, но как хороший студент я интуитивно почувствовал, что “it’s a trap” - проблема сложнее, чем выглядит, и я, конечно же, забил. Ну а что, если закладки не открывать (всё равно там ничего не найдёшь), то они не так уж плохи. По крайней мере, немного греет, что где-то зарубка осталась, и в теории её можно найти (здравствуй, самая популярная папка «Unsorted/ReadLater»).

Второй подход к снаряду начался во время кризиса 2008 года. Как и многие «технари», все эти экономики, политологии и философии, преподаваемые на «хорошем» уровне в техническом вузе, для меня выглядели, мягко говоря, не настоящими науками, местами даже откровенно вредными, в лучшем случае пустой болтологией. А тут стало немного волнительно, как кризис сможет дотянуться до моей тушки, и я стал читать по-взрослому. Сначала экономика, потом «внезапно» выяснилось, что экономика сильно зависит от политики (здравствуй, политэкономия), потом оказалось, что политика сильно связана с философией (и не только полит-).

Это были гигантские объёмы новой для меня информации, и, конечно, труба позвала поучаствовать в “специальных олимпиадах” на разных “около-” форумах. Как же без этого? Тогда ещё народ не успел устать от бесконечных тредов и не сбегал после первого критического замечания, а как мужчина стоял насмерть - до последнего аргумента и ещё долго после. Старая гвардия. Эх, планеты ломались раньше, чем эти люди.

Конечно же, очень быстро выяснилось, что читал я не то, не там, не у того. Факты, в которых я был железобетонно уверен, разбивали на раз-два, другие всё знают лучше, и “вот тебе ещё столько же почитать для затравки”. Ну, все хотя бы раз это проходили. Но дальше большинство или обжигалось и стало избегать споров как огня, или же отращивали шкуру потолще и уходили в отряды троллей или вставали в глухую оборону отмахиваясь банхаммерами и игнорщитами.

Но у меня всегда была склонность смотреть на всё со стороны, и когда горение поутихло, я стал замечать общий паттерн - споры повторялись раз за разом об одном и том же, аргументы почти одни и те же, потом от усталости постоянные уходы в демагогию, включая переходы на личности. В общем, один и тот же паттерн повторялся многократно, разными людьми, в разных ситуациях.

Я всегда думал, что умные люди могут снять свои разногласия просто сев вместе и сравнив свои аргументы — так должен был работать Его Величество Спор (конечно, при всех «но» — что люди нацелены на поиск истины, а не на полемику, не уходят в демагогию или эклектику). Но тут появились весомые подозрения, что этот механизм просто не работает. Однако на тот момент не получилось размотать эту проблему до конца, и я ушёл в поиск чисто технических решений типа wiki или продвинутых сервисов закладок типа del.icio.us и аналогов. В общем, это не было полноценным решением (здравствуй снова папка «Unsorted», а вики требовала слишком много усилий), но на тот момент это казалось почти хорошим решением, сильно лучше, чем убогие закладки, проблемы списывались на skill issue, и ещё какое-то время это позволило игнорировать саму проблему дальше.

До настоящего озарения, которое со всей ясностью высветило убогость таких решений, оставалось 3 года.

3. Меч в камне

Я хорошо помню этот момент, когда читал статью на 3dnews.ru от неизвестного мне тогда Берда Киви под наркоманским названием «Говорящие камни на службе ЦРУ», и вдруг почувствовал, как трещит по швам мой шаблон, вернее, моё шаблонное мышление: «А что, так можно было???».

Это сейчас кругом обилие аналитического софта, дашбордов, даже OLAP-фильтров в онлайн-магазинах накрутили. Но на тот момент такая навороченная информационно-аналитическая система, которая позволяла собирать совершенно разнородные данные из разных источников, выделять из них сущности, соединять их ссылками, выводить и анализировать различные параметры в разных разрезах - в привязке ко времени, геолокации и т. д. и т. п. - выглядела волшебством.

И это при том, что я уже к тому моменту был опытным программистом, успел поработать в паре крупных компаний, сам делал и рефакторил довольно сложные (как я тогда считал) проекты, рос в сторону архитектора, прочитал много хороших технических книг. Но почему-то мне вообще в голову не приходило, что системы могут быть ТАКИМИ - комплексными (в хорошем смысле, как complex vs complicated).

До сих пор не могу понять, как я так впал в грех инерционности мышления и сам не смог придумать такую концепцию. Если подумать, всё же было очевидно, да и в целом абстрактное мышление у меня всегда было хорошо развито. Я всё ещё считаю этот момент своим единственным и самым важным профессиональным провалом. Скорее всего, свою роль сыграли типовые трёхлинейные проекты (они были кругом: и в примерах, и в книжках, и на работе). Да и софт, который попадался, в том числе и тот, который я искал для работы с информацией, - это всё были простые и убогие UI+DB, и в общем сами недалеко ушли от тех самых закладок в браузере.

Дальше уже было сильно проще. По отработанной схеме пошёл сбор информации по другим информационно-аналитическим системам (ИАС). Попутно у того же Берда Киви и далее по ссылкам было прочитано несколько статей по OSINT (Open Source Intelligence - разведка по открытым источникам). Тогда она ещё была не так на слуху, впрочем, и до сих пор мало кто понимает, что это на самом деле, и лепит ярлык OSINT на всё подряд.

Итак, открылся целый новый пласт, даже несколько - аналитика, разведка, потом смежные области вроде информационных и психологических войн (что в общем до сих пор полезно, но не так интересно), куча разных «типа» OSINT-инструментов для сбора и обработки информации. Хотя среди них тоже попадались вещи, которые ещё больше раздвигали горизонты, типа Maltego с его трансформерами.

В то время я еще не понимал саму проблему, просто решил, что многие вещи можно решить с помощью комплексной аналитики и автоматизации разной рутины, ну и правильной организацией данных, чтобы вся это работало максимально автоматически. Сложилась такая концепция Maltego с продвинутой аналитикой (а ля Palantir) и хорошей базой знаний в придачу. Но всегда можно уйти на уровень абстракций повыше, например туда, где существуют не сами инструменты, а техники, процессы, концепции, и мой прошлый опыт как в изучении программной архитектуры, так и изыскания в экономике, политике и философии, хорошо меня научили всегда пытаться посмотреть на все сверху.

4. Анагнорисис

Анагнорисис (др.-греч.) - критический момент узнавания или открытия, когда тайное становится явным.

Так что кроме чисто практических инструментов, попутно я стал погружаться в разные концепции работы с информацией (Intelligence Cycle), аналитические фреймворки (Cynefin), подходы к организации и категоризации знаний (например пирамида DIKW). И в какой-то момент мне попалась статья о Memex Венневара Буша - устройство, которое вынесено в название канала и ссылка на которую была во введении.

И это был следующий прорыв. Хотя сама концепция Memex (MEMory EXpander или EXtender или indEX - расширитель памяти, электромеханическое устройство для работы с информацией на основе микрофотографий), конечно, устарела в техническом плане (ну кроме любителей стим- или дизельпанка, хотя Буш и сам позже писал про микроэлектронику). Но вот сам этот его подход: что мышление работает иначе, чем библиотечный указатель - оно работает ассоциативно. И нужны специальные инструменты, которые должны учитывать, как работает мышление, а не навязывать свои ущербные методы, - оно ещё раз всё перевернуло и позволило правильно выставить приоритеты: нам нужны не более продвинутые закладки, нам нужен именно усилитель человеческого мышления, как новая среда взаимодействия человека и более надежных инструментов для работы с памятью.

Но как это иногда бывает: когда вроде уже хорошо начитался по теме, и сюрпризов быть не должно, внезапно поймал третье и самое главное озарение, которое, как краеугольный кусочек в мозаике, вокруг которого всё выстраивается, ещё раз основательно перетряхнуло всё.

Это случилось от вполне обыденного словосочетания «информационная перегрузка», которое мне на тот момент уже попадалось, но особого внимания не удостоилось. Даже с учётом того, что я был в курсе известного антипаттерна Analysis Paralysis (когда ты не можешь принять решения из-за желания учесть множество всех возможных факторов). Похоже на тот момент накопился какой-то критический уровень информации по теме, и всё сфокусировалось именно на этом словосочетании.

И вот тут со скрипом всё действительно встало на своё место. Потом постепенно накатило осознание всех проявлений этого явления, включая не только первоначальную проблему с неработающим спором, но и многие другие явления культурного и даже рискну заявить, что цивилизационного масштаба, особенно если попробовать оценить в динамике как быстро она нарастает. Уж простите мне это слишком пафосное сравнение, но я буквально почувствовал, как внезапно обнаружил огромную бездну прямо у себя под ногами. У всех нас под ногами. Да, я обещал описать все выводы, но тут сразу сошлось слишком много линий - и все эти бесконечные споры об одном и том же, и антипаттерны с когнитивными ловушками, и информационные пузыри, и фрагментированные картины мира, и даже постмодерн, с его релятивизмом истины, от которого меня тогда сильно бомбило, стал понятен и даже неизбежен в этой новой мозаике. Я постараюсь пройтись по всем этим аспектам дальше (по верхам, так как у меня нет цели написать многотомник, да и не моя эта сфера, я рассматривал это все именно в плане практических проявлений), сейчас же просто зафиксирую главное, что я тогда понял.

Большинство воспринимают информационные перегрузки скорее как постоянно растущее число непрочитанных сообщений, писем, открытых вкладок, и думают, что им просто нужен “детокс” - закрыть все лишнее, отдохнуть недельку от компа, настроить правила или теперь ИИ-агентов - и все, проблема решена. То есть опять skill issue. Но удивительная это вещь - информация. Мы всё так привыкли её просто использовать, как свою руку, голос в голове или слова, что особо её не замечаем. И кроме травмированных специалистов - которым по работе требуется лопатить большие объёмы данных - никто особо и не понимает, что мы все на самом деле давно перестали с ней справляться. Ты можешь отложить телефон, но медицинские проблемы никуда не денутся, и их нужно ресерчить (хотя бы как “второе мнение”); наши знания о мире влияют на наши поступки, и нужно их проверять, нельзя уже просто верить даже самым уважаемым людям; мы каждый день сталкиваемся с кучей рисков, например с кибербезопасностью или мошенниками, про которые нужно знать, иначе можно потерять не только время, ценную информацию, деньги, собственность, но и здоровье. И со всем этим сталкиваются уже обычные люди, каждый день, и эта сложность с каждым днем растет.

В качестве заключения — возможно, покажется, что это слишком громкое заявление. Ну подумаешь, информация, ну подумаешь, перегрузка, это не электролинию перегрузить, ничего не взорвётся. Но если тебя сильно нагрузить тяжестями, у тебя спина заболит. Если переешь — будет болеть желудок. Посмотришь на солнце — заболят глаза. Случится рядом взрыв — оглохнешь. Психологическое напряжение приводит к нервным срывам, депрессии, даже самоубийствам. Любая перегрузка вызывает повреждение, а что наступит от информационной перегрузки — точно ничего? Или мы просто не замечаем?

Теперь, когда проблему вытащили на свет, нужно её подробно изучить со всех сторон, понять все ее проявления, но это тянет на отдельную заметку.

Quest For The Holy Memex