Бывший сотрудник АНБ обвиняет агентство в неспособности справиться с огромным объёмом данных от массовой слежки

[meider]

Искать террористов в куче метаданных все равно что иголку в стоге сена. В таком случае напрашивается вопрос зачем? Ведь выхлопа никакого

[nochkin]

Зачем? Распиливать бюджет.

[pewpew]

Чтобы затыкать неугодных власти. Террористы в их понимании — те, кто может ослабить контроль над толпой, открыть им глаза. И не важно, какая власть имеется ввиду. Власть стремится себя укрепить, остальное вторично.

[EndUser]

Более того, они имеют нерепрезентативные данные, на которых делают неверные выводы и решения:
http://inosmi.ru/social/20160220/235491008.html

[LoadRunner]

Bite off more than you can chew.

[Tabke]

Копят данные про запас. Надеются разработать автоматический анализатор позже. Не зря сейчас столько шума про ИИ стоит.

[Mirn]

а это реально?
например если я ищу что то в почте и натыкаюсь на письма двух и более летней давности то даже я мало что могу понять, даже зная тему разговора и примерный контекст. И в таких случаях с старыми делами, всегда моему далеко не исскуственому интеллекту чтоб понять смысл писем надо помимо просмотра писем, требуется ещё и спрашивать людей, смотреть тех документацию и тд. И не всегда могу в конце концов разобраться о чём было это старое письмо.

[Mirn]

я про то что контекст сообщений размазан не только в самой переписке а в других каналах, при личной встрече, тел разговорах, и прочих источниках.
Попробуйте открыть историю переписки скайпа или аськи 5 летней давности наугад и понять что это и о чём это. Как минимум треть случаев покажется полной тайной даже тому кто сам это писал.

[Fox_exe]

Вот где реально нужны «Big data».

[TimsTims]

Знаете, что меня смущает? Почему этот человек об этом говорит, и его не садят в тюрьму, а точно такого же «бывшего сотрудника АНБ» Сноудена — садят? Может этот человек — просто подставная утка, который говорит, что «у нас так много данных, что у нас ничего не работает», чтобы якобы всех успокоить, что АНБ не работают, а на самом деле всё у них схвачено?

И вот еще момент:
> Он покинул своё место работы в 2001 году
Никого это тоже не смущает? А ничего, что за эти 15 лет технологии просто колоссально изменились, и что было в 2001 году — это просто другая цифровая эпоха? И как этот человек может знать, что сейчас действительно в АНБ и действительно АНБ не могут распутать это дело?

[rumkin]

Я думаю, что он лучше понимает как обстоят дела в АНБ, чем мы с вами. А не садят потому, что он делает заявления, а не публикует секретные документы.

[r00tGER]

А может и Сноуден вовсе не бывший сотрудник, просто у него задание такое? :)

[PartisanBLR]

Он покинул место работы и основал свою компанию. Это же совсем не означает, что он перестал заниматься тем чем занимался.
Кроме того в небольших компаниях (особенно не привязанных к какому-то конкретному не очень эффективному софту) порой проще и быстрее развиваться вслед за событиями «цифровой эпохи»…

[TimsTims]

Да пускай человек и дальше развивается, я ведь не про его развитие говорю, а про развитие анб. Он уходил, когда в анб было еще очень скучно, и сейчас это гораздо более развитая структура, чем была тогда. И поэтому он не может знать, что там у них происходит сейчас, основываясь на данных, которые у него были 15(!!!) лет назад! Если конечно никто ему не сливает информацию.

[MonsterGod]

Возможно выскажу непопулярное мнение, но возможно здесь и помог бы ИИ, ведь ему справляться с таким объемом данных проще, чем человеку.

[vblats]

Не помог бы. Дело не в объеме данных, а в их реляциях. Они могут быть зависимы друг от друга, по контекстным словам, предложениям, могут быть завуалированными, в общем такими, с чем человеческий разум справится в два счета, а ИИ понадобится несколько лет, чтобы понять что «Show me your kitty, my pretty» в обращении в письме к «I'm your 11-old kitty» — создано педофилом к 11-летней девочке, а не любителем котов к ушастому питомцу.
***
Да и искусственным интеллектом ЭТО назвать будет трудно, а скорее так… навороченным парсером. ИМХО.

[MonsterGod]

Возможно нейросеть можно натренировать на подобные фразы десятками тысяч примеров и она сможет как минимум отбирать подозрительные вещи из общего потока, а люди уж будут решать стоит это внимания или нет. В процессе отбора людьми вручную она будет и дальше обучаться. Если я конечно правильно понимаю принципы работы нейросети.

[vblats]

Вы правильно понимаете. Лишь с той разницей, что нейросеть — это скорее способ сортировки информации, а не ее восприятия. Добавить регулярку в парсер всегда можно, но для этого ее нужно заранее выловить. А ведь мы говорим только за парсер текстовой информации :)
А если «террористы»/«педофилы» будут обмениваться не текстовыми сообщениями, а голосовыми или ни дай бог визуальными сообщениями? Тут не до парсинга, тут научиться бы отличать «Окей, гуголь» от «Отлей в угол» :)

[d7s2di]

Наша служба и опасна и трудна.

[helgihabr]

Видимо, создание/аренда супер компьютеров многими государствами и преследует цель обрабатывать наиболее актуальные запросы к такому объему данных. А остальные задачи, типа анализа данных синоптиков или просчет мат. моделей создания вселенной, — это, скорее, публичные версии, либо формальное обоснование создания таких супер компьютеров.