Комментарии 114
И пост https://habr.com/ru/posts/883148/, и статья... смысл?
Это сверхмёртвые души.
Из таблицы, навскидку, старше ста лет около 20 миллионов записей. На приведенной картинке половозрастной структуры ничего подобного не наблюдается. Дальше, подобная численность людей старше ста лет загнала бы среднюю продолжительность жизни куда-то в небеса, чего, опять же, не наблюдается. Делаем вывод, что это какая-то внутренняя база и надо, в соответствии с приведенными вопросами, разбираться, что вообще означают эти данные. А Маску важно с ходу сообщить: гляньте, какой бардак творился до меня!
Ну в любом случае бардак же
Или поле из таблицы удалите, или актуальные данные проставьте
Консистентность БД - основа демократического мира
Два ключевых вопроса: этим мертвым душам перечисляли деньги? Если да (тут два новых вопроса, кто же получал за них эти деньги - уголовка в чистом виде, или же они накапливались на счетах несуществующих уже людей - а откуда у них счета), то это действительно эль скандаль. Если нет, то это никому не интересная внутренняя кухня бюрократической структуры. Я имел отношение к одной базе населения - актуализация подобных вещей жуткая головная боль. Возможно (как предполагается в вопросах в статье) это поле означает, что у агентства нет официальной информации о смерти человека, а напрашивающееся решение "update table set dead = true where age > 120" (для начала) противоречит какому-нибудь регламенту и никто не возьмет на себя.
Нет информации это NULL
Даже если средства не получают (верим!) то всё равно планируют и резервируют. Неужели не удосужились проверить? За десятки лет.
Как? Вот у вас запись о филиппинце, которому присвоен SSN в 1940 году, когда эта территория была под контролем США. А в 1946 году США ушли. Что с этим человеком? Тем более, что электронной базы тогда ещё не было.
Или запись об обладателе долгосрочной визы или гринкарты, который уехал из США и больше никогда не возвращался - откуда возьмёте информацию?
Или человек с двумя гражданствами, который жил и умер вне США? Откуда информация?
Достаточно искажения статистических данных, чтобы ущерб был больше чем просто выплаты по счетам.
Поэтому есть еще один вопрос, где использовались эти данные, и их производные?
С этого вопроса и начинать нужно было. Точнее, без него не нужно было начинать. :)
Иначе получается скандал уровня "злые коррупционеры устроили растрату места на жёстком диске одного из серверов американского правительства".
За пределами Хабра как раз в этом ключе и обсуждают. Выходит что неизвестно чему теперь верить, все эти данные про американские ВВП, рейтинги, курс доллара, оценка стоимости корпораций и прочие сведения запросто могут оказаться не просто ложными, а значительно ложными. И это будет посерьезнее чем ежемесячные выплаты на чей-то кошелек.
Ну в любом случае бардак же
В любой достаточно большой системе будет некоторый уровень подобного бардака. Может там не будет FALSE в поле, но будут одинокие деды, которые ушли в лес за грибами и пропали там, и если у них нет родственников, то это и будет такой 200-летний человек, потому что никто не видел как он умер, и заявление о пропаже тоже никто не подавал. И чем дольше вы ведете базу, там больше у вас будет таких людей.
График половозрастной структуры явно из официальной статистики, а не из базы номеров соц. обеспечения.
Тут еще вопрос может оказаться в пресловутых "нормальных формах" для реляционных баз - кто-то увлекся тюнингом производительности, сам уже давно помер/уволился. Со временем, забыли про синхронное изменение данных, и отчеты тянутся по одному запросу, а технические скрипты выгрузки для начислений читают другие таблицы и атрибуты. Просто обычный ад легаси разработки =)
А нечего было приговаривать на 300 лет... вот человек отсидит и выйдет
Напрашивается мнение, что это проблема миллениума, перехода 2000 года, возможно система при обновлении неверно интерпретировала короткие записи года и массово перенесла их в 19xx года.
У нас писарь в уезде был, в пачпортах, где год рождения, одну цифирку только обозначал. Чернила, шельмец, вишь, экономил. Потом дело прояснилось, его в острог, а пачпорта переделывать уж не стали. Документ все-таки. – Он повернулся к Федосье Ивановне, как бы ища поддержки. – Ефимцев, купец, третьего года рождения записан, Куликов – второго…
Вряд ли обновление до 4-х знаков было сильно позже 2000г. (скорее раньше 2000г). Хотя все возможно.
Такая версия не объясняет появление 360-летнего вампира.
А еще на просторах интернета было объяснение, почему так получается и, оказывается, что Маску и его имбецилам нужно сначала понять, как работает дата в коболе и почему при неправильной обработке она дефолтится в 150 лет...
Но Маску нужно выглядеть самым гениальным гением, поэтому он и публикует все, что он в себе находит для этой цели.
А где? Интересно почитать
Тупо поиском по словам musk Cobol 150 нашлось вот это и много другого. Где конкретно читал, не помню сейчас...
И как это объясняет остальные 19 млн в возрасте от 100 до 149? Не говоря про тех, кто старше 150. Выглядит как натягивание совы на глобус.
Маск же враг народа теперь, всякое лыко в строку. Сова давно порвалась уже.
Это люди, о которых (ещё) нет информации об их смерти. Они получили номера в докомпьютерную эпоху, о них может быть неполная информация. К тому же информация о смерти гражданина не из воздуха берётся. Государство может банально не знать о смерти, если это иностранец, человек с двумя гражданствами, умерший без документов и т.п.
Я припоминаю вроде бы Clipper (я с ним работал, но ещё с чем-то, когда касалось обработки DBF - не помню уже). Там, насколько помню, при указании даты в виде двух цифр (ещё до проблемы Y2K), можно было указать что-то вроде даты начала столетия и указывать только две цифры года. То есть те, кому от 100 до 149 лет, вполне может быть от 0 до 49. В пользу этого можно считать, что учётное ПО не обновляют без необходимости, также не переучивают условно операторов. Вот, в Японии дискеты только недавно отменили. А успехи России в платежах смартфонами и картами с чипом/NFC в том числе связаны с тем что не нужно было поддерживать кучу старых методов, как, например, магнитная полоса или вообще "прокатывание" кредитной карты. Но это только предположение, которое, конечно, по хорошему требует проверки.
Цитата из статьи по ссылке:
Old versions of COBOL use that date as a baseline. Social Security’s computers use that old version. Dates are stored as the number of days AFTER May 20 1875.
So what happens if Social Security doesn’t know a birthdate? That field is empty in its records. Thus that person appears to have a birthday of May 20 1875—about 150 years ago.
...
Since SS stores your birth date as the number of days after the base date of 5/20/1875, when SS calculates your age it subtracts your birth date from today’s date. If your birth date is blank in the database, it shows as 5/20/1875 in the calculation. Thus you’re almost 150 years old. It’s not that COBOL itself has that info—it’s that the Gregorian calendar used by COBOL works that way.
В данном случае интересующиеся товарищи от Маска должны, вроде бы, прийти к выводу, что язык (ну или софт), который путает отсутствие значения и нулевое значение - это как-то сильно неправильный софт. И должен быть как минимум - исправлен, а как максимум - все должно быть переписано на языке, который максимально затрудняет хождение по этим граблям.
и почему при неправильной обработке она дефолтится в 150 лет...
Почему тогда в первой таблице нет однозначного всплеска в этом диапазоне?
Там данные выглядят плавно затухающими без аномалии именно в диапазоне 150 лет.
Или имеется ввиду при внесении даты в базу?
Тогда откуда +60 миллионов человек по сравнению с реальным населением?
как работает дата в коболе и почему при неправильной обработке она дефолтится в 150 лет
150 лет - это не дата, а промежуток времени.
Вы имели в виду, что пустая дата в Коболе - это 20 мая 1975 года? Ну тогда бы была туча записей людей которым скоро будет 150 лет.
Зато теперь знаем популяцию вампиров :> и какое соотношение они соблюдают к своей пищи для того, чтобы оставаться незамеченными.
а откуда взялось то, что эти люди получают пособие? у Маска про это нет
Вполне может быть что база-базой а выдача пособий - совершенно другая табличка или вообще из этой базы делается выборка с ограничением числа лет
Фактчекинг хотите?! Опять эти навязанные нам нетрадиционные ценности!
Учитывая количество фейков и вранья со стороны фактчекеров (фейсбуковские на слушаниях вообще проходили как «opinion» во избежание претензий), это смешное предложение.
Учитывая, что конкретно возраст выхода на соцпенсию в США и возможность на неё не выходить гуглится за менее чем минуту:
ваша ироничная отсылка к ненужности фактчекинга, хотя вы сами не озаботились минимальным фактчекингом, смешна вдвойне.
Вы о чём вообще? Я про то, что Маск привёл цифры из таблицы в базе, которая используется неизвестно где и неизвестно как. И прежде чем тащить это всё на публику хорошо было бы сначала разобраться - как именно эти данные используются американскими ведомствами. Платятся ли этим людям пособия, голосуют ли они и т.д. Может это вообще какая-то практически мёртвая витрина данных, используемая для таких отчётов, где наличие бессмертных людей дикого возраста вообще никак не проявляется.
Так это не чего не меняет, или люди могут умереть только после 120, а до 100 лет нет ни одного фейка?
Особенно если учесть что Маск часто постит фейки не проверяя
Про это есть у SSA:
You can start your retirement benefit at any point from age 62 up until age 70.
Вполне может быть что база-базой а выдача пособий - совершенно другая табличка или вообще из этой базы делается выборка с ограничением числа лет
Вполне может быть, что распиленные на коррупционных тендерах деньги люди потом взяли и вернули в госбюджет и купили на них по маленькому розовому пони каждому неблагополучному ребёнку. Где доказательства, что этого не происходит?
Таки бюджет то обычно считают как раз по таким таблицам...
Вот бы у нас такое увидеть, таки сравнить размеры бардака
У нас учителя получают как будто бы ого-го, а по факту им везде директора рисуют фейковые часы, а потом требуют все эти излишки наликом себе. Если копать, то придётся посадить несколько миллионов человек.
Бюджет, кстати, считают по предыдущим периодам, к которым добавляют поправку, основанную на выборках из других баз. Потому что далеко не все, находящиеся в базах, получают пенсии и пособия. А те, кто получает, получают их в разное время и в разном размере.
Если человек пропал в без вести и тело не нашли, у него в графе "смерть", что значится?
Null
Шредингер.
Вроде через какое-то время после пропажи человека признают погибшим, если не нашли. По крайней мере, в РФ. Не знаю, правда, автоматически или этим должны озаботиться родственники.
А раз юридически человек умер, то нет проблем проставить true в графе Смерть.
Интересно, кстати, как с этим у пенсионного (социального) фонда в РФ. Одинокий пожилой человек пропадает без вести (в данном случае неважно как). Пенсию ему, разумеется продолжают перечислять. В какой момент фонд (или банк) обратит внимание, что пенсия лежит без движения? И дальше что? Правом оперативно-розыскной деятельности соцфонд пока, вроде бы, не наделен. Обратится в полицию?
Похоже, что никак. Пока не найдут тело - так и будет начисляться пенсия.
С другой стороны, может ЖЭК возбудиться из-за неоплаченной коммуналки, например.
А если у человека оплата ЖКХ стоит автоматически с карты/счета в банковском приложении - тогда вообще не заметят ближайшие годы...
Вполне могут заметить соседи, что мол человека уже давно никто не видел, спросить участкового и т.п.
Плюс вот конкретно у нас раз в несколько месяцев ходят специальные люди и сверяют показания счетчиков воды.
Грошовый счет в казенном конверте
За непогашенный мертвым ночник
Ему не скрыться от нас после смерти
Пока мы помним, что он наш должник.
Где-то читал историю, что пенсионеры РФ, проживающие за границей, вынуждены каждые полгода или год появляться в консульстве и подтверждать что они живые... иначе не получат пенсию. И люди "пропустившие" этот срок, получают квест 80 левела "докажите что вы были живы на протяжении такого-то времени. Нам не важно что живы сейчас. получите пенсию с сегодняшней даты, а за пропущенный срок принесите справку." Подозреваю что с пенсионерами внутри рф такая же ситуация.
Нет. Полно пенсионеров, которые сами ничего не делают по причине нежелания или же по причине деменции. Поэтому за них и пенсию с карточки снимают, и счета оплачивают. Теоретически, ничто не мешает после смерти очень-очень долго это делать. Но если смерть зафиксирована врачом СМП или участковым, то данные обновляются очень быстро, госы и карточки блокируются.
Никак. Десятилетиями можно пенсию за умершего получать. Периодически ПФР и налоговая пытаются устраивать "чистки" и фильтровать тех, кому за 100 лет, или кто совсем не проявлял активности (не было запросов на пересчёт пенсии, изменения статуса и т.п.), но работает оно так себе, так формальных оснований у них для таких чисток нет.
Не знаю, правда, автоматически или
Как часто вы ходите отмечаться в МВД? Ну чтобы это автоматически работало...
Ну вот и Глубинное Государство начало показываться.
Хорошо было бы и первую табличку в виде гистограммы увидеть. Жаль исходные данные только в виде скриншотов, по видимому.
А вообще выглядит как вьюха или ещё что-то пересчитанное из другой таблички. Где видимо есть только дата рождения, а признак смерти по каким-то причинам не выставлен. Но при этом наверняка есть какие-то другие признаки, по которым определяется, нужно ли выплачивать пенсию и т.д. Какой-нибудь там активный номер пенсионного/страхового должен быть или что-то вроде того.
Пусть уже выкладывает базу на Google Drive. Лучшие специалисты со всего мира помогут ему разобраться. )
Сколько людей такого же возраста, у которых это же поле установлено на TRUE.
Система социального страхования была введена в 1936 году. Откуда в этой таблице люди, которые родились за сто лет до этого?
Система социального страхования была введена в 1936 году. Откуда в этой таблице люди, которые родились за сто лет до этого?
Потому что 100 летнему (ежели он действительно был - это не так уж невозможно) этот номер должны были выдали в 1936 + n году. Их же не только новорожденным выдавали?
В таблице тысяча человек возрастом 220-229. Это примерно 1800-й год рождения. Вы хотите сказать, что в 1936 году в США была тысяча 130-летних людей, которых к тому же зачем-то внесли в систему?
Количество - странно, да. Но я говорил про то, что дата введения это номера - еще не препятствие, к тому, чтобы такие записи были.
которых к тому же зачем-то внесли в систему?
В смысле 'зачем-то'? Наверняка была какая-нибудь госпрограмма, по которой тупо вводили какие-нибудь свидетельства о рождении, что в архивах были.
@Это примерно 1800-й год рождения. Вы хотите сказать, что в 1936 году в США была тысяча 130-летних людей
Это как раз вполне возможно, если допустить что они были не 130 летними, а "как бы 130-ти летними" (т.е. по документам 130-ти летние, что там в реальности с возрастом никто не знает). Вспоминается, например, что в Российской Империи, в 1912 году, нашли очень даже живых и довольно молодо для их заявленного возраста (около 120 лет) ветеранов Отечественной Войны 1812-года. Меня терзают смутные сомнения.
Да ну. Ведь тогда хотя бы часть этих как бы 130-летних (пусть даже и только по документам) обязательно бы попала в эту табличку, которая составлена как раз на основе документов
Запросто. Завышение возраста раньше было очень массовым явлением, благо, что проверить было практически невозможно. Кроме того, SSN можно получить наследникам и родственникам в результате судебных разбирательств.
1000 человек это совсем немного.
Наоборот, долгое время их выдавали как раз налогоплательщикам, а не детям. Кстати, наличие SSN и сегодня не является категорическим требованием.
Интервью с долгожителем.
— Как вам удалось так хорошо сохраниться в ваши 185?
— Когда была Великая Октябрьская революция...
— Знаете, а расскажите лучше о декабристах!
— Когда была Великая Октябрьская революция...
— Пожалуйста, расскажите лучше о Пушкине!
— Когда была Великая Октябрьская, творился такой бардак, что мне приписали лишние 100 лет.
У нас схожая проблема со статистикой: когда проводят перипись, возраст записывают со слов человека, старики часто накидывают себе 5-10 лет.
А смерть у нас считается по паспорту. В результате, после смерти такого человека, его "вычитают" из 85-летних, а как 95-летний он продолжает жить вечно. В результате есть странные ошибки, когда с возрастом смертность может даже падать, они все - вечноживые.
Отличный подход: выдать сырые данные, как аргумент в подтверждение того, что всё плохо. Как говорится: "данные нашлись, но осадочек остался..."
А что в этой таблице то содержится? По официальным данным - люди, которые получают гос. выплаты.
Особо любопытен 10 кратный рост количества людей со 160 до 170 и быстрый рост в дальнейшем. А это с 1855 до 1865. А что ж у нас там такое было? Да гражданская война! И по результатам войны в США впервые в истории были введены массовые пенсии ветеранам-инвалидам, пенсии детям и вдовам погибших солдат, прочие гос. льготы им же.
Причём пенсии платились не только семьям погибших на войне. Пенсии получали даже семьи ветеранов, умерших через много лет после завершения войны. То есть солдат демобилизовался, заводил семью, потом умирал лет через 10, а его дети и вдова получали пенсию.
Поэтому, думаю, люди Маска криво обработали данные и в таблице все люди (включая мёртвых) получавшие гос. выплаты, а age это не год рождения человека, а год, когда он начал получать какие-то гос. выплаты.
По официальным данным - люди, которые получают гос. выплаты.
Нет.
«Согласно базе данных системы социального обеспечения США, вот количество людей в каждой возрастной группе, у которых поле смерти установлено на FALSE! Возможно, „Сумерки“ реальны, и здесь много вампиров, которые получают социальные пособия», — написал Маск.
Хм, или это как-раз те самые "пропавшие без вести" на войне, обсуждавшиеся выше. У кого смерть не подтверждена официально. Хотя, насколько я понимаю, через сколько-то лет она всё-равно официально подтверждается в любом случае. А так то мысль про семьи ветеранов интересная.
А может это просто ошибочные записи, а в базе "мягкое удаление"? Возможно у таблицы еще есть флаг удаления
Маск окончательно укурился. Раз за раз разом он несёт дичайшую чушь, делая громкие заявления и не разобравшись в сути вопроса.
Маск опять накинул говна на вентилятор и ушёл в многозначительное молчание. Раз за разом журналисты ловят его на вранье, но каждый раз он просто меняет тему и вбрасывает новую порцию дичи.
- Американцы, не проживающие в США тоже имеют SSN. Из несколько миллионов.
- Не американцы тоже могут получить SSN. А потом могут перестать проживать в США. Таких много.
- Примерно 20 лет назад SSN получить было значительно легче. И очень много иностранцев получили SSN. Многие из них проживали/работали в США временно.
Вот отсюда набегает разница 50 млн. с официальным населением.
Это просто владельцы SSN, получатели пособия или потенциальные получатели пособия, которые не получают пособие (есть такое статус)?
Он просто вбросил цифры и ушёл в закат. А по факту SSN очень серьёзная штука, и в некоторых случаях для исправления ошибки человеку выдаётся новый SSN, а старые замораживается. Да, это костыль, но он работает и позволяет избежать массы проблем (когда произошла ошибка с выдачей SSN и он уже успел разойтись по ведомствам). Все остальные решения оказываются хуже.
Короче, есть заметное число случаев, когда у человека оказывается несколько SSN или SSN оказывает не привязан к человеку.
Этот придурок сейчас поломает систему защиты свидетелей и операции прикрытия ЦРУ. При участи в программе защиты свидетелей человеку выдаётся новый SSN.
Человек может числиться получателем пособий, но не получать их. И даже быть мёртвым. И никакого нарушения закона в этом нет, так как есть масса случаев, когда SSN есть, а человека нет. И признать его мертвым может только суд, а в суд подавать некому. Такие SSN замораживаются.
Получателем пособий могут быть наследники! Если пенсия назначена судом, то запросто может оказаться, что для возобновления выплат нужно снова активировать SSN умершего. Банально потому, что суд принял такое решение. А если изначальный получать пропал без вести или его судьба неизвестная, то совсем всё интересно будет.
Маск не понимает, что система SSN существует давно, а повальная компьютеризация и централизация случилась совсем недавно. И исправить все накопившиеся бумажные ошибки просто невозможно - нет необходимой информации, чтобы принять решение. Поэтому во многих случаях ведомства просто решили ждать по 200 лет пока недостоверная или сомнительная информация просто "протухнет". Тем более в США, где законодательство о признании мёртвым относится к уровню штатов и потому самое простое и правильное решение - взять самый большой возможные срок из законодательства штатов или из прецедентов судебной системы.
Помнится, народ как-то получал эти SSN, чтобы работать с заказчиками из Штатов. Гугл: "Как получить SSN в США нерезиденту".
Именно так. Потом для иностранцев ввели SSI, чтобы уменьшить бардак, но до того момента SSN получили уже миллионы, если не десятки миллионов иностранцев.
Кроме того SSN получают иностранцы, имеющие право на долговременное проживание в США (это грин-карты и много чего ещё). Теоретически иностранец потом должен уведомить о прекращении статуса резидента, но на практике это мало кто делает, если не собирается в США жить. И данных по смертям этих людей у американского правительства нет.
Я ещё SSN могут (но не обязаны) получить все желающие граждане Пуэрто-Рико, а там такой правовой бардак творится...
А ещё их получали жители островных территорий США и Филиппин. Но после 1946 года, США оттуда ушли и многие из этих SSN остались в подвешенном состоянии - у США информации об этих людях больше нет.
В таком виде эта выборка вообще смысла не имеет.
Да, кстати, вспомнил ещё одну штуку про SSN, которая обычно шокирует американцев.
Скорее всего бОльшая часть найденных Маском "проблем" связана именно с ней.
Есть процедура "удаления" SSN, которой пользуются тысячи, если не десятки тысяч, человек ежегодно. Более того, каждый, кто был налоговым резидентом США и хочет перестать им быть должен пройти через эту процедуру. А это все обладатели долгосрочных виз и гринкарт, которые решили отказаться от своего статуса резидента. И это единственный законный способ для иностранца перестать быть налоговым резидентом США.
Никакого фзического удаления само-сабой не происходит, так есть такая же процедура восстановления SSN, да и все платежи полученные льготы тоже никуда не делись. Но с точки зрения государства человек просто перестаёт существовать, как налоговый резидент. По факту происходит заморозка состояния SSN и ставится отметка, что его запрещено использовать. При этом вся информация остаётся доступной и валидной (так как этот SSN ещё долгое время может использоваться в целях проверки налоговой отчётности). Для таких SSN отметка о смерти вообще никак не может быть снята без прохождения восстановления.
И ещё один интересный факт. Все оригиналы документов о присвоении SSN хранятся в бумажном виде в архиве огромной пещере. Добавление бумажной записи занимает три месяца, а запрос в архив - до полугода. Фокус в том, что до середины семидесятых не было физической возможности хранить в единой базе всю необходимую информацию. И поэтому все оригиналы информации по людям, родившимся до середины 80х - бумажные. И оцифровать всю картотеку SSN на тот момент уже было просто невозможно. Поэтому информация по старым номерам добавлялась по мере возможности и не является гарантированно верной. И все исправления базы для старых номеров обязательно должны согласовываться с бумажным архивом и вноситься в него. А так как SSN даётся один на всю жизнь, то при выдаче/восстановлении/аннулировании SSN для родившихся в 80х и ранее всё равно нужно запрашивать бумажный архив (чтобы гарантировать отсутствие дубликатов).
Именно поэтому провалились все попытки валидировать и почистить базу SSN. А они были и много. И поэтому на данный момент принято решение не трогать старые записи, пока не будет уверенности, что все владельцы старых номеров умерли, либо обновили данные.
Ну, и кроме того есть проблема в том, что согласно закону, оригинал решения о выдаче SSN должен быть только бумажный (это ключевая информация о гражданах с точки зрения государства и гарантировать её сохранность в электронном виде было невозможно). Нужно отдельное решение правительства по этому вопросу, которому мешает невозможность оцифровать старые записи.
Вот и получается, что сначала нужно полностью разобраться в процессах, а потом уже начинать трактовать поля в конкретной табличке БД. Но у Маска цель другая - побыстрее и погромче набросить )
Всем кто в каментах к этой и следующей новости кричит "сто раз уже можно было переписать все по-нормальному и разобраться с данными", надо ознакомиться с Вашим постом. Любая нормальная организация, на предложение отрефакторить эту систему, скажет "ну нахер, лучше это не трогать даже трехметровой палкой, пускай само сдохнет" :)
Смутно вспоминается стародавняя новость, что проект цифровизации упомянутого архива вышел за все разумные временные (а значит и бюджетные) рамки и был закрыт.
Маск вступил в Шабаш и нарушает Маскарад. Ждём ответных действий от Камарильи.
В базе данных системы социального обеспечения США есть пользователи 200+ лет, у которых поле смерти установлено на FALSE