В общем случае не следует. Если связи в данных сложные, например, задача про распознование картинок, то точно нет. Если связи более-менее простые, например, кредитный скоринг, тогда может быть.
Но даже если результат чуть меньше медианы, от него всё равно может быть практическая польза. Он получен без данных вообще, почти без затрат времени, гарантированно не перетренирован и может быть по крайней мере использован как база для оценки других моделей.
В примерах, приведённых в статье, используются запятые через каждые три разряда. Поэтому легко определить, сколько тысяч в 112,878,731 или сравнить 231,321,421 и 42,321,312.
> Ранее блоки замен были секретными и выдавались регулирующим органом в «особом» порядке, теперь же они публичны и неизменны. Соответственно криптоаналитикам (так вежливо называют взломщиков шифров) работать стало гораздо проще.
А как же принцип Керкгоффса, по которому в секрете должен быть только ключ? У AES, ChaCha20 или Speck никаких секретов, кроме ключа, нет.
> Получаемые с помощью стандартизированных в Россси криптоалгоритмов шифротексты очень далеки от статистических параметров истинно случайных последовательностей.
Давайте поспорим, что любой из ГОСТовских алгоритмов симметричного шифрования, если его использовать в качестве генератора псевдослучайных чисел, легко пройдёт все статистические тесты TestU01.
> Теоретически блоки замен должны состоять из случайных чисел, но на практике они содержат «не случайные, а псевдослучайные» числа.
Теоретически блоки замены не обязаны состоять из случайных чисел. Например, в DES они были специально подправлены NSA совершенно неслучайным образом, чтобы предотвратить дифференциальные криптоатаки.
Когда хочется убедить всех, что числа не подобраны злоумышленно, берутся какие-нибудь константы (e, пи, золотое сечение), как это было сделано в Blowfish или RC5.
> при большом количестве данных (у нас есть тысячи измерений) нарушение предположения о нормальности данных оказывает гораздо меньшее влияние на результат, чем в случае с малой выборкой.
Нарушение предположения о нормальности влияет на результат вне зависимости от размера выборки. Просто на большой выборке мы можем увидеть микроскопические отклонения от нормальности, а на маленькой они неотличимы от шума.
Хоровиц и Хилл, Искусство схемотехники. Домохозяйкам можно ограничиться несколькими главами в самом начале. Почему между батарейкой и лампочкой нет конденсатора, там понятно рассказано.
А если таким же образом запихать нужную информацию в младшие биты коэффициентов DCT в JPEG, то размер файла не поменяется и выглядеть результат будет как сильнее сжатый JPEG.
Там по ссылке как раз написано, что «Free-space path loss is proportional to the square of the distance between the transmitter and receiver». А логарифм, как справедливо заметил ниже Korogodin, появляется при выражении этого затухания сигнала в децибелах.
> Сигнал затухает не с линейной, а с логарифмической зависимостью.
Не с линейной, но и не с логарифмической. Представьте себе фронт волны. Это расширяющаяся сфера с центром там, где антенна. Сигнал размазывается по этой сфере. Площадь сферы пропорциональна квадрату радиуса. Принимающая антенна может выхватить из этой сферы кусок постоянной площади, то есть полученный сигнал в первом приближении обратно пропорционален квадрату расстояния.
Вывод другой — вы пытаетесь впихнуть невпихуемое. Интеллект — штука многогранная, одной цифрой его не померять. Даже в трёхмерном пространстве невозможно задать положение точки одной цифрой, а тут размерностей гораздо больше.
Коэффициенты в тесте IQ фиксированы, а важность разных сторон интеллекта в разных ситуациях — меняется. Одному нужно пространственное воображение, другому — абстрактное мышление, третьему — хорошая память, четвёртому — ассоциативное мышление и так далее. Это всё совершенно разные вещи и в одном человеке могут встречаться в очень разных пропорциях. Сравнивать их настолько же бесполезно, как сравнивать килограммы и мегагерцы.
> поиск веса для каждого вопроса в формировании итоговой оценки
Хорошо, давайте с этой стороны подойдём. Один вопрос проверяет умение абстрактно мыслить, другой вопрос проверяет пространственное воображение. Эварист Галуа отвечает на первый вопрос, но проваливает второй. Джон Браунинг отвечает на второй вопрос, но проваливает первый. Кто умнее?
Вы путаете модель системы и саму систему. Нейронные сети или этот червь с электромоторчиками — модели, причём весьма грубые. Я могу экономическую модель построить на одной регрессии в том же Экселе, будет предсказывать процент задолженности по потребкредитам на основании уровня безработицы. Для этого необязательно понимать, кто на кого работает, как платят зарплату и какой фильм по телевизору смотрят вечером участники процесса. Даже экономику знать не надо.
Корреляции имеют важную практическую ценность — они наглядно показывают, что корреляция не означает причинно-следственную связь. Поэтому каждый, кто ссылается на 100 лет учёных, должен быть готов ответить на наводящий вопрос — чем те исследования отличаются от вышеприведённых.
Да, и совершенно необязательно перелопачивать тонны данных. Я безо всякого экселя могу заявить, что размер обуви сильно коррелирован с IQ (и это утверждение соответствует действительности).
Где на странице по ссылке описано, как нейрон что-то запоминает?
А то я спрашивал у одного из ведущих нейрофизиологов, он говорит, что никто толком не знает. А оказывается в интернете всё написано.
> мы ничего не знаем, о том что такое транзистор
Неверно. Даже я очень неплохо знаю, что такое транзистор, что такое коэффициент h21э и как из двух транзисторов сделать ячейку памяти, которая будет запоминать один бит. Люди, которые работают в этой области, знают гораздо больше.
> Юмор для людей с IQ>120 и специфическими знаниями в матане и английском
Не юмор. Корреляция между американским научным бюджетом и количеством самоубийств через повешение действительно 0.9979. Считается безо всякого матана и доступна людям с низким IQ при условии наличия доступа к программе Microsoft Excel.
Посмотрите определение слова «умный» в словаре Даля или Ожегова. Там ничего не будет ни про IQ, ни про тесты.
> Тесты могут писать обычные люди, детально разобравшись в вопросе.
Нет. Например, я могу написать тест для школьников, но не могу написать тест для профессиональных математиков. Я даже не cмогу понять условия задач, которые должны быть в этом тесте.
> Например проще всего найти гения, дать в уме решить задачу типа 32423*32434
Вот именно такие тесты и получатся, если школьники будут пытаться писать сложные вопросы. В третьем классе умеем умножать двузначные числа, в десятом — пятизначные, в институте — семизначные, за десятизначные дают Нобелевскую премию.
Ха. Мы до сих пор толком не знаем даже как работает один нейрон (например, как именно хранятся воспоминания — что за физический или химический процесс там используется), не говоря уж о мозге в целом.
> Вы не сможете найти «много» новых корреляций на уровне 0.9
Я могу найти сколько угодно новых корреляций на уровне 0.9 и выше. Примеры: http://tylervigen.com/spurious-correlations
В основе концепции IQ лежит предположение о том, что существует некий универсальный скалярный уровень интеллекта g, который мы не можем напрямую померять, но который опосредованно влияет на умение человека обучаться и решать разные задачи, простые и сложные. Так вот несложно показать, что не может быть одного такого g или одного универсального способа его вычислить. Поэтому уже неважно, как именно IQ связан с g, насколько точно он его отражает, и как его померять.
Эти корреляции все забавны, но я много разных корреляций могу найти, особенно если мне грант дать. Несмотря на весьма низкий IQ.
1. Вы уходите от поставленного вопроса. Я ничего не говорил про подростков, а сравнивал двух профессоров разных дисциплин. Можете для определённости считать их возраст одинаковым. Это вопрос из серии «кто сильнее, слон или кит?»
2. Подумайте, кто пишет вопросы для теста IQ. Это люди с необычно высоким интеллектом? Если да, почему вместо написания тестов они не пытаются победить рак? Если нет, то представьте себе, что третьеклассникам поручили написать сложный тест по математике. Как вы думаете, по результатам такого теста можно будет отличить десятиклассника-отличника от кандидата математических наук?
1. Ссылку можно? Вопрос риторический, потому что не существует способа выразить уровень интеллекта одним числом. Кто умнее, профессор биологии или профессор геофизики?
2. Гугл только что натренировал нейросеть, которая обыграла профессионала 9-го дана в го. Вопросы в тесте на IQ проще.
3. Вы всё-таки почитайте, что именно измеряет IQ. А также про разницу между strong AI и weak AI.
Но даже если результат чуть меньше медианы, от него всё равно может быть практическая польза. Он получен без данных вообще, почти без затрат времени, гарантированно не перетренирован и может быть по крайней мере использован как база для оценки других моделей.
А как же принцип Керкгоффса, по которому в секрете должен быть только ключ? У AES, ChaCha20 или Speck никаких секретов, кроме ключа, нет.
> Получаемые с помощью стандартизированных в Россси криптоалгоритмов шифротексты очень далеки от статистических параметров истинно случайных последовательностей.
Давайте поспорим, что любой из ГОСТовских алгоритмов симметричного шифрования, если его использовать в качестве генератора псевдослучайных чисел, легко пройдёт все статистические тесты TestU01.
> Теоретически блоки замен должны состоять из случайных чисел, но на практике они содержат «не случайные, а псевдослучайные» числа.
Теоретически блоки замены не обязаны состоять из случайных чисел. Например, в DES они были специально подправлены NSA совершенно неслучайным образом, чтобы предотвратить дифференциальные криптоатаки.
Когда хочется убедить всех, что числа не подобраны злоумышленно, берутся какие-нибудь константы (e, пи, золотое сечение), как это было сделано в Blowfish или RC5.
Нарушение предположения о нормальности влияет на результат вне зависимости от размера выборки. Просто на большой выборке мы можем увидеть микроскопические отклонения от нормальности, а на маленькой они неотличимы от шума.
А сколько элементов этого списка войдут в необходимый для 2017 года минимум?
Можно оценить, например, сравнив с необходимым для 2015 года минимумом.
Не с линейной, но и не с логарифмической. Представьте себе фронт волны. Это расширяющаяся сфера с центром там, где антенна. Сигнал размазывается по этой сфере. Площадь сферы пропорциональна квадрату радиуса. Принимающая антенна может выхватить из этой сферы кусок постоянной площади, то есть полученный сигнал в первом приближении обратно пропорционален квадрату расстояния.
Коэффициенты в тесте IQ фиксированы, а важность разных сторон интеллекта в разных ситуациях — меняется. Одному нужно пространственное воображение, другому — абстрактное мышление, третьему — хорошая память, четвёртому — ассоциативное мышление и так далее. Это всё совершенно разные вещи и в одном человеке могут встречаться в очень разных пропорциях. Сравнивать их настолько же бесполезно, как сравнивать килограммы и мегагерцы.
Хорошо, давайте с этой стороны подойдём. Один вопрос проверяет умение абстрактно мыслить, другой вопрос проверяет пространственное воображение. Эварист Галуа отвечает на первый вопрос, но проваливает второй. Джон Браунинг отвечает на второй вопрос, но проваливает первый. Кто умнее?
Корреляции имеют важную практическую ценность — они наглядно показывают, что корреляция не означает причинно-следственную связь. Поэтому каждый, кто ссылается на 100 лет учёных, должен быть готов ответить на наводящий вопрос — чем те исследования отличаются от вышеприведённых.
Да, и совершенно необязательно перелопачивать тонны данных. Я безо всякого экселя могу заявить, что размер обуви сильно коррелирован с IQ (и это утверждение соответствует действительности).
Где на странице по ссылке описано, как нейрон что-то запоминает?
А то я спрашивал у одного из ведущих нейрофизиологов, он говорит, что никто толком не знает. А оказывается в интернете всё написано.
> мы ничего не знаем, о том что такое транзистор
Неверно. Даже я очень неплохо знаю, что такое транзистор, что такое коэффициент h21э и как из двух транзисторов сделать ячейку памяти, которая будет запоминать один бит. Люди, которые работают в этой области, знают гораздо больше.
> Юмор для людей с IQ>120 и специфическими знаниями в матане и английском
Не юмор. Корреляция между американским научным бюджетом и количеством самоубийств через повешение действительно 0.9979. Считается безо всякого матана и доступна людям с низким IQ при условии наличия доступа к программе Microsoft Excel.
Посмотрите определение слова «умный» в словаре Даля или Ожегова. Там ничего не будет ни про IQ, ни про тесты.
> Тесты могут писать обычные люди, детально разобравшись в вопросе.
Нет. Например, я могу написать тест для школьников, но не могу написать тест для профессиональных математиков. Я даже не cмогу понять условия задач, которые должны быть в этом тесте.
> Например проще всего найти гения, дать в уме решить задачу типа 32423*32434
Вот именно такие тесты и получатся, если школьники будут пытаться писать сложные вопросы. В третьем классе умеем умножать двузначные числа, в десятом — пятизначные, в институте — семизначные, за десятизначные дают Нобелевскую премию.
Ха. Мы до сих пор толком не знаем даже как работает один нейрон (например, как именно хранятся воспоминания — что за физический или химический процесс там используется), не говоря уж о мозге в целом.
> Вы не сможете найти «много» новых корреляций на уровне 0.9
Я могу найти сколько угодно новых корреляций на уровне 0.9 и выше. Примеры: http://tylervigen.com/spurious-correlations
Эти корреляции все забавны, но я много разных корреляций могу найти, особенно если мне грант дать. Несмотря на весьма низкий IQ.
2. Подумайте, кто пишет вопросы для теста IQ. Это люди с необычно высоким интеллектом? Если да, почему вместо написания тестов они не пытаются победить рак? Если нет, то представьте себе, что третьеклассникам поручили написать сложный тест по математике. Как вы думаете, по результатам такого теста можно будет отличить десятиклассника-отличника от кандидата математических наук?
3. Это даже разработчики IQ не утверждают.
2. Гугл только что натренировал нейросеть, которая обыграла профессионала 9-го дана в го. Вопросы в тесте на IQ проще.
3. Вы всё-таки почитайте, что именно измеряет IQ. А также про разницу между strong AI и weak AI.