Comments 6
На мой взгляд, эта статья замечательна не столько своим содержанием, сколько размышлениями, которые она «индуцирует» у читателя.
Я думаю, что со временем наука придумает или подберёт подходящий термин для описываемого феномена, поскольку «размерность» здесь используется скорее как метафора, а не как строгое понятие.
Очевидно, что классическая «физическая размерность» и миллиарды параметров нейросетей - вещи очень разные.
Спасибо за интересную статью, заставляющую задуматься!
Да, я такого термина действительно не нашёл, но надеюсь, что в целом понятная аналогия получилась
Очевидно, что классическая «физическая размерность» и миллиарды параметров нейросетей - вещи очень разные.
Почему же? Это наше восприятие ограничено трёхмерным миром ( и нет, время - это не четвёртое измерение). Если параметры действительно независимы - они вполне себе измерения. А если они всё же зависимы, но проще напихать их в модель и пожечь побольше энергии, чем сводить к меньшей размерности - ну что ж..
Если же клумба будет из нашего мира, то пусть её размеры составят 100 x 100 метров. В таком случае, чтобы засадить её по периметру, понадобится уже 10 000 (100 x 100) растений
Нет. чтобы засадить её по периметру, понадобится всего лишь 400 растений. А вот чтобы засадить по площади, понадобится 10000.
В то же время, если во всех трёх случаях мы не будем стремиться к равномерному заполнению всего доступного пространства, а оставим те же 100 цветов, что и в первом варианте мысленного эксперимента, то расстояние между цветами (точками данных) в последнем случае неимоверно увеличится.
Это "неимоверно" - всего лишь
В данных примерах, если максимальное расстояние на прямой составляло 100 метров, то в кубе это лишь 
, увеличение меньше, чем в 2 раза.
Таким образом, важнейшее проявление закона больших чисел — это независимость от случайных переменных. Геометрически в высших измерениях это выражается в том, что почти всегда любые два вектора будут ортогональны друг другу.
Независимость результата от случайных переменных. Поэтому второе утверждение выглядит крайне сомнительно; исходя из описанного выше, я бы допустил утверждение "расстояние между векторами будет почти всегда выражаться одним и тем же значением". Но это не имеет ни малейшего отношения к ортогональности. Следующая пара предложений:
Более того, понятия «далеко» и «близко» постепенно теряют смысл. Из-за этого перестают работать алгоритмы, основанные на сходстве или кластеризации.
как раз об этом: каждое новое измерение вносит всё меньший вклад в расстояние, а само расстояние для пары произвольных элементов становится всё более "средним".
такими подмножествами вершин в графе, где через все вершины одной клики проходит минимум одно общее ребро
Эта формулировка некорректна, правильнее было бы сказать так:
где две любые вершины одной клики имеют общее ребро.
Эти два выражения радикально отличаются по смыслу.
Галлюцинации и многообразия. Зачем искусственному интеллекту многомерные миры