Факторный анализ для чайников

[alexeygrigorev]

Спасибо за статью, интересное чтиво.
Только я не понял, описанный алгоритм — это что? PCA? Или это интуитивное описание того, как именно нейронные сети учатся выявлять самое важное во входных данных?

[kometa_triatlon]

Скорее feature selection.
Статья дает представление о некоторых фундаментальных проблемах машинного обучения, хотя ничего похожего на описанный алгоритм не делается ни в PCA, ни в алгоритме обучения нейронной сети.

[viktorpanasiuk]

Собственные размышления. В жизни ведь точно также. Вы смотрите на что-то, а мозг выделяет те параметры, которые полностью интерпретируют объект. Например как мы отличаем мужчину от женщины? У мозга есть собственный скрытый алгоритм, возможно он выделяет нос, рот, уши, глаза, брови и т.д., и в каждом таком объекте ищет нечто, что в совокупности позволяет сделать однозначный выбор. Хотя вместо всех этих сложностей достаточно взглянуть на грудь, один лишь этот фактор дает нам ответ, вместо десятка других.

[Arcpool]

А потом поднять глаза и увидеть (внезапно) бороду!

[viktorpanasiuk]

Именно поэтому наш выбор основывается не на одном параметре. У параметров есть веса. Грудь весьма «весомый» фактор в принятии решения. А вот наличие бороды введет нас в замешательство. Поневоле мы начнем искать менее весомые факторы, чтобы чашу весов выбора перевесить в какую-нибудь одну сторону. Иначе у нас будет когнитивный диссонанс.

[ZlodeiBaal]

Да, мы примерно таким методом делаем нормировку по областям перед сравнением цифр. Чем реже корреляция какой-то области цифры с другими цифрами, тем важнее она при корреляции образца с этой цифрой.
Только не знал, что оно «Факторным анализом» зовётся:)
Вроде здравая логика)

[viktorpanasiuk]

Я сам до конца не уверен можно ли отнести данный метод к факторному анализу и методу главных компонент, но по описанию похоже)

[stemm]

Спасибо за интересную статью.

Когда-то я для себя придумал следующую визуализацию для метода главных компонент: представьте, что мы хотим показать человеку фотографию чайника. Какую из следующих фотографий лучше выбрать для показа?

фото 1

фото 2

В большинстве случаев, фото 1 воспринимается людьми как более информативное (в качестве подтверждения: в поиске картинок Google, по запросу «чайник», довольно редко встречаются фотографии чайников со стороны дна).

Таким образом, выбирая наиболее информативную фотографию (проекцию 3х мерного объекта на 2х мерную плоскость) — наш мозг, фактически, выполняет метод главных компонент (в данном случае — поиск ортогональной проекции с наибольшим рассеянием)

[viktorpanasiuk]

Интересная точка зрения. Возможно так оно и есть. Чтобы анализировать объект, наши руки крутят его, а мозг выбирает ту проекцию, в которой наблюдается максимальный разброс параметров. Нужно это, скорее всего, для дальнейшей классификации. Например белый, фарфоровый нам еще ни о чем не говорит, а белый с носиком и ручкой уже похож на чайник)

[stemm]

Относительно привычки — хочу обратить внимание на немного другой факт: чаще всего мы привыкли брать чайник той рукой, которая у нас «главная» («правши» — правой, «левши» — левой). Отсюда могу предположить гипотезу: фотографируя чайник, мы будем поворачивать его в наиболее привычный для нас ракурс (носик влево — для правши, или носик вправо — для левши).

Используя Google картинки — можно посчитать процент различных ракурсов чайников: для примерно 100 первых картинок, можно насчитать 12 изображений чайников носиком вправо, и примерно 80 — носиком влево, что коррелирует с процентным соотношением «правшей» и «левшей».

[viktorpanasiuk]

Забавно. Меня даже коробить начало, когда я представил чайник повернутый вправо))

[viktorpanasiuk]

Для распознавания объекта большую роль играют атрибуты. Носик как раз является таким атрибутом. Если чайник, по форме своей не будет схож на обыденный чайник, но будет иметь носик, мы с большой вероятностью сможем предположить что это все-таки чайник. А вот если носик будет спрятан из виду, мы бросимся искать иные атрибуты. Впрочем, свой домашний чайник вы узнаете без носика с ручкой да еще и в темной комнате)

[blackstrip]

Напомнило советскую детскую книжку дремучих годов про разработку перцептрона из доступных радиодеталей для определения индекса на конверте.

[alexeygrigorev]

А что за книжка, не подскажите?

[blackstrip]

Помоему, называлась она просто «Перцептрон». На обложке несколько цифр индекса, лежащие на столе, и, кажется, красные лучи сквозь них. А так, авторов точно не вспомню, к сожалению. Дома где-то она валяется)

[pavlick]

факторным анализом именно данный пример назвать нельзя, потому что число наблюдений должно быть как минимум в 2 раза больше числа переменных. То есть для матрицы 5х7 должно быть 70 наблюдений. Можно ли опустить это правило в связи с тем, что мы за 10 наблюдений перебрали все возможные варианты, не знаю