All streams
Search
Write a publication
Pull to refresh
11
0
Алексей @Alexey_mosc

Статистик / DS

Send message
У вас тут метод наименьших квадратов


Простите, но нет. Я же прямо написал, что линейную алгебру не использую.

У меня решение через аналитический градиент.

Всем хорошо нормальное распределение, формулы короткие, считать и доказывать теоремки просто, за что его любят преподы математики и авторы учебников.


Предположение о нормальности ошибок не используется совсем здесь — не нужно.

Задача в вашей постановке существенно некорректно поставлена, в том смысле, что любое малое возмущение во входных данных может привести к сколько угодно большой ошибке на выходе.


Я не знаю, что такое наивный алгоритм в вашем понимании. Но действительно симуляция показывает зависимость решения от начальных условий.
Кратко: без матана никак


Еще бы вы сразу сказали, что именно никак, я не понял какой вопрос адресуется, спасибо.
Возможно, нужно дополнительное условие, того, что любая валюта представляет ценность, то есть, стремится к какому-нибудь среднему по больнице значению, а не нулю


У меня ошибка стремится к нулю, а ценность валюты инициализируется от 0 до 1 с равномерным распределением (в каждой итерации симуляции). А конечная стоимость валют тоже получается в этом же диапазоне, ну, может, с другой плотностью конечного решения, не равномерным…
И еще замечание строго статистического толка.

Вот здесь по вашей ссылке корреляции несмотря на то, что я не копался в скрипте, я вижу по матрице корреляций, исходя из их значений, — что вы брали интегрированные абсолютные курсы, применяя к ним Пирсона, что является ошибочной методологией, так как они не стационарны. Полученные коэффициенты не показывают ожидаемой связи, а только ложные корреляции. Надо мерять корреляцию в данном случае между временными рядами первых разниц (returns). (Но если вы делали не так, сорри за коммент, было бы интересно знать — как.)
Маленький пример операций с матрицами на R:

library(MASS)
A <- matrix( c(5, 1, 3,1,
               3,-1, 0,-1,
               4, 0,-2,2), nrow=3, byrow=TRUE)

solve(A)
Error in solve.default(A) : 'a' (3 x 4) must be square #expected

## 
#Moore-Penrose Generalized Inverse of A. 
#ginv(A) requires loading the MASS package.
##

B2=MASS::ginv(A)

round(A%*%B2, 4)
     [,1] [,2] [,3]
[1,]    1    0    0
[2,]    0    1    0
[3,]    0    0    1

# as expected


А можно уточнить,
… матрице прямого преобразования


Как у вас из валютных пар получается исходная матрица?

UPD: кажется, понял, 1 если валюта в числителе пары, -1 в знаменателе. Верно?

Завышенное ЧСВ это бич. И не только у программистов, бывает и у руководителец, а также у ПМов и т.д. Но как холодный душ для молодых программистов статья нормальная. Всегда можно задуматься о своец ограниченности, главное, чтобы это не переросло в комплекс, что тоже бывает часто!

У меня есть вопросы к автору. ) Я вот тоже много лидов повидал.


Вопрос первый, это как надо зажраться, будучи программистом, а не директором, например, чтобы отсеивать резюме "написанные по шаблону хх"? Есть и другие, иностранные, шаблоны, например, западный CV там помимо перечислений занимаемых должностей будет возможно еще такой сккуучный список публикаций в конце. Первые две строчки уже вгонят в депрессию...


Второй вопрос, цель этой статьи какая вообще? Высказать личное мнение о потоке резюме, ну и рекрутер мог бы это сделать, да ещё на базе сотен резюме. Или пропиарить свой навык отсева? Или просто сказали написать ещё одну статью на работе, а отказать сложно? Или, о боже, чтобы люди под Додо свои резюме правили? )


Третий, ну вот, написали, получили очень интересный фидбек, а что же будет дальше? Изменился процесс отсева, изменится описание, тестовый день отменят (бррр)? Или просто вы не будете писать такие же искромётно тупые статьи?


И в качестве четвертого вопроса, какого ляда один человек, а не команда из программеров получил такую власть по отсеиванию людей? Это тоже само собой разумеющаяся хорошая практика? И, собственно, продемонстрировал в полной красе злоупотребление функцией, к которой был допущен? А потом что будет, Вася решил, Васе не нравится, Вася отсеял, Вася так посчитал, Вася негодует (уже на самой работе)? Тянет душком уже с самого начального этапа.


Ну, и напоследок, можно было написать этот пост кратко: " я тут увидал 80 резюме, все, оказывается, так сухо пишут, что я устал их
читать, а всех же не прособеседуешь, вы, это, совсем уже, пишите мне сочинения, что ли". Вот и вся суть.

Светушки! Червяки минусуют!


А вот скоро самое лучшее государство в мире, которое и самое сильное и богатое, а а ещё справедливое, укатает любимчика в ИЗ на сколько ей надо лет.


А уж как он там натерпится издевательств, даже страшно сказвтьг. Опустят за предательство родины.


А честный прокурор честно запросит по максимуму за преступления против гос.секретов.


Да уж, будет шоу на славу! Запаситесь попкорном и для меня, уж не обделите.

Ой, батюшки, я оскорбил чувства "верующих".

Родина милее становится. В розовощеком возрасте мозги радуются от новых впечатлений от европ и Америк, а потом от привычного комфорта своей страны непонятной никому другому.

Или лучше — сядет или не сядет.

Про него где-то писали, если найду, то скину, — что он ужасная неряха, а может, свихнулся. Ходит не мытый, воняет, вся одежда грязная, ногти не стрижены, волосы не мыты и т.д. Мне кажется, он уже сидел как в очень хорошей тюрьме, но зачем так опускаться — не понятно.
Раньше за такое расстреливали. А тут, посидел в комфорте в центре ЛондОна, стал знаменитым, ну, посидит 5 годков, выйдет, книгу напишет, продаст миллионными тиражами. Везунчик, честный преступник, любимец молодежи, просто красавец с роскошной бородой.
победителей олимпиады по кибернетике.


Вторая часть фразы выражает смысл )

Ну, да, все так и есть. Помню, стоял в курилочке со знакомым программистом, он весь такой в себе, не говорит ничего. А потом такой: "работаю над оптимизацией одной штуки, а там функция ошибки дважды дифференцируема, все получилось!"


Или так, опять в курилке, неожиданно: "Слушай, а ты используешь сложность Родемахера в своих гипотезах?"


Или ещё, за обедом, "Опыт по проверке неравенства Белла показывает состоятельность тезиса о свободе воли".


Типично алайновское...


(Любя.)


Обратная сторона медали — корпоративы в стиле чаепития (пивопития) победителей олимпиады по кибернетике.

Понятно. Под keras если даже я не могу на 100% реализовать что-то кастомное, я ищу питоновскую реализацию, а код транслируется 1 к 1 с небольшими синтаксическими правками. А вообще много примеров на rstudio. И надо немного питоновские структуры данных знать, хотя бы листы. Работа по портированию keras а большая… mxnet просто убивал отсутствием документации, многих стандартные вещи приходилось просить у разрабов на гитхабе. Считаю, хорошо, что есть то, что есть.

А чем pytorch лучше? Я где-то видел статистику использования фреймворков, он там второй после кераса, вроде бы.

Я пилю нейронки на работе, а научился делать это сам, без единого курса (курсы по ДС на курсере были по языку Ар). Мой рецепт: arxiv, stackexchange, wikipedia. И трудолюбие.
Проверять нужно сообразительность и обучаемость


Если человек согласен на джуниорскую позицию, этого хватит. Если нужен спец., который начнет фигачить довольно сложные исследования через пару месяцев, сами понимаете, бизнес рисковать не будет, поэтому есть набор тестов или задачек на 30-40 минут. Формальные критерии не отменяются, а то, что он сообразительный, это может проявиться в том, что посмотрит со смартфона определение дисперсионного анализа, а когда спросишь, почему он здесь может быть применим — вот тут-то и скажется отсутствие практики.

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity