Pull to refresh
17
0
Александр Хрипливенко @ami

User

Send message
Я поздно подтянулся. Но все-же вставлю свои 5 копеек.

У вас вырисовывается 2 проблемы.

1. CNN работают только с локальными фичами и они не могут отличить «кошку леопардовой расцветки» от «дивана леопардовой расцветки»
Да. CNN работают только с локальными фичами. By design.
Но. Эти локальные фичи можно очень легко превратить в глобальные используя вместе или по отдельности
а) пирамиды
(если на картинке 100x100 будет леопард крупным планом и мы будем идти маской 5x5 — мы не сможем отличить леопарда от дивана, т/к/ мы будем сосредоточены на локальных фичах.) но пирамидируюя эту картинку — вуаля — сможем
б) так называемые superpixels когда мы можем детектить сразу несколько обьектов на сцене(в них я пока еще не разбирался)

Собственно вот как это решает тот же LeCun и компания

2. Для обучения CNN нужно большое количество реальных примеров.
Я бы сказал, это не обязательно так. Как следует из того же one shot learning. Но если классы будут слишком близки, то, к сожалению без реальных примеров их не разделить(допустим вы хотите классифицировать цифру 5 написанную одним человеком в один класс, а другим человеком — в другой класс. И, скормив системе одну единственную цифру 5 и приказав «фантазируй», она не сможет правильно классифицировать цифры. Но это же верно и для людей.
Статья хорошая, но исключительно с инженерной точки зрения.
Взят готовый фреймворк, показано как его использовать.

Это хорошо

а) для человека, который уже знает, как все работает на микроуровне
(как происходят свертки, как работает для сверточных сетей алгоритм обратного распостранения ошибки и т/п/),
и просто хочет быстро решить конкретную задачу без траты времени на кодинг

б) для человека, который и не хочет разбираться и/или ему не нужно разбираться в том, как все устроено внутри,
но который просто хочет, использовав фреймворк, быстро решить задачу.(обычный технарь)

Я не принадлежу ни к первой ни ко второй категории. Я хочу разобраться в том, как все устроено «under-the-hood».
Если автор статьи разбирается в этом вопросе, буду очень благодарен за разъяснения/ссылки/книги с детальным описанием
сверточных сетей. Что называется «на пальцах».

Конкретно у меня возникли трудности в том, как реализован алгоритм обратного распостранения ошибки для convolutional слоя в CNN.

Что я перепробовал:

1) Реверс-инжиниринг неоднозначных формул
Я перерыл довольно много открытых источников, включая стендфортский туториал.
В том же стендфортском туториале есть формулы касательно алгоритма обратного распостранения ошибки для convolutional слоев.
Но при этом не указана архитектура сети. Не указаны связи между слоями. Без указания этих связей формулы противоречивы и
неоднозначны. Из-за этого приходится реверс-инжинирить эти формулы, чтобы
понять какие конкретно связи существуют в их конкретной сети. К тому же, это всего-лишь частный случай.

2) реверс-инжиниринг готовых реализаций
Еще я натыкался на несколько реализаций сверточных сетей, где реализован сам алгоритм обратного распостранения через сверточный слой.
Но там приходится реверс инжинирить код и по нему понимать как работает бэкпропагэйшн через сверточный слой. Код не всегда простой
и я не уверен, что я на 100% правильно этот код реверс-инжинирю( в математике важна точность, поэтому мне хочется быть уверенным на 100%)

3)Еще не попробовал. Но есть идея
Забить конкретную сверточную сеть в maple. И посчитать символьные производные по каждому конкретному весу.
Исходя из этих значений этих символьных производных понять, почему все именно так.
Но этот 3й пункт — reinventing the wheel(изобретение велосипеда).

Все 3 метода являются в той или иной мере непрямыми и это получение знаний не напрямую а-ля
«это работает так потому-то и потому-то» и поэтому требуют очень много времени, усилий. И нервов :)

Поэтому хотелось бы найти что-нибудь с детальным описанием архитектуры сети «до конкретной связи между нейронами»
и самыми детальными формулами относящимися к этой конкретной архитектуре.

Интуитивно я чувствую, что такое должно где-то быть. Но в силу моего недостаточно большого опыта в данной сфере я просто не знаю где
и как это искать.

Если существует разумное умолчание, то да, можно делать дефолтные клозы, но, скорее всего, это только создаст проблем в будущем.


Таки да. Дефолтные клозы — это нехорошо. Т.к. ваша функция/receive скорее всего принимает не те данные, на которые была раccчитана. А это значит, что имеет место просчёт в архитектуре.

Поэтому 'let it crash' — наше всё.
Да, об этом я хотел написать, но было поздно. Видать написал только в голове, но не в комменте :)

Риск естественно есть. Именно поэтому я инвестирую в $. Но если информация об этом риске доступна и оценить его(допустим, что курс будет стабилен следующий год), то можно было бы этими высокими процентами взять плату за принятие риска.
Признаю свою ошибку. Мое замечание насчет сохранности заработанных денег касается только Украины
Признаю свою ошибку. Мое замечание насчет сохранности заработанных денег касается только Украины.
Отчасти вы правы.
Но вот вам схема для оценки и критики. Напишите, где я ошибся(т.к. может когда-нибудь буду её применять)

Страна — Украина, это было в реальности.

1. 3 года(или даже больше) стабильного курса доллара. 1 USD = 8 UAH.
2. Инфляция в Украине и в США — разные.

3. долларовые депозиты в Украине доходили до 12% годовых. В США — до 2%. (заметьте, валюта -одна и та же)
Но и это ещё не всё.

4. Депозиты в гривнах — до 25%(были даже до 30%)

Вы взяли N долларов. Обменяли их на М гривен. Вложили в банк в гривневый депозит. Стабильные годы(с точки зрения курса). Потом снимаете депозит(уже с процентами), меняете всё на те же доллары.

Т.е. получается, что у вас лежало N долларов под 25%-30% годовых! PROFIT!!!
(а вот если курс не стабильный, как скажем, сейчас, — всё уже гораздо сложнее)

Теперь, разве в США инфляция 25-30% в год? Врядли.

Глобализация есть благо, если знать, как её использовать.

Есть ещё куча схем по вкладам, полностью законных. Жалко, что у меня нет достаточно денег :(

Теперь касательно бизнеса. Да, у нас если рентабельность меньше 100% никто и не плюнет. В любой стране бизнес даст намного больше чем любой вклад. Но вот это ж надо булками шевелить. Заниматься им.
Низкая волатильность = торговля неликвидным товаром. Если он сегодня не сильно нужен, будет ли он нужен завтра? Стоит ли в него вкладывать(если говорить о долгосрочных вложениях а не спекуляциях)? Может и стоит. Но зачастую — нет.

Кроме того, в данной статье подымается вопрос — стоит ли вкладывать деньги в фондовый рынок. Под вложением подразумевается не обязательно долгосрочные капитальные вложения. Зачастую под отдачей от вложения с точки зрения вас как вкладчика подразумевается отношение того, что вы сможете заработать за единицу времени к тому, что вы вложили. Чем больше раз вы сможете проспекулировать, тем больше вы заработаете. Поэтому вам должно быть удобно спекулировать.

Если вы рассматриваете инвестицию в компанию с точки зрения получения влияния на эту компанию с тем, чтобы потом учавствовать в политике компании(строить для неё заводы, думать о её развитии и т.п.) и как следствие, скажем, купить банкрот и сделать его прибыльной компанией(это и есть реальные инвестиции) — вы не смотрите зачастую на стоимость акций компании на фондовом рынке. Вы руководствуетесь личными соображениями. Конечно, если не будет возможности понизить стоимость акций такого «почти банкрота», вам прийдётся скупать её дороже, чем хотелось бы.

В таком случае вы потратитесь. И вам прийдётся реально работать, чтобы компания стала прибыльной, т.е. чтобы ваши вложения дали прибыль.

Работать мало кто умеет и хочет. Спекулировать — проще.(По ряду причин — из-за отсутствия законодательной базы, налоговых ставок и т.п.) Если эти факторы поменяются(скажем пойдут дотации для инвесторов, которые хотят действительно поднять заводы), возможно будет прибыльнее действительно инвестировать.
Книжки по техническому и фундаментальному анализу пишутся для того, чтобы получать деньги за книжки по техническому и фундаментальному анализу.

Если вы можете оценить что-то, вы сможете торговать. Т.к. вы будете понимать, справедливая ли цена.
Пример. Я люблю рынок. Базар. Выхожу иногда прогуляться.
Бабушка торгует черникой. Понедельник, вторая половина дня. Рядом бабушек с черникой нет.
У неё килограмм 15 ещё осталось.
«Сколько за кг?» — «15 гривен». «за 10 заберу 5 кг». «Ой синочку, та мени ж туда-сюда.» «Ну, тогда поговорим завтра». «Добре, забирай».
А завтра — я бы скостил уже на 33% стоимости, а максимум 10. Т.к. рынок был бы не флет. Условий не было бы. Один человек может изменить мнение, а 10 продавцов — нет. Они будут держать цену сообща, т.к. покупателей толпится много рядом.

Что произошло? Цена в данном случае взята с потолка.
Т.к. бабушке надо ехать домой. Товара у неё много. Отсутствие конкурентов в данном случае говорит о том, что бабушка торгует неликвидным товаром. Не базарное время — т.е. никто из клиентов не прийдёт(вероятность маленькая).

Но чтобы задушить жабу — надо вломить опт. Иначе из принципа не продаст.

Как-то так. Очень рекомендую. Есть ещё турецкие рынки. Но там я, к сожалению, пока не был. Не торговался. Там проявляется ещё и постоянная-контрактная составляющая. Если ты постоянный покупатель — тебе скажут, когда что будет, когда будет свежий товар, стоит ли брать сейчас, или они впарят другому.

У нас такое, к слову, тоже есть. Приходишь уже к другой бабушке, уже в базарный день, за другой ягодой. Берёшь раз, два. Когда выторговываешь, когда нет. Но через пару-тройку покупок она скажет тебе «сегодня не бери — ягода плохая, полежавшая. Или зелёная». Приходи завтра, я тебе под заказ привезу столько-то по такой-то цене.

Вообщем, учиться, учиться и ещё раз учиться
К сожалению, по некоторым соображениям я разжёвывать вам не могу. Просто вчитайтесь в то, что я написал.
Смотрящие — правда это или нет — не знаю. Это не моё мнение. Это то, о чём жужжат массы в Украине. Может нас просто запугивают. Политика — не моё дело. Честно говоря — я устал.

Как по мне — лишь бы в стране всё было предсказуемо. Кто правит страной — правые, левые, донецкие, киевские, красные, оранжевые — мне всё-равно. Факт — стабильности пока нет. Может будет. Я не знаю.

Отсутствие рынка — следствие из отсутствия стабильности. Это всё, что я хотел сказать.
После событий в Киеве стоимость некоторых квартир в центре упала до 50%. Сторговаться на -20% — реально. Количество сделок вцелом по всему Киеву — резко сократилось. Рынок замер. Ждёмс.
Сейчас берёте, после стабилизации обстановки — продаёте. Профит — 20-50% минус оформление и налоги.
Но. Что если народ поймёт, что квартира не стоит тех денег, которые были ДО если эти 20-50% так легко уступают?

Покупать на растущем рынке — ни-ни. Некоторые из моих знакомых 2000х годах покупали квартиры в Киеве по 200000$+ ипотека. Некоторые покупали за 120000$+ считай 100% ипотека ЗА(ЗА!!!) Киевом. Сейчас то, что они покупали стоит 60-100000. Как сторгуешься.
Подобное есть и в Украине — начислять и снимать деньги можно в любой момент.
банк Крещатик даёт 15% годовых в гривне.
банк Дельта — 13% в гривне.

Если более-менее стабильная ситуация в стране, то на «хлеб с интернетом» без риска хватает.
Когда я у девочек спрашивал «а какой вы даёте кредит» — «под 45%, иногда под 60%».
обычные депозиты в той же дельте — 21% был. Но снять — ни-ни.

Да, обналичка — бесплатно.
Дело не в типе мышления. Дело в экономической подкованности, актуальности информации, которая вам приходит и размере максимальной просадки, которую вы можете держать. Этому можно научиться. Далее — просто управление рисками.
Есть экономическая теория и законы больших чисел. Она гласит, что если есть растущий рынок(как сейчас, скажем, ПО), то если вы вложите деньги в большое число компаний и сбалансируете риски, то матожидание прибыли будет > 0. Но это работает на регулируемом рынке.
Т.к. первая догма при управлении рисками — вы должны построить ту самую таблицу управления рисками. Для этого вам нужна актуальная информация. Т.е. вам говорят — мы выстрелим с профитом 10х от вложенного с вероятностью 10% в течение года, другая компания — мы выстрелим с профитом 2х от вложенного с вероятностью 80% в течение года. И так надцать компаний.
Но если информацию нельзя будет проверить, ваша оценка рисков будет неправильной, и вы уйдёте в минус
Так вот, держать деньги или товар — зависит от текущей ситуации рынка.
You have to buy when there is blood on streets.

Но опять же ещё и от географического положения рынка и его коньюктуры.
Например. В США в небоскрёбы врезаются самолёты. Естественно, надо скупать под чистую. Т.к. США после этого подымется. А если в банана репаблик будет революция и вы в это время купите там недвижимость, у вас её просто отберут. Т.к. нет верховенства права
Где-то вы правы. Вот только вы ходите рядом.
Машину вы не продадите в кризис по «такой же стоимости». Есть много книжек по экономике.
Вот про маньяков и паники
Есть ещё
про «экономику»
про цену
Есть ещё много других. «How everything is connected».
Ещё рекомендую документалку «The Men Who Built America». Сравните способы, которые были в США 19 века и СНГ 90х. В США 19 века было всё гораздо честнее.

Либо им катастрофически везёт, либо вы чего-то не знаете\не договариваете.
К тому же торговля 100 акциями — это одно. Торговля большИм количеством — другое.
Вот так торгуете вы большими обьёмами без крыши, без уплаты «взносов».
Допустим нашли на нашем нерегулируемом рынке для себя тёплое место.
Приспособились. Потом приходит «смотрящий» из налоговой говорит: «А ну-ка. Кто тут у нас такой умный», и терморектальный криптоанализ. Мне оно лично не надо.
Поэтому, учитывая все минусы, как-то
— неконтролируемость рынка
— отсутствие честной игры как догмы в мозгах всего народа
— отсутствие работающего правосудия
— а если вам удалось пробиться — то ещё и терморектальный криптоанализ-

у нас это не рынок. Это игра для дураков. В России, Украине, и любой из банана-репаблик — то, что показывается на бирже — не более, чем песок в глаза. И всё, что там происходит — не отражает никакой реальной ситуации на рынках. Абсолютно.
Если холдинг А захочет купить холдинг Б, владелец холдинга А зайдёт к владельцу холдинга Б. И у кого будет больше и «начитаннее» «команда», тот и получит акции. Вы только увидите совершившуюся сделку.

Открывать аккаунт или нет — дело ваше. Я выразил своё мнение. Почему? Жалко людей. Может я один из тех, кто за fair game.
О форекс-кухнях я вообще молчу.
Я именно про биржи(stock exchange). У нас нет чёткого регулирования. Всё можно купить за взятку. Те, кто зарабатывают у нас — торгуют используя инсайдерскую информацию(либо на матчин энжайнах, либо в компаниях, акции которых торгуются). Волатильность рынка — низкая. Производства — практически никакого. 3 «голубые фишки» а-ля «Газпром»? Смеетесь?
В России и Украине бирж нет. Точка. Никаких. То, что есть — сущее на… о. Не больше. Это мнение не только моё, но и многих людей, которых я знаю, которые делали некоторые деньги на биржах. Не русских или украинских.
в мире императивного программирования практически ничего неизвестно о функциональном – его как бы нет, по крайней мере, это было до недавнего времени, а в мире функционального программирования императивное подвергается критике. Может есть у кого мысли, почему так произошло?


Я вам не скажу за всю Одессу… Но у меня лично просто по-другому мозг устроен. Мне проще мыслить в категории «разделяй и влавствуй». «Сделал что-то с состоянием, получил новое состояние, сделал то же самое с новым состоянием… О, а вот же и терминальное условие = решение»

Тема на самом деле интересная. Если будете организовывать какие-либо конференции — пишите, приглашайте! Особенно интересует матчасть.

Стиль изложения у вас тоже неплохой. Можно чуть больше визуализации — схем\графиков(вместо списков). Аналогии в тексте проводите весьма ясно и понятно. Для графиков можете использовать yEd

Information

Rating
Does not participate
Location
Киев, Киевская обл., Украина
Date of birth
Registered
Activity