Первый шаг, насколько я знаю — это проверить сами параметры насколько они отвечают нормальному распределению, а именно вывести их на гистограмме и если они не похожи на колокол — сделать логарифмическое трансформирование x = log(x).
Затем вычислить по формуле медиану(мат ожидание) μ и среднеквадратическое отклонение σ.
Посчитать и затем результат сравнить с параметром эпсилон p(x) < ε, где эпсилон это параметр чувствительности уровня погрешности, то есть этим параметром вы сможете отсеять именно изогнутые в кольцо линии. Если результат вычислений меньше эпсилон — это аномалия, p(x) ≥ ε — не аномалия. Эпсилон выставляется вручную.
Я правда немного подумал еще — если у вас в датасете достаточно «нормальных» и «аномальных» данных, а сами аномалии имеют малое количество вариаций (типов), то эффективнее будет использовать обычное обучение с учителем, как вы и сделали.
Просто какие-то линии на черном фоне, причем на картинке 64х64 заполнено порядка 2% точек. Если посмотреть много картинок, то там, конечно, оказывается, что большая часть линий довольно похожа.
Я конечно не «настоящий сварщик», но может попробовать искать аномалии с помощью Нормального распределения (Гаусса)?
Не правильно :) Всем просто плевать, что у вас ThinkPad T60 и специально под него оптимизировать ничего не будут.
P.S. На мне злость за это сгонять не надо. Это не я пишу глючный софт на электроне чтобы он у вас не запускался. А то вон понакидали минусов, словно я автор всех приложений на электроне.
Чтобы история не повторилась — нужно думать об этом уже сейчас
Ломать компуктеры? :)
На самом деле все гораздо печальнее. Сколько молодых людей закачивают вуз по одной специальности и работают совсем по другой. Все либо от пофигизма и инфантилизма либо от банальной глупости. Или из разряда «Буду блогером, потому что все сейчас видеоблогеры». Потом страдают и винят других в той ситуации, что они оказались.
В общем я согласен, что нужно просто думать своей головой хоть немного и на хлеб тогда хватит. Причем это касается и современных веб девелоперов — думать, что потребность в создании сайтов будет всегда высокой — очень опрометчиво.
Не меньше иронии вызывает столь же безоглядная вера во всемогущество рынка…
Да нет никакой веры в рынок. Проблема ведь в «ткаче» — я родился «ткачем» и умру «ткачем». В этом рынок виноват?
А кто его знает. Большая война, экономический кризис, вспышка болезни, огромное землетрясение или совокупность этих факторов — все может послужить катализатором. Во многих сферах прогресс даже замедляется или совсем топчется на месте и без этих факторов.
Речь шла не об «уничтожении» некоторых профессий как таковых, что происходит прямо сейчас и без ИИ, а именно об уничтожении всех профессий и ненужности человека вообще в целом. Попытку экстраполировать текущий научный прогресс в виде «технологической сингулярности» я считаю наивной, как бы не было обидно почитателям Реймонда Курцвейла. Не хватает всех данных, чтобы с уверенностью утверждать что на графике развития нас не ждет некое «плато стабильности», иначе говоря застой.
Я не говорил что у вас лично юношеский максимализм, я лишь имел в виду что святая вера в экспоненциальный рост научного прогресса выглядит наивно. Я скептически отношусь к идее что машины полностью заменят людей.
А в то же время Джон на другом конце земли делает ту же работу за 100$ час. А еще есть Джек который за 150$/час менеджерит Васю и Петю, которые тестируют и обслуживают эту экспертную систему, потому что заказчик X жалуется, что дрова под его кривое железо не работают правильно, хотя сделаны по спеке.
Когда появились первые машины, которые автоматизировали труд на фабриках — тоже думали что все, труба, у людей не будет работы. Но нет, как-то заняты люди чем-то.
И вообще этот юношеский максимализм и абсолютизм и вера в светлое техногенное будущее вызывает лишь чувство легкой иронии.
Да, железо тоже перестает решать. Вполне возможно будет обратная волна, когда софт будут оптимизировать и это будет экономически выгодно.
Скайп в основном же сожрали whatsapp, slack, viber и телеграмм. Так же сдох когда-то ICQ. Кстати ICQ работало даже на железе уровня микроволновки, но его это не спасло.
Кроме того компания, где я работаю, долго использовала Skype, но затем тоже перешла на Slack.
А и еще. К сожалению HTML5 + CSS это лучшее что смог предложить рынок для десктопа по уровню функционал/документация/примеры. Если взять так любимый многими QT — профессионально и быстро выполнить сложный высер дизайнерской мысли смогут лишь полтора бородатых разработчика, в доках пока разберешься — тысячи Раджешей Кутрапале уже наваяют тоже самое на HTML5 + CSS и все — ты вне игры. Да, будет течь. Да, будет жрать. Но они заработали, а ты нет. Потому что ты все еще ищешь как без костылей сделать custom traffic lights titlebar на MacOSX.
Кстати кому интересно есть проект node + qt5 — тоже кроссплатформа, тоже Javascript, но без chromium.
Все имеет свои причины — я более чем уверен, что возможность повторить функционал старого скайпа была — но наверняка такая задача просто не ставилась.
Грубо говоря всем управляют «бабки», то есть запросы по функционалу неплатежеспособных (это даже не зависит от ваших реальных финансовых возможностей, а лишь от готовности тратить деньги) пользователей просто игнорируются. А платежеспособная часть просто может себе позволить более мощное железо. Именно по этой причине выпускают игры под новые консоли, а не под старые.
В целом я за сбалансированный подход. Специализированный и сложный софт должен быть нативным, быстрым и потреблять минимум ресурсов.
Остальной софт — выбор за пользователями и разработчиками. Если большинству выгоднее chromium — то почему нет?
С одной стороны я согласен с вами, что делать «калькулятор» на chromium и node.js это полный бред.
Но, с другой стороны, тот же дискорд, что вы упоминаете ниже, работает отлично и хороших кроссплатформенных аналогов фактически не имеет. И в 2019 жаловаться на обьем оперативной памяти это моветон. Этим летом я купил 64Gb оперативной памяти с частотой 3200 всего лишь за жалкие 200$.
Очень надоело это нытье из разряда «раньше было лучше, на моем нетбуке с xp-шечкой все шустро запускалось, и бравзер и ворд и винумп и даже видосики 720p!!!.. А вот сейчас веб макаки все испортили и моих ЦЕЛЫХ!!! 512mb уже не хватает!!!»
И оказывается что никому не интересно в текущих реалиях жрет приложение 300 или 500mb. Зато интересно другое, в случае того же слака или скайпа, и в ситуации когда девайса под рукой нет, есть гостевой комп и срочно нужно что-то порешать аж за океаном.
И последний момент. Не нравится — не пользуйся. Очень доставляет категория людей считающая что им все должны.
Вспомнил случай, когда в конфигурационных фалах игры про Чужих была допущена опечатка, которую никто не заметил, и из-за этого ИИ ботов работал не правильно (слабо), что сильно испортило репутацию игры.
Затем вычислить по формуле медиану(мат ожидание) μ и среднеквадратическое отклонение σ.
Посчитать и затем результат сравнить с параметром эпсилон p(x) < ε, где эпсилон это параметр чувствительности уровня погрешности, то есть этим параметром вы сможете отсеять именно изогнутые в кольцо линии. Если результат вычислений меньше эпсилон — это аномалия, p(x) ≥ ε — не аномалия. Эпсилон выставляется вручную.
Я правда немного подумал еще — если у вас в датасете достаточно «нормальных» и «аномальных» данных, а сами аномалии имеют малое количество вариаций (типов), то эффективнее будет использовать обычное обучение с учителем, как вы и сделали.
Я конечно не «настоящий сварщик», но может попробовать искать аномалии с помощью Нормального распределения (Гаусса)?
P.S. На мне злость за это сгонять не надо. Это не я пишу глючный софт на электроне чтобы он у вас не запускался. А то вон понакидали минусов, словно я автор всех приложений на электроне.
Ломать компуктеры? :)
На самом деле все гораздо печальнее. Сколько молодых людей закачивают вуз по одной специальности и работают совсем по другой. Все либо от пофигизма и инфантилизма либо от банальной глупости. Или из разряда «Буду блогером, потому что все сейчас видеоблогеры». Потом страдают и винят других в той ситуации, что они оказались.
В общем я согласен, что нужно просто думать своей головой хоть немного и на хлеб тогда хватит. Причем это касается и современных веб девелоперов — думать, что потребность в создании сайтов будет всегда высокой — очень опрометчиво.
Да нет никакой веры в рынок. Проблема ведь в «ткаче» — я родился «ткачем» и умру «ткачем». В этом рынок виноват?
Я о том же. Почитайте коммент выше. Была высказана идея, что научившись делать людей фабричным методом люди перестанут быть нужны
А настанет ли он? Я думаю нет.
Я не говорил что у вас лично юношеский максимализм, я лишь имел в виду что святая вера в экспоненциальный рост научного прогресса выглядит наивно. Я скептически отношусь к идее что машины полностью заменят людей.
Когда появились первые машины, которые автоматизировали труд на фабриках — тоже думали что все, труба, у людей не будет работы. Но нет, как-то заняты люди чем-то.
И вообще этот юношеский максимализм и абсолютизм и вера в светлое техногенное будущее вызывает лишь чувство легкой иронии.
Насколько я знаю (могу ошибаться) Skype до сих пор очень популярен в латинской америке. Вот немного статистики по нему.
Скайп в основном же сожрали whatsapp, slack, viber и телеграмм. Так же сдох когда-то ICQ. Кстати ICQ работало даже на железе уровня микроволновки, но его это не спасло.
Кроме того компания, где я работаю, долго использовала Skype, но затем тоже перешла на Slack.
Кстати кому интересно есть проект node + qt5 — тоже кроссплатформа, тоже Javascript, но без chromium.
Грубо говоря всем управляют «бабки», то есть запросы по функционалу неплатежеспособных (это даже не зависит от ваших реальных финансовых возможностей, а лишь от готовности тратить деньги) пользователей просто игнорируются. А платежеспособная часть просто может себе позволить более мощное железо. Именно по этой причине выпускают игры под новые консоли, а не под старые.
В целом я за сбалансированный подход. Специализированный и сложный софт должен быть нативным, быстрым и потреблять минимум ресурсов.
Остальной софт — выбор за пользователями и разработчиками. Если большинству выгоднее chromium — то почему нет?
Но, с другой стороны, тот же дискорд, что вы упоминаете ниже, работает отлично и хороших кроссплатформенных аналогов фактически не имеет. И в 2019 жаловаться на обьем оперативной памяти это моветон. Этим летом я купил 64Gb оперативной памяти с частотой 3200 всего лишь за жалкие 200$.
Очень надоело это нытье из разряда «раньше было лучше, на моем нетбуке с xp-шечкой все шустро запускалось, и бравзер и ворд и винумп и даже видосики 720p!!!.. А вот сейчас веб макаки все испортили и моих ЦЕЛЫХ!!! 512mb уже не хватает!!!»
И оказывается что никому не интересно в текущих реалиях жрет приложение 300 или 500mb. Зато интересно другое, в случае того же слака или скайпа, и в ситуации когда девайса под рукой нет, есть гостевой комп и срочно нужно что-то порешать аж за океаном.
И последний момент. Не нравится — не пользуйся. Очень доставляет категория людей считающая что им все должны.