И даже с битыми пикселями не совсем понятно что делать. Усреднять по соседям, делать бикубическую интерполяцию или что-то еще? Результат в каждом случае будет другим и в каждом случае результат не вернёт утерянную информацию. Так что восстановить что-то нейросеть не может. Но (с некоторой долей уверенности) может обнаружить аномалии и попытаться что-то предсказать. "Мусор на входе - мусор на выходе."
Да, обычно совмещение нескольких подходов позволяет несколько снизить ошибку. Но ошибки по любому будут (и для существенного снижения нужно объединять довольно много методов, сделанных разными способами, обученными на разных данных).
https://habr.com/ru/company/skillfactory/blog/666040/ Почитайте про интересный подход для символьной регрессии. В таких задачах очень часто формулы получаются очень-очень длинными, избыточно длинными. Всё потому, что машина не знает когда остановится (ищи "PySR для нахождения уравнений", там её научили останавливаться).
С нейросетями зачастую похожая задача - трудно (сложно) понять какого размера какие слои ставить. Сама нейросеть тоже не умеет настраивать свою сложность. Поставишь много - получишь переобучение, мало - точность будет плохой. Возможно какое-то решение в этой области сделает нас чуть ближе к сильному ИИ.
Сейчас, к примеру, есть рекуррентные нейросети (стоят несколько особняком, возможно из-за трудностей в обучении, возможно потому что традиционные нейронки сейчас дают сопоставимую точность). Может нечто этакое приспособят генерировать из случайного шума (на входе) некий осмысленный ответ (на выходе) (крутим заранее обученную нейронку до тех пор, пока она не сойдется к ответу). Возможно это будет некий энкодер на входе, рекуррентая часть посередине и декодер на выходе....
Строго говоря нейросети не оптимизаторы, а аппроксиматоры. Оптимизаторы используется при обучении (обратное распространение ошибки, всякие adam, SGD и др.). Конечный продукт (нейросеть) вычисляет некий ответ, похожий на ответы из обучающего множества - аппроксимирует. И (в большинстве случаев) у нейросети экстраполяция получается намного хуже (как только выходим за пределы обучающего множества, так сразу увеличивается ошибка).
Построят ли первый сильный ИИ на основе нейросети? Вполне возможно. Только, скорее всего, структура будет отличаться от трансформеров примерно как перцептрон отличается от трансформеров (т.е. нам нужно пройти несколько итераций улучшения).
Двумя руками ЗА. Уже пора собирать базы данных сегодняшних больных, записывать все результаты анализов, рентгенов, УЗИ, кардиограммы и т.д. для того, что бы потом сказать компу: "смотри, вот пять лет назад была УЗИ, а сегодня в этом месте киста", глядишь может ИИ и научится предсказывать что-то.
Возможно я не до конца понимаю, но мне кажется, что на спектрограмме фаза потеряна навсегда. Можно попытаться правдоподобно восстановить, но не более того.
В данном случае (как я понимаю) речь идет о моно-звуке и там фаза уже не так важна. Разумеется меломаны скажут "обязательно с сохранением фазы".
Я думаю фаза не важна. Надеюсь автор @Nikuson может показать пример звучания птицы до конвертирования и после обратного конвертирования (после upscale из 64х64 пикселей)?
Т.к. это скорее прикладная статья, то мысли о том, где использовались подобные машинки вполне оправданы. Для меня интересны как технические подробности, так и возможности применения (подробности 80%:применение 20%).
Именно. К примеру при увеличении портрета подобные алгоритмы дорисовывают отдельные волоски (фотореалистично дорисовывают). Если сравнить попиксельно с оригиналом, то видна очень большая разница, но большинство людей работу Super-Resolution оценят как отличную (потому что сравнивают не попиксельно). Даже текстурные метрики (которые оценивают группы пикселей, текстуры) могут промахнуться, потому как на оригинале (к примеру) волосы под немного другим углом, чуточку другая структура и т.п.
В условиях глобализации запрет очень непросто сделать локальным. Многие проекты используют комплектующие, рабочую силу, рынки сбыта в сотнях (тысячах) географических точках нашего мира и запрет любой такой точки (Хуавей) может очень болезненно ударить по всему проекту, так что не надо говорить: "Любой поставщик может отказаться...".
не смотря на то, что в статья называется "Машинное обучение на периферии" про как таковое обучение на периферии разговора нет. Всюду говорится про "деплой ML-моделей в облаке". Т.е. про то, где гонять уже обученную готовую модель.
И в конце бах: приходите к нам и мы покажем "дерево решений — и применим его на практике". Ради "Регистрация для всех желающих доступна" вся статья и была переведена?
UNet очень высокая вычислительная сложность сети, особенно при условии, что задача требует сохранения мелких деталей, .....
выход сети получился достаточно «шумным» - с большим количеством высокочастотного шума.
в UNet можно (нужно) регулировать число слоев как нужно для вашей задачи. У этой архитектуры очень хорошая особенность - по мере приближение к низу "U" размер становится меньше и работа идет быстрее. Т.е. это не такая уж и тяжелая сеть.
Что касается шума, то через loss-функцию нужно было регулировать штраф за шум.
В одном месте уточним. Я просил не "быстро обучить", а "обучить быструю модель", т.е. чтобы на клиентском устройстве (микроконтроллер, web-cam, телефон) модель работала быстро и не требовала гигабайты памяти. Частично это решается через задание вручную в конфигурацию подходящих именно мне моделей (на этапе обучения). Как понимаю пока специального пресета для создания легковесных моделей нет? Жаль нет сравнения с нейронками (хотя бы на сравнительно небольших наборах данных).
А могли бы пару слов рассказать про ресурсы, необходимые на этапе обучения и на этапе прогнозирования? К примеру можно ли Федота настроить на получение быстрой и компактной модели (в ущерб качеству)? При обучении с расчетом на мобильные устройства какой метод обычно лучше -- трансформеры или ARIMA (через Федота)?
Правильно ли я понимаю, что на небольшом наборе данных Федот даст лучший результат, нежели трансформеры?
Тогда уж рядышком положим и гуглоперевод: Гора крутая. На его могилу положили камень. Скалы придают горе гладкий цвет. Издалека они напоминают различных оленей. Справа от стола находится стопка излишков. Вдалеке виднеются белые облака. Это волосы, из-за которых курица сияет. По ту сторону горы росли сосны. Они ищут более глубокое, более таинственное видение. Предгорья заполнены водой. У них такое отношение. Пожалуйста, скажите мне.
Спасибо, познавательно. Есть человечек https://github.com/averkij (тут @averkij) который занимается схожими темами (в телеграмме ведет свой канал "градиент обреченный" https://t.me/doomgrad) в котором пишет о машинном обучении (не реклама, не имею к нему отношения) - думаю найдете общие темы для беседы.
И даже с битыми пикселями не совсем понятно что делать. Усреднять по соседям, делать бикубическую интерполяцию или что-то еще? Результат в каждом случае будет другим и в каждом случае результат не вернёт утерянную информацию. Так что восстановить что-то нейросеть не может. Но (с некоторой долей уверенности) может обнаружить аномалии и попытаться что-то предсказать. "Мусор на входе - мусор на выходе."
Да, обычно совмещение нескольких подходов позволяет несколько снизить ошибку. Но ошибки по любому будут (и для существенного снижения нужно объединять довольно много методов, сделанных разными способами, обученными на разных данных).
https://habr.com/ru/company/skillfactory/blog/666040/ Почитайте про интересный подход для символьной регрессии. В таких задачах очень часто формулы получаются очень-очень длинными, избыточно длинными. Всё потому, что машина не знает когда остановится (ищи "PySR для нахождения уравнений", там её научили останавливаться).
С нейросетями зачастую похожая задача - трудно (сложно) понять какого размера какие слои ставить. Сама нейросеть тоже не умеет настраивать свою сложность. Поставишь много - получишь переобучение, мало - точность будет плохой. Возможно какое-то решение в этой области сделает нас чуть ближе к сильному ИИ.
инсайт - озарение (пришлось в Википедию залезть).
Сейчас, к примеру, есть рекуррентные нейросети (стоят несколько особняком, возможно из-за трудностей в обучении, возможно потому что традиционные нейронки сейчас дают сопоставимую точность). Может нечто этакое приспособят генерировать из случайного шума (на входе) некий осмысленный ответ (на выходе) (крутим заранее обученную нейронку до тех пор, пока она не сойдется к ответу). Возможно это будет некий энкодер на входе, рекуррентая часть посередине и декодер на выходе....
Строго говоря нейросети не оптимизаторы, а аппроксиматоры. Оптимизаторы используется при обучении (обратное распространение ошибки, всякие adam, SGD и др.). Конечный продукт (нейросеть) вычисляет некий ответ, похожий на ответы из обучающего множества - аппроксимирует. И (в большинстве случаев) у нейросети экстраполяция получается намного хуже (как только выходим за пределы обучающего множества, так сразу увеличивается ошибка).
Построят ли первый сильный ИИ на основе нейросети? Вполне возможно. Только, скорее всего, структура будет отличаться от трансформеров примерно как перцептрон отличается от трансформеров (т.е. нам нужно пройти несколько итераций улучшения).
Была информация, что отпечаток просто по фото ладони воссоздали
https://habr.com/ru/post/356608/ (2014 год)
https://habr.com/ru/post/252095/ (2015)
Двумя руками ЗА. Уже пора собирать базы данных сегодняшних больных, записывать все результаты анализов, рентгенов, УЗИ, кардиограммы и т.д. для того, что бы потом сказать компу: "смотри, вот пять лет назад была УЗИ, а сегодня в этом месте киста", глядишь может ИИ и научится предсказывать что-то.
Возможно я не до конца понимаю, но мне кажется, что на спектрограмме фаза потеряна навсегда. Можно попытаться правдоподобно восстановить, но не более того.
В данном случае (как я понимаю) речь идет о моно-звуке и там фаза уже не так важна. Разумеется меломаны скажут "обязательно с сохранением фазы".
Я думаю фаза не важна. Надеюсь автор @Nikuson может показать пример звучания птицы до конвертирования и после обратного конвертирования (после upscale из 64х64 пикселей)?
И вот тут читаем местную статейку https://habr.com/ru/post/704432/?amp%3Butm_source=habrahabr&%3Butm_medium=rss Решаем как подбор гиперпараметров, ищем максимум (некоторое извращение, конечно, но должно сработать).
Т.к. это скорее прикладная статья, то мысли о том, где использовались подобные машинки вполне оправданы. Для меня интересны как технические подробности, так и возможности применения (подробности 80%:применение 20%).
Именно. К примеру при увеличении портрета подобные алгоритмы дорисовывают отдельные волоски (фотореалистично дорисовывают). Если сравнить попиксельно с оригиналом, то видна очень большая разница, но большинство людей работу Super-Resolution оценят как отличную (потому что сравнивают не попиксельно). Даже текстурные метрики (которые оценивают группы пикселей, текстуры) могут промахнуться, потому как на оригинале (к примеру) волосы под немного другим углом, чуточку другая структура и т.п.
В условиях глобализации запрет очень непросто сделать локальным. Многие проекты используют комплектующие, рабочую силу, рынки сбыта в сотнях (тысячах) географических точках нашего мира и запрет любой такой точки (Хуавей) может очень болезненно ударить по всему проекту, так что не надо говорить: "Любой поставщик может отказаться...".
не смотря на то, что в статья называется "Машинное обучение на периферии" про как таковое обучение на периферии разговора нет. Всюду говорится про "деплой ML-моделей в облаке". Т.е. про то, где гонять уже обученную готовую модель.
И в конце бах: приходите к нам и мы покажем "дерево решений — и применим его на практике". Ради "Регистрация для всех желающих доступна" вся статья и была переведена?
в UNet можно (нужно) регулировать число слоев как нужно для вашей задачи. У этой архитектуры очень хорошая особенность - по мере приближение к низу "U" размер становится меньше и работа идет быстрее. Т.е. это не такая уж и тяжелая сеть.
Что касается шума, то через loss-функцию нужно было регулировать штраф за шум.
В одном месте уточним. Я просил не "быстро обучить", а "обучить быструю модель", т.е. чтобы на клиентском устройстве (микроконтроллер, web-cam, телефон) модель работала быстро и не требовала гигабайты памяти. Частично это решается через задание вручную в конфигурацию подходящих именно мне моделей (на этапе обучения). Как понимаю пока специального пресета для создания легковесных моделей нет?
Жаль нет сравнения с нейронками (хотя бы на сравнительно небольших наборах данных).
А могли бы пару слов рассказать про ресурсы, необходимые на этапе обучения и на этапе прогнозирования? К примеру можно ли Федота настроить на получение быстрой и компактной модели (в ущерб качеству)? При обучении с расчетом на мобильные устройства какой метод обычно лучше -- трансформеры или ARIMA (через Федота)?
Правильно ли я понимаю, что на небольшом наборе данных Федот даст лучший результат, нежели трансформеры?
Про сквозняки? А какие-то расчеты были? На сайте только идея без технических подробностей.
Тогда уж рядышком положим и гуглоперевод:
Гора крутая. На его могилу положили камень. Скалы придают горе гладкий цвет. Издалека они напоминают различных оленей. Справа от стола находится стопка излишков. Вдалеке виднеются белые облака. Это волосы, из-за которых курица сияет. По ту сторону горы росли сосны. Они ищут более глубокое, более таинственное видение. Предгорья заполнены водой. У них такое отношение. Пожалуйста, скажите мне.
Спасибо, познавательно. Есть человечек https://github.com/averkij (тут @averkij) который занимается схожими темами (в телеграмме ведет свой канал "градиент обреченный" https://t.me/doomgrad) в котором пишет о машинном обучении (не реклама, не имею к нему отношения) - думаю найдете общие темы для беседы.