Спасибо за замечания, сейчас исправлю.
1) Опечатка.
2) Тут i означает i-й вектор x. A "y" число, но лучше действительно так, тут просто цель была показать что y_i не вектор, а число.
3) В тетради, где выводил, было \omega_j, а когда начал переписывать, подумал, что индекс j занят и написал k.
Да, но там везде функция ОДНОЙ переменной, здесь же многих. Как я писал выше, если есть такое решение, то скиньте мне статью/учебник, в общем, то где она описана.
"Хорошо, а чем ваш подход лучше?" — не знаю, возможно, что ничем. Как протестирую напишу. Просто была идея, я ее описал и все. Для небольшого кол-ва входов ожидается бОльшая скорость обучения и возможно, обучение будет точнее.
"Метод Крамера это самый неэффективный метод." — я знаю, я в статье написал, что метод Гаусса лучше.
Хотя там ожидаются матрицы 5х5, 10х10, думаю, и Крамером нормально будет. После тестирования отпишусь.
1) Таких решений для множественной регрессии я не видел(если есть скиньте ссылку на статью).
2) Тут N — это не мощность обучающей выборки, а количество входов, если их около 10, то метод может работать быстрее градиентных.
3) Да это с трудом можно назвать нейронной сетью, просто в дальнейшим планирую писать про обучение с разными ф-ями активации. И отдельно рассмотреть сверточные слои. Просто нужно было от чего-то отталкиваться. А это самый простой пример, не более того.
Имеется ввиду, что методы оптимизации итеративно приближают ошибку к минимуму, т.е. на каждой итерации алгоритм все ближе подходит к минимуму и в общем случае не достигает его. При решении СЛАУ методом Крамера мы сразу получаем значения весов которые приводят в минимум, т.е. при первой прогонки алгоритма.
На слайде показано обучение 2-х слойной НС, зависимость ошибки от итерации.
Я понял в чем ошибка. Иногда использую как синонимы, песептрон и сеть прямого распространения. Вообще да, правильнее это было бы назвать взвешенным сумматором. Сейчас исправлю. Есть идеи по обучению сети с сигмоидальной активационной функцией. Но там не все так однозначно. В ближайшее время думаю выложить.
Зачем Вам перцептрон? Это же глупо, тем более когда база растет. Нейронные сети неспособны мыслить, у Вас там будет просто классификация. Вот мой проект:
Я сам в своем проекте использовал НС.
Но только для синтеза текста из семантического вектора. Для "мышления" использую совсем другие алгоритмы. Сейчас для распознавания голоса тоже НС использую, но не перцептроны, у них очень узкая сфера применения…
Я свой проект пилю уже 5 лет, ну как 5, год пилил потом бросил, а через год заново начал, и до сих пор пилю) Сразу скажу, что вначале была полная лажа, обычный чат-бот. Зато теперь довольно мощная штука. И интерес не угасает, а нарастает. На пред последней сборке выглядел так:
Сейчас разрабатываю модуль логического мышления, через 2-3 месяца сделаю новую сборку.
И если сложный проект, это круто, и чем сложнее тем лучше, это мотивирует изучать новые области.
Да Вы правы, точность возросла, но все равно не так: она стала от 79% до 84%, а там на разных тестах от 78% до 93%. Выборку и количество циклов и начальный шаг не менял.
1) CNN нужно около 1000 образов на класс, так же CNN не имеет расчетных формул и ее архитектура подбирается эмпирически.
2) Если расписать уравнение этой сети, то Вы получите ряд Фурье для многих переменных.
3) Так же я писал, что сеть не доработана. И сейчас я занимаюсь ее доработкой.
4) Сигмоидальная функция в другой модификации, а в первой ее нет. И первая работает так же как и ряд Фурье.
Я тут ничего не могу сказать, перед тем как писать я посмотрел статьи на киберленинке и в гугле гуглил, но так и не нашел статей про сети работающие на основе ряда Фурье. Буду благодарен если Вы приведете ссылку на работу по этой теме.
Я пытался ответить на вопрос, можно ли задачу поставленную тут(https://habrahabr.ru/post/318832) решить лучше с помощью СФ. Оказалось что нет. А почему аппаратный генератор меандра, все просто, реальный сигнал сам себя не повторяет, и мне было интересно как на это отреагирует СФ. Например амплитуда сигнала менялась во время теста 9 раза в среднем на 0.7%(именно тогда и проигрывал СФ).
Спасибо за замечания, сейчас исправлю.
1) Опечатка.
2) Тут i означает i-й вектор x. A "y" число, но лучше действительно так, тут просто цель была показать что y_i не вектор, а число.
3) В тетради, где выводил, было \omega_j, а когда начал переписывать, подумал, что индекс j занят и написал k.
Да, но там везде функция ОДНОЙ переменной, здесь же многих. Как я писал выше, если есть такое решение, то скиньте мне статью/учебник, в общем, то где она описана.
Так тут тоже коэффициенты матрицы рассчитываются по большим наборам данных.
"Хорошо, а чем ваш подход лучше?" — не знаю, возможно, что ничем. Как протестирую напишу. Просто была идея, я ее описал и все. Для небольшого кол-ва входов ожидается бОльшая скорость обучения и возможно, обучение будет точнее.
"Метод Крамера это самый неэффективный метод." — я знаю, я в статье написал, что метод Гаусса лучше.
Хотя там ожидаются матрицы 5х5, 10х10, думаю, и Крамером нормально будет. После тестирования отпишусь.
Квадратная т.к. оба индекса j,k "пробегают" значения от 1 до m. Где m — кол-во входов. k — количество уравнений в системе.
1) Таких решений для множественной регрессии я не видел(если есть скиньте ссылку на статью).
2) Тут N — это не мощность обучающей выборки, а количество входов, если их около 10, то метод может работать быстрее градиентных.
3) Да это с трудом можно назвать нейронной сетью, просто в дальнейшим планирую писать про обучение с разными ф-ями активации. И отдельно рассмотреть сверточные слои. Просто нужно было от чего-то отталкиваться. А это самый простой пример, не более того.
Имеется ввиду, что методы оптимизации итеративно приближают ошибку к минимуму, т.е. на каждой итерации алгоритм все ближе подходит к минимуму и в общем случае не достигает его. При решении СЛАУ методом Крамера мы сразу получаем значения весов которые приводят в минимум, т.е. при первой прогонки алгоритма.
На слайде показано обучение 2-х слойной НС, зависимость ошибки от итерации.
Я понял в чем ошибка. Иногда использую как синонимы, песептрон и сеть прямого распространения. Вообще да, правильнее это было бы назвать взвешенным сумматором. Сейчас исправлю. Есть идеи по обучению сети с сигмоидальной активационной функцией. Но там не все так однозначно. В ближайшее время думаю выложить.
Зачем Вам перцептрон? Это же глупо, тем более когда база растет. Нейронные сети неспособны мыслить, у Вас там будет просто классификация. Вот мой проект:
Я сам в своем проекте использовал НС.
Но только для синтеза текста из семантического вектора. Для "мышления" использую совсем другие алгоритмы. Сейчас для распознавания голоса тоже НС использую, но не перцептроны, у них очень узкая сфера применения…
Я свой проект пилю уже 5 лет, ну как 5, год пилил потом бросил, а через год заново начал, и до сих пор пилю) Сразу скажу, что вначале была полная лажа, обычный чат-бот. Зато теперь довольно мощная штука. И интерес не угасает, а нарастает. На пред последней сборке выглядел так:
Сейчас разрабатываю модуль логического мышления, через 2-3 месяца сделаю новую сборку.
И если сложный проект, это круто, и чем сложнее тем лучше, это мотивирует изучать новые области.
Да Вы правы, точность возросла, но все равно не так: она стала от 79% до 84%, а там на разных тестах от 78% до 93%. Выборку и количество циклов и начальный шаг не менял.
Тогда возникнет ошибка переобучения. Но я по пробую.
Да, но тест показал, что загрузка отдельно мнимых, а отдельно действительных чисел, дает меньшую точность, при прочих равных условиях.
Спасибо за наводку, у меня есть проект на C#, я могу туда подключить tensorflow? А то писать свою CNN слишком накладно.
Я извиняюсь за такой вид! Не умею верстать в этом редакторе. Если подскажете как загружать doсx или pdf файлы — будет здорово. Но я не нашел.
1) CNN нужно около 1000 образов на класс, так же CNN не имеет расчетных формул и ее архитектура подбирается эмпирически.
2) Если расписать уравнение этой сети, то Вы получите ряд Фурье для многих переменных.
3) Так же я писал, что сеть не доработана. И сейчас я занимаюсь ее доработкой.
4) Сигмоидальная функция в другой модификации, а в первой ее нет. И первая работает так же как и ряд Фурье.
Я тут ничего не могу сказать, перед тем как писать я посмотрел статьи на киберленинке и в гугле гуглил, но так и не нашел статей про сети работающие на основе ряда Фурье. Буду благодарен если Вы приведете ссылку на работу по этой теме.
Если Вы за формулы 1-6, то это сделано для получения пространства признаков.
Я вначале в Word писал, а потом отскринил.
Я пытался ответить на вопрос, можно ли задачу поставленную тут(https://habrahabr.ru/post/318832) решить лучше с помощью СФ. Оказалось что нет. А почему аппаратный генератор меандра, все просто, реальный сигнал сам себя не повторяет, и мне было интересно как на это отреагирует СФ. Например амплитуда сигнала менялась во время теста 9 раза в среднем на 0.7%(именно тогда и проигрывал СФ).