• Пришествие бинарных нейронных сетей на основе случайных нейронов и логических функций
    0
    Не обращайте внимания. У mpakep своё понимание слова «переобучение», которое отличается от общепринятого, а также своё представление о бинарных сетях, которые он долго и неудачно пытается пиарить на хабре и в ods.ai.
  • Как странный код скрывает ошибки? Анализ TensorFlow.NET
    +5
    Многие случаи «странного» кода в этом проекте поясняются тем, что код пишется девелоперами оригинального Tensorflow, и многие методы буквально «переводятся» с Python.
    Отсюда заполнения словарей через LINQ — автор кода явно пытался эмулироваться питоновские генераторы, хотя на C# это выглядит крайне неинтуитивно.
    Отсюда же и проверка на is Tensor — в аналогичном методе в питоновской реализации return type неизвестен, потому что в коде Tensorflow нет статических тайп хинтов.

    Пожалуй, в подобных проектах (где разработчикам приходится писать не на своём «естественном» языке программирования) статический анализ кода особенно важен, потому что помимо контроля качества кода он ещё и помогает разработчику выучить новую для него экосистему.
  • Как оценивать интеллект? Подход Google
    +2
    Автор — создатель фреймворка Keras и автор парочки топовых пейперов в области deep learning.
    Говорить, что он «даже в минимальной степени не понимает фундаментальные отличия ML от general AI», как-то самоуверенно.
  • Простое руководство по дистилляции BERT
    +2
    В оригинальной статье наилучшие результаты классификации на SST-2 получаются при a=0, когда модель учится только подражать, не учитывая реальные лейблы.

    Странно, никогда не получалось обучить хорошо сетку с дистилляцией только на лейблах учителя. Обычно выходило хорошо, когда градиенты от учителя и от GT имеют примерно один порядок (куда ближе к a=0.5, как вышло у вас).
    Правда я гонял дистилляцию на CNN и совсем других задачах, но сути это по идее менять не должно.

  • Обучение и оценка модели с Keras
    0

    Скорее наоборот, связка tf+Keras позволяет быстро сделать решение и легко отправить в прод. PyTorch в этом плане пока что хуже. Это подтверждают и всяческие опросы, в которых PyTorch лидирует по статьям и каглу, но Keras+TF на порядок популярнее в плане разработки продакшен моделей.

  • Использование машинного обучения в статическом анализе исходного кода программ
    +3
    Отличный (как, впрочем, и всегда в вашем блоге) пост для демонстрации кейса, в который люди на волне хайпа пытаются вкрутить ML, а он там и не нужен.
  • Декан БГУИР пошёл джуниором в IT-компанию
    +1
    Как препод в ВУЗе могу возразить — донести до других информацию, коей владеешь сам это наука само по себе ибо одно дело знать, а другое дело — рассказать

    Это не противоречит сказанному выше. Это просто значит, что не каждый сеньор сможет быть преподавателем. Но факт остается фактом — для многих предметов в IT-вузах преподаватели должны иметь практический уровень по меньшей мере мидла в соответствующей дисциплине.

    А в реальности всё намного хуже. Преподаватели не владеют не только прикладными предметами, но и теоретическими. В своем ВУЗе уже к третьему курсу я знал большую часть предметов лучше преподавателей, и я думаю, что примерно такая же ситуация происходит в большей части университетов.
  • В каких странах и городах разработчики зарабатывают больше, если учесть налоги и стоимость жизни?
    0
    Мне сложно сравнивать с ситуацией в РФ, потому что я не очень знаю, какие там зарплаты, но по украинским меркам платят очень много: честным трудом с нуля у нас столько ни в какой другой индустрии не заработать.
  • Конец детства: авторское право на произведения, созданные искусственным интеллектом (AI)
    +1
    признание AI субъектом права — это инструмент устранения неопределенности, возникающей в связи с совершением AI действий, не прогнозируемых его создателем

    Ещё раз: это феерический бред.
    Если я бросаю из окна камень, и он неспрогнозированно попадает в голову прохожему, отвечаю за это я.
    Если я реализовал quicksort, в котором выбор pivot делается случайно и зависит от random seed (я подозреваю, что вы не обладаете технической экспертизой в ML, но с классическими алгоритмами-то наверняка знакомы), я не могу точно спрогнозировать его результат, но за результат работы приложения, которое включает этот алгоритм, отвечаю я. И деньги, которые юзеры платят за использование моего приложения, буду получать я. И распоряжаться ими буду я по своему усмотрению.

    Думаю, с этим всем вы согласны?
    Наконец, мы приближаемся к черте, где у вас в голове что-то перемыкает, и вы начинаете повторять глупый баззворд «искусственный интеллект».

    Итак, я строю логистическую регрессию, которая классифицирует какие-то данные для моих пользователей. И, разумеется, я не могу спрогнозировать заранее, каковы будут её предикты, потому что я не знаю, какие данные попадут ей на вход. И всё ещё это просто алгоритм, который я задизайнил для конкретной задачи.
    И сеть, генерирующая картинки, ничем от этого не отличается. Это просто математическая модель распределения точек в довольно сложном и многомерном пространстве изображений.

    При этом, указанное может быть применимо как в weak AI, так и к strong AI, а равно к weak AI (если, конечно, такое будет возможно), который в будущем станет Strong)

    Господи, да прекратите вы уже говорить про strong AI.
    • Его не существует.
    • Он не появится в ближайшие годы.
    • Когда он появится, он скорее всего не будет тем, чем является современный ML.
    • Мы не можем предсказать, какой вид он будет иметь.

    Поэтому все рассуждения о том, как его надо регулировать, в данный момент — это бессмысленные спекуляции и демагогия.
  • В каких странах и городах разработчики зарабатывают больше, если учесть налоги и стоимость жизни?
    0
    Все компании из топ-100 по Украине оформляют сотрудников как ИП.
  • Конец детства: авторское право на произведения, созданные искусственным интеллектом (AI)
    +1
    Ну, вряд ли уж прямо «абсолютно ничего не понимаем» :)

    Без преувеличения складывается такое ощущение.

    В вашем представлении есть искусственный интеллект, и отношение между weak AI и strong AI такое, будто weak AI — это какая-то незавершенная или менее совершенная форма strong AI.

    В реальности же отношение таково, что weak AI — это алгоритмы, такие же, как, скажем, quicksort или binary search, только чуть сложнее, а strong AI — это выдумки писателей-фантастов.
    И когда strong AI появится, он вряд ли будет просто модифицированной или эволюционировавшей версией текущих нейросетей.
  • Конец детства: авторское право на произведения, созданные искусственным интеллектом (AI)
    0
    Возникает ощущение, что мы с автором живем на разных планетах.

    В том мире, где я живу, нейросети, которые радостно упоминает автор (как и куча других алгоритмов машинного обучения, про которые автор, возможно, не знает), являются алгоритмами weak AI и имеют чуть менее, чем никакое, отношение к описанному в статье «искусственному интеллекту».
    К ним неприменимы «стадии взросления», они не могут быть субъектами авторского права (во всяком случае, не в большей мере, чем субъектами права могут быть любые программы), они не могут «зарабатывать деньги, которые будут использоваться для их развития», потому что они просто выполняют поставленную задачу.

    То, о чем говорит автор — это strong AI. Strong AI в ближайшие несколько лет нам не светит, а когда он появится (вернее — если он появится), никто не знает, в каком виде это всё будет. Поэтому всё, описанное в статье — это далекое от реальности теоретизирование, вызванное, вероятно, тем, что автор статьи далёк от мира того, что сейчас называют AI.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Так что апеллирование к тому, что для «кодировщика» не успели добавить значение «архитектура нейросети», это лукавство.

    Какое лукавство? Вы говорите посмотреть слово в словаре, но другой вариант в словаре тоже есть.
    И они оба имеют в словаре не тот смысл, про который мы спорим.
    Вы не привели ни одного, просто ни одного аргумента, показывающего, что писать «автоэнкодер» неправильно, ведь буквально все валидные аргументы применимы к обоим вариантам одинаково.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Учитывая, что в словарях есть слово «кодировщик», а «энкодер» отсутствует, да, этот транслит — не перевод — многими применяется не то что некорректно, а бездумно.

    Если вы потрудитесь заглянуть в толковый словарь, а не в орфографический, то узнаете, что слово «кодировщик» означает вовсе не архитектуру нейросети, а слова «автокодировщик» там тоже нет.
    Как и 90% терминов из deep learning.

    А ещё вы, видимо, невнимательно читаете мои сообщения. Я вам в явном виде выше писал, что слово «энкодер» есть в русских словарях. Другое дело, что оно там тоже значит далеко не нейросетевую архитектуру.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    И пока у «энкодера» не такой катастрофический перевес с точки зрения встречаемости в статьях, я предпочту использовать более «русское» «кодировщик».

    Предпочитайте, это же абсолютно нормальный вариант. Только не навязывайте другим в комментариях свою не обоснованную позицию о том, что второй вариант некорректный.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Вы с поразительным упорством упёрлись не туда. Ещё раз: спор был не про кодер/энкодер с приставкой «эн». Спор был про энкодер/кодировщик с приставкой «авто». Ну или если совсем докапываться до терминов: речь шла об основе кодер/кодировщик, с совсем сопутствующими суффиксами и окончаниями. И приставкой «авто».

    Вы с поразительным упорством спорите с буквальным утверждением, не понимая, что это просто аналогия, чтобы показать, что ваши «авто» и «кодировщик» — тоже иностранные корни, тот самый транслит, который вы так не уважаете.

    Вы правда не понимаете, что «энкодер» — это не перевод, а транслит? И что переводом является именно «кодировщик»?

    Мне кажется, это вы не понимаете, что если в русском языке присутствует заимствованное слово, то хоть оно и является транслитом с английского, оно в то же время является и переводом.

    Вы же не считаете слово «код» транслитом от слова «code», правда? А ведь оно формально является.

    А тут я присоединяюсь к автору поста: буду вместе с ним топить за правильный перевод, а не за ленивую или безграмотную транслитерацию сообщества.

    Какое счастье, что «автоэнкодер» не является неправильным переводом.

    Язык — динамическая штука. Его определяет в конечном итоге народ, который им пользуется. Ещё вчера не существовало феминитивов — сейчас они у многих в обиходе и в украинском, например, вошли в официальные правила языка с этого года.

    Так же и в науке — терминология заимствуется из английского разными путями. И побеждает тот путь, который больше понравился сообществу.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Гхм, мы же не спорили, как лучше — кодер или энкодер, верно? Так при чём тут приставка в английском слове, если речь шла о корне в словах на русском?

    You won't believe it!
    В русском это тоже приставка «эн-». А корень что в «кодер», что в «кодировщик» общий — «код».

    К счастью — или вашему неудовольствию — это пока что не общепринятый термин, и у слова encoder есть устоявшиеся переводы, добавлять ничего нового не требуется. Об этом я писал выше. Как и том, почему защищают транслит.

    Мне кажется, вы слегка ошибаетесь.
    Во-первых, у слова «encoder» есть два устоявшихся перевода: «кодировщик» и «энкодер». Пруф второго можете найти в той же статье на википедии, которую я упомянул выше.
    Во-вторых, перевод «автоэнкодер» действительно не общепринятый, я был не прав с этой формулировкой. Тем не менее, по всем параметрам «автоэнкодер» более используемый, чем «автокодировщик»: по результатам в гугле (7к vs 4к), количеству статей на хабре (75 vs 43), поисковым запросам («автокодировщик» вообще отсутствует), упоминаниям в ODS (25 vs 148).
    Так что, хотите вы этого или нет, в этом вопросе сообщество на стороне автоэнкодера.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Авто — это приставка. Кодировщик/энкодер — корень.

    You won't believe it!
    А спор начался из-за того, что более «русский» вариант не обязательно является правильным. С точки зрения механизмов добавления новых слов в язык оба варианта ок, и вариант «автоэнкодер» является общепринятым.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    Как нормы русского языка могут определять, какой из вариантов приживется? Термины могут заимствоваться из другого языка, могут переводиться.
    Автоэнкодер — это заимствование (транслитерация).
    Автокодировщик — это перевод (причем частичный, ведь мы не говорим самокодировщик, не говоря уж о том, что код — корень иностранного происхождения сам по себе).

    Оба варианта легитимные.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0
    А кто определяет, что он правильный? Вряд ли википедия может являться ground truth.
  • Выявление мошенничества с помощью алгоритмов случайного леса, нейронного автокодировщика и изолирующего леса
    0



    К сожалению, несмотря на то, что «автоэнкодер» — это не по-русски, но этот вариант популярнее. На том же хабре 75 статей с упоминанием автоэнкодеров и всего 43 с автокодировщиками.
    Впрочем, конечно, оба варианта приемлемы.
  • Как стать Data Scientist в 2019 году
    0
    А ещё может случиться так, что вы будете работать в ML, но при этом ни разу не столкнётесь с задачей компьютерного зрения.

    Это просто пример. То же самое работает в 90% областей.

    Но мы ушли далеко от начала разговора, а начался он с того, что перечисленное в статье в общем-то не так важно. Я говорю что важно формальное трудоустройство, вы говорите что важен реальный боевой опыт — но в любом случае не тот список, который нам предлагают.

    И да, и нет. Пункты #1-4 в том списке важны. Пункт #5 важен в любой сфере вообще.
    Другое дело, что помимо этих пунктов есть и ещё важные (в частности опыт).
  • Как стать Data Scientist в 2019 году
    –1
    Извините, а за последние 200 лет что-то изменилось в методике расчёта простой линейной регрессии, например? Или за последние лет 10 кластеризацию по k-средним уже считают не так, как раньше, а я всё пропустил?

    Вы выбрали два алгоритма из того множества алгоритмов, изучаемых в наших ВУЗах, которые реально используются, браво.
    Но есть ещё десяток таких, которые за пределы этого ВУЗа не выходят. А ещё есть два десятка таких, которые вы в ВУЗе не учили, а на самом деле они нужны.

    Грубо говоря, в университете вам пять лет назад дали HOG+SVM для детекции объектов, но если вы попадете на computer vision проект, вы их никогда не увидите. Вместо этого вы увидите Faster R-CNN / SSD, про которые у вас в университете, возможно, и по сей день не слышали.

    Как вы верно подметили, «не хватает опыта в ML» означает «не выполнен формальный критерий документально подтверждённого трудоустройства в компании, которая официально занимается ML».

    Нет, я такого не говорил. Мне кажется, вы искажаете смысл моих слов.
    «Не хватает опыта» — это буквально «не хватает реального боевого опыта, потому что ваш опыт как девелопера / дата инженера не покрывает и половины тех задач, с которыми вы столкнетесь».
  • Как стать Data Scientist в 2019 году
    –1
    Выходит, мне не хватает интуиции / навыков общения — или тут список неполный, и дело в чём-то ещё.

    Полагаю, что не хватает знаний и опыта в ML, потому что «я это в институте и изучал» в реалиях образования в СНГ звучит как «знаю пачку древних алгоритмов, которые никто особо не использует».
  • Временные ряды в прогнозировании спроса, нагрузки на КЦ, товарных рекомендациях и поиске аномалий
    0
    Статья — это как грубо урезанная обработка поста от ODS.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    Ладно, это действительно что-то клиническое. Я не готов продолжать дальше.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    Так и я об этом. НС это игрушка к которой многие аналогии реального мира не подходят.

    Астанавитесь. Если к алгоритму не подходят аналогии реального мира, это не значит, что алгоритм плохой.

    А мы живем в реальном мире и задачи у нас реальные. И задача не приблизить реальный мир к НС а НС заставить быль ближе к окружающему миру. Смотрите лучше на реальные сети а не на «ужимки» нейронной сети за рамки которых не можете выйти.

    Нейросети — это и есть алгоритмы, решающие реальные задачи реального мира.
    Поймите, мы оптимизируем с помощью нейросетей бизнес-метрики и решаем прикладные задачи, а не пытаемся моделировать мозг.

    Я вас спрашивал не о НС а о мозге мухи. Пример показывает что попытки измерить сеть не обязательно нейронную в параметрах абсурдна.

    Нет, пример показывает, что в чьем-то мозгу не хватает нейронов, чтобы осознать, что у нейросети, которая модель машинного обучения, и нейросети, которая у вас в голове, общее только название. Не надо сравнивать ANN с мозгом, черт возьми.

    Опять сейчас скажу непонятную для вашего зашоренного мозга вещь — параметры могут добавляться и уходить прямо во время обучения. То, что я сравниваю постоянно с НС именно так и работает.

    Я не против того, что в вашем алгоритме концепция такая. Я лишь указываю вам на то, что в нейросетях (и когда я пишу «нейросеть», я имею в виду модель глубокого обучения) всё устроено именно так, как я написал.

    А то стопятьсот отписавшихся до вас говорят что у НС нет проблемы. Просто мы с ними не умеем работать. Но что не возьми выясняется что никто даже не берется решать указанные задачи с помощью НС. Парадокс правда ведь?

    Такой же «парадокс», как и то, что никто не берется решать задачу строительства дома с помощью морфологии китайского языка. Надеюсь, фантасмагоричность аллегории до вас дойдет.

    Человеческий мозг это то, к чему нам нужно стремиться. Обсуждать его свойства и думать как их реализовать в некоем подобии НС. Как было уже сказано не раз НС не позволяет пока даже приблизиться к мозгу мухи не говоря уже о человеческом.

    Это полнейшее заблуждение, которое основано только на «интуитивности», разумеется.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    А на чем делают? Есть какой то алгоритм которым можно было бы выполнять стоящие перед нейронными сетями задачи, только более гибко и в значительно большем масштабе? Подскажите. Буду признателен.

    Я спрошу прямо: вы тролль или идиот?
    Вы говорите о детерминированной задаче, реальное решение которой: набить словарь ответами и по ключу доставать данные, из которого они генерируются.
    Её решает фантастически передовой алгоритм хэшмап.

    Всё.

    Нейросети, как и все алгоритмы машинного обучения, предназначены для другого рода задач. Для какого? Человек, выносящий в заголовок поста фразу о том, что он принес новый алгоритм машинного обучения, должен понимать. Не понимаете? Вам сюда. Поучите азы, а потом пишите что-то.

    Всего два свойства озвученные в тексте выше нужно поменять у нейронной сети и она становится пригодной для подобного рода задач, приобретая массу полезных фишечек за попытку озвучить которые меня тут совсем оплюют секта нейронных сетей.

    Ещё раз. Вы упомянули задачу инвертирования необратимого хэша. Её невозможно решить обобщением, её возможно решить только запоминанием.
    Повторяю: н-е-в-о-з-м-о-ж-н-о. Прием, как слышно?

    Если вы придумали алгоритм, который инвертирует стойкие хэши — вам с ним на топовые конференции по криптографии собирать научные награды.
    Вот только я не верю, что вы его придумали. Я скорее верю, что или вы не понимаете какой-то ошибки в собственном же экспериментальном пайплайне из-за невежества, или вы шарлатан.

    Можно было бы сразу в заголовке написать «НС говно» но это была бы откровенная провокация а мы тут не рубиться все собрались а озвучивать проблемы и находить их решения.

    Ваша статья — и есть убогая провокация.
    Прежде, чем писать, что «алгоритм А отстой, у меня есть новый крутой алгоритм Б», надо хотя бы изучить state-of-the-art в той области, которую вы собрались переворачивать.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    Представьте что у вас не нейронная сеть с очень узкой задачей а ну пусть будет реальный мозг мухи.

    Да остановитесь уже, биологическая аналогия не работает в современном deep learning. Сколько раз нужно повторять, чтобы вы услышали?

    В каких параметрах вы ее измериете?

    Размеры нейросетей меряют в количестве обучаемых весов обычно.

    Опять сейчас навалятся что я не понимаю как работает НС. Ну да ладно.

    Осознание проблемы — первый шаг к её решению.

    А вот количество параметров в человеческом мозге не измерить потому что нет такого свойства у реальной сети.

    Хорошо, что человеческий мозг — не алгоритм машинного обучения, а искусственные нейросети — не модели человеческого мозга.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    Разумеется, вы должны прочитать внимательно статью по своей ссылке и увидеть, что 11.2 млрд — это предыдущий рекорд, а текущий — 160 млрд.
    И если учесть, что статья 2015 года, сомневаюсь, что он актуален.

    Впрочем, это я так, чисто придраться к вашему сообщению (потому что вы в очередной раз написали глупость).

    А если отвечать серьезно, то:
    1. Вам уже ответили, что вы не понимаете разницы между обобщением и запоминанием и, соответственно, неправильно выбираете методы.
    2. Вы почему-то меряете размеры сетей «нейронами» (впрочем, не почему-то, а потому что вы всё ещё придерживаетесь бесполезной биологической аналогии), тогда как все сейчас меряют размеры моделей числом параметров.
  • 10 лайфхаков разработки рекомендательных систем
    +2
    Лайфхак №1
    Давайте использовать в матрице товарных предпочтений не только покупки, но и промежуточные действия: клик на карточку, добавление в корзину, оформление заказа.

    Совет довольно очевидный. Обычно до этого люди доходят своим умом. Неочевидная часть, про которую интересно послушать — это как раз таки как конкретно сформировать эти самые «веса» для неявных реакций.

    Лайфхак №8
    Выберете метрику, которую понимаете, как она работает. Пусть простая RMSE, но надежный результат, чем nDCG@K(эта метрика подходит), и случайный результат.

    Очень странный лайфхак. Правильный, на мой взгляд, вариант — изучить метрики и подбирать по ситуации ту метрику, которая хорошо бы коррелировала с бизнес-метриками (а в идеале была бы ещё и хорошо интерпретируемой).
    RMSE — как раз в большинстве случаев неудачная метрика для рекомендаций / персонализации.
  • Блиц-проверка алгоритмов машинного обучения: скорми свой набор данных библиотеке scikit-learn
    0

    Это конструктив — мы привели вам пачку примеров того, на что можно и нужно смотреть в реальности.


    И, да, есть ситуации, где надо быстро понять примерно, какой алгоритм использовать для набора данных. Но никто в этой ситуации не делает "from sklearn import *". Вместо этого перебирают две-три модели, согласно опыту и здравому смыслу подходящие под данные, а их уже тюнят (в смысле — подбирают гиперпараметры и так далее).

  • Блиц-проверка алгоритмов машинного обучения: скорми свой набор данных библиотеке scikit-learn
    0
    то по вашему отверждению получается, что можно «докинуть качества в 2 раза» и достичь тем самым 1.7? Это как?)

    Во-первых, очевидно, что «в два раза» — это была фигура речи. Во-вторых, если что, на таких значениях метрики под улучшением порой подразумевают снижение error rate. То есть, 90% accuracy -> 95% accuracy зачастую могут позиционировать таким образом.

    Я в целом соглашусь с оратором выше.
    Ни подход «забросить пачку датасетов в свой алгоритм», ни подход «забросить в пачку алгоритмов свой датасет» не демонстрируют реальных результатов.
    Каждая модель требует своего варианта подачи данных, и хороший ресерчер априорно знает, что, грубо говоря, сетки хорошо работают с неструктурированными данными, бустинг умеет сам хэндлить пропуски и категориальные переменные (их не надо энкодить или эмбедить вручную), а логрег пригодится, если надо моделировать не очень сложные данные и нужна интерпретируемость (но на вход логрегу фичи придется скейлить, а категории кодировать, чего опять таки не нужно деревянным ансамблям), и так далее.
  • Двоичный алгоритм машинного обучения с динамической структурой
    –1
    Неужели без исходного кода никак?

    Ух, у меня уже начинает бомбить.
    Нет, никак, потому что вы отвратительно разбираетесь в ML и почти наверняка наговнокодили что-то некорректное в ваших экспериментах.

    Я уже предложил вам вариант проверки на объективном адекватном холдауте, который может впечатлить широкую аудиторию без выкладывания кода — это конкурсы на кагле.
    Но нет, «не хочу на реальных данных тестить, хочу херней страдать».

    Со знакомыми редко удается обсудить проблемы машинного обучения и какой нибудь очередной алгоритм дата майнинга.

    Не сомневаюсь. Не думаю, что вашим знакомым очень интересно обсуждать ML с человеком, который считает, что главный критерий выбора модели — это ошибка на трейне.
  • Двоичный алгоритм машинного обучения с динамической структурой
    –1
    Конечно будет. Я даже не сомневаюсь.

    *не
    Конечно не будет.

    Вот кстати очень удачно вышел пост по проверке разного типа сетей.

    Это не влияет на суть, но я уточню, что там сравниваются не сети и не на реальных данных.

    Я уже начал расчитывать сеть биморф.рф/bmf/wine результаты отображу справа буквально через час. Плюс могу лог отобразить прогресс сети. Должно быть интересно.

    Да что вы там отображаете, господи, до вас до сих пор не доходит, зачем нужно тестовую выборку использовать, а мы всё ещё обсуждаем какие-то идиотские метрики на вашем кривом сайте?

    Самый большое результат это 0.976~97% на обучении и 0.990~99% на тесте. Если мне удасться расчитать эту сеть на 100% это будет хорошим результатом?

    Это будет весьма неплохим результатом, если вы выложите код, чтобы мы смогли убедиться, что вы делаете честную валидацию.
    Пока есть ощущение, что вы там под капотом делаете какую-то хрень, доверять которой нельзя.

    Впрочем, повторюсь, это игрушечный датасет. Идите на кагл, заходите в реальный конкурс, показывайте крутость своего алгоритма. Всё остальное с вашей стороны — булщит.

    Кстати, написано, что только один алгоритм RDA смог достигнуть 100% точности

    Сейчас бы цитировать статьи 92 года. Знаете, почему никто на таких датасетах ничего не тестирует сейчас? Во-первых, потому что бустинг такие датасеты решает с околостопроцентной точностью с полпинка. Во-вторых, потому что разница точности между 99.5% и 100% на датасете в пару тысяч семплов не статистически значима.

    Вообще начинает надоедать с вами спорить. Ваши узколобость и нежелание принимать любые практики и результаты, которые не демонстрируют превосходство вашего алгоритма, раздражают.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    И проверку работы сети выборками которую все считают эталонным я считаю в корне непраивльной.

    *жидкие апплодисменты аудитории*
    Вы просто докидываете тестовую выборку и он ее дообучает увеличивая свою сеть до нужных 200 нейровно.

    Вы понимаете, что вам не нужно, чтобы модель работала на данных, которые она видела? Для этого можно просто завести словарь «данные-ответ». Вам нужно, чтобы модель работала на данных, которые ей показаны не были — на тестовой выборке, которую нельзя просто взять и докинуть в модель.

    Тестовые выборки необходимы только на алгоритмах которые не смогут дообучить ее при необходимости.

    Нет, господи, нет, тестовые выборки необходимы для любых алгоритмов, которые мы хотим отправить в прод и ожидаем, что в проде они будут работать так же хорошо, как в наших экспериментах.
  • Если у Вас нет Питона, но есть Керас-модель и Джава
    +1
    В продуктовых, где предлагается коробочное решение с высокой тиражируемостью это не лучшее решение с точки зрения архитектуры, поддержки, развертывания.

    Это отличное решение при условии, что и остальная часть продукта соответствует этой архитектуре, а поставляется всё это дело контейнерами.
  • Двоичный алгоритм машинного обучения с динамической структурой
    0
    Ещё раз: шанс победить у вас есть, никто юридически не обязывает вас открывать алгоритм после победы.

    Ну вообще это зависит от конкурса. В большинстве случаев победитель должен предоставить код организаторам под permissive лицензией, если не хочет быть удаленным с лидерборда.
    Впрочем, во многих конкурсах это несет в себе только цель отсеять читеров (которые использовали прямо запрещенные лики, ручную разметку и так далее).
  • Если у Вас нет Питона, но есть Керас-модель и Джава
    +1
    Некоторые популярные фреймворки для нейронных сетей имеют порты для Java в виде JNI/JNA биндингов, но в таком случае возникает необходимость в сборке проекта под каждую архитектуру и преимущество Java в вопросе кроссплатформенности размывается. Этот нюанс может быть крайне важным в тиражируемых решениях.

    Другой альтернативный подход — использование Jython для компиляции в байт-код Java; но и здесь есть недостаток — поддержка только 2-ой версии Python, а также ограниченность по возможности использования сторонних Python-библиотек.

    Третий подход — наклепать за день микросервис на фласке и вызывать его.
  • Оценка влияния искусственного интеллекта на оффшорную нефть и газ
    0
    Argumentum ad hominem вместо того, чтобы признать стабильно позорное качество ваших переводов. Браво.