Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Дробное дифференцирование (необязательно по базису синусов-косинусов, но это отдельный вопрос) бывает полезно в анализе временных рядов: у нулевой производной много памяти по истории, а у первой - (бывает) предсказуемое поведение.
Что-то посередине может организовать пакет (python) fracdiff. Даже степень подбирать умеет.
Кстати, еще такая мысль. Если сетка была бы рекуррентной, или трансформер с positional encoding, они Тьюринг полные, то при хорошем качестве прогнозов, на уровне человека или лучше, можно было бы свидетельствовать в пользу Тезиса Черча (о том что интуитивно вычислимые функции частично рекурсивны, то есть решаются машиной Тьюринга). В классе стратегических задач
Идея отличная сама по себе. Сетку помощнее бы, и датасет.
Идея нравится тем, что сеть имплицитно в своих весах находит и вес фигур, и вес конкретных ситуаций. Первый слой мог бы быть embeddings layer технически.
Мы же конечно знаем, что шахматы имеют конечное дерево игры, но тут важно что его можно приблизительно экстраполировать до финала.
С точки зрения математики, отсутствие "симметрии" для коэффициентов регрессии следует из того шум сгенерирован не во всем пространстве <X, Y>, а только в пространстве X. Кстати привычные реальные данные генерируются не условным, а совместным распределением.
Попробуйте повторить с двумя переменными, т.е. Z = aX + bY + eps. И другой вариант: ln(Z) = тоже самое. Симметрии даже рядом не будет ожидаться. А если генерировать <y + N(0,1), x + N(0,1), z(x, y) + N(0,1)>...
И еще, строго говоря, если y = f(x), x = f-1(y), то не следует что x + eps = f(f-1(x))
Спасибо за ссылку на статью по Тьюринг-полноте трансформеров. Нужно было.
В остальном сам много схожего думаю. Но мысль, что хорошая модель повторяет data generation process не нова (и более того, так устроена математика - если что-то совпадает по выходу и по входу - ну оно эквивалентно в смысле выходов и входов. Теорема Вейерштрасса об аппроксимации например).
А так, на правах шутки, продолжая логику, можно придумать что искуственный интеллект должна родить искусственная мама по проекту искусственного папы.
А вы дайте ребенку чёрную и белую коробки, и давайте складывать чёрные и белые шарики. Посмотрите на его реакцию, когда дадите ему красный :)
класс кстати достаточно искусственное понятие. как в человека есть пределы (контроля ситуации), так и у сеток могут быть полочки с очень большим запасом. да и на крайняк есть такая штука как деление отрезка на не заданное заранее число частей - можно прогнозировать сам номер класса, безо всяких OHE.
где-то промелькивала инфа, что за секунду человек глазами воспринимает 21 Гб. инфа не сотка, но масштаб я думаю больше даже. это к вопросу о запасах в полочках- несравнимо еще больше.
fit на новых данных, есть гипотеза (в книге у Гудфеллоу например), происходит во сне,
обобщение есть всегда, только оно не всегда качественное. люди например тоже много в чем ошибаются.
в целом я не солидарен с гуманитариями, которые используют понятие интеллект как левая нога им в голову стукнет. я бы определял интеллект как "нахождение решения задач агента в среде". отличает человека от амебы (см. эволюционная эпистемология) в процессе errors and trials как раз наличие обучаемых репрезентаций, эмбеддингов. в частности естественный язык - это такая репрезентация.
то что в квадратных скобках как раз интеллект, если его убрать, получим муху с рефлексами. обучение это рефлексия - бэкпроп, он всегда partial.
репрезентации позволяют коммуницировать. это необязательно слова - хоть танец пчел, хоть геометрические формы, многообразно.
теперь от пчел к решению задачи агента в среде методом автокодирования.
сила интеллекта (опыт, кругозор и типа всего этого) тем выше - чем ниже ошибка автокодировщика. а она тем ниже, чем круче эмбеддинг. решение задачи - это поиск в пространстве репрезентаций. интеллект математически - это пространство представлений состояний среды (состояние включает в себя динамику). вариант в пространстве состояний по запросу (ближайший по косинусу или другой метрике, или как query-key-value) - и есть ответ.
Вот уж точно, призрак. Спасибо. То, что вы описываете, немного выглядит как автоматическая машина для обучения нейросетей. Может даже графов из них.
Если нужно, чтобы алгоритм обучался - почему нет датасетов, где учат учиться? Предобучил учиться, а потом сама пусть учится на практике. Только на практике reward is enough - обучение с подкреплением уже вполне развито.
И кстати претензия что сеть, полученная на кошках и собаках, сломается на попугаях - такую же можно и человек предъявить: интегралы и дифференциалы какой-нибудь человек скажем считать умеет, а как оперировать почки - не знает. Для человека это нормально, а сетки почему-то неполноценны из этого (несправедливо).
Согласен, кстати это не противоречит тому что я написал. Кроме физики есть системы еще, которые и на новую математику поправки делать начинают, "мир" меняется постоянно. Поэтому чтобы оставаться на месте, нужно постоянно бежать :)
Математика - универсальный язык описания наблюдений. И, в частности, из-за своего универсализма, он гораздо богаче отдельно взятых явлений и/или процессов.
Про реальность все додумки лишние, вязкая философия.
То что математика инструментальна сомнений у инженеров не вызывает. Сомневаются только те, кто не применяет (каждый день). Гуманитарии например.
Прогнозы (если обсуждать что) не всегда сбываются - это часто проблема концептуальных моделей, в которых учтено лишь то что учтено (все хотят интепретируемости, но это далеко не всегда возможно).
Перестановочные симметрии как факт были подмечены +/- давно. Skip Connections делает лосс более гладким, особенно в случае ступенчатых активаций, но главное - не таким резким по ландшафту.
Перестановочные симметрии приводят к избыточности параметрического пространства, и skip connection тоже регуляризация, как и dropout, который это пространство нарезает на подпространства.
Я сейчас к тому, что все так, да. И еще...
Эффект хорошей генерализации, как мне видится, имеет такую причину. Регуляризация от skip connections, в отличие от енкодеров-декодеров, или просто сужающихся сеток, является некоторым аналогом, простите, бустинга, который как известно, тоже аппроксиматор. То есть с каждым стэком инпут дополняется информацией, а не просто интерпретируется в подбираемом латентном пространстве. Подбирается дополнительное пространство к инпуту, как если бы человек говорил "на этой картине изображены Петька и Василий Иванович", а не просто "здесь Петька, а здесь Василий Иванович". И генерализация обуславливается тем, что к концу сетки мы не потеряли информацию о том, что это картина всё-таки (например). у Гудфедлоу это называется медленный признак.
Дискусионно все это конечно... извините за простыню текста.
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Посмотрите deepdoctection
Если проекты не рассматривать в масштабе инвестиционных, то да, так часто бывает
Отвечая на поставленный в заголовке вопрос. У компании столько проектов, сколько у неё руководителей проектов. ну там на константу может помножить.
Feasible - это допустимое решение. Хорошо поставленная задача должна давать решению статус optimal.
Ну и с нэймингом стоит поработать... А в целом хорошо что вытащили на свет ortools - так-то годный очень пакет.
Дробное дифференцирование (необязательно по базису синусов-косинусов, но это отдельный вопрос) бывает полезно в анализе временных рядов: у нулевой производной много памяти по истории, а у первой - (бывает) предсказуемое поведение.
Что-то посередине может организовать пакет (python) fracdiff. Даже степень подбирать умеет.
Для быстрой расширяемости берите zero shot classification модели с huggingface. joeddav/xlm-roberta-large-xnli например.
В принципе, chat gpt тут не вижу что нужен. И для русского языка (речь в текст) весьма недурно работает vosk.
Кстати, еще такая мысль. Если сетка была бы рекуррентной, или трансформер с positional encoding, они Тьюринг полные, то при хорошем качестве прогнозов, на уровне человека или лучше, можно было бы свидетельствовать в пользу Тезиса Черча (о том что интуитивно вычислимые функции частично рекурсивны, то есть решаются машиной Тьюринга). В классе стратегических задач
Идея отличная сама по себе. Сетку помощнее бы, и датасет.
Идея нравится тем, что сеть имплицитно в своих весах находит и вес фигур, и вес конкретных ситуаций. Первый слой мог бы быть embeddings layer технически.
Мы же конечно знаем, что шахматы имеют конечное дерево игры, но тут важно что его можно приблизительно экстраполировать до финала.
Без всяких reinforcement learning.
С точки зрения математики, отсутствие "симметрии" для коэффициентов регрессии следует из того шум сгенерирован не во всем пространстве <X, Y>, а только в пространстве X. Кстати привычные реальные данные генерируются не условным, а совместным распределением.
Попробуйте повторить с двумя переменными, т.е. Z = aX + bY + eps. И другой вариант: ln(Z) = тоже самое. Симметрии даже рядом не будет ожидаться. А если генерировать <y + N(0,1), x + N(0,1), z(x, y) + N(0,1)>...
И еще, строго говоря, если y = f(x), x = f-1(y), то не следует что x + eps = f(f-1(x))
Спасибо за ссылку на статью по Тьюринг-полноте трансформеров. Нужно было.
В остальном сам много схожего думаю. Но мысль, что хорошая модель повторяет data generation process не нова (и более того, так устроена математика - если что-то совпадает по выходу и по входу - ну оно эквивалентно в смысле выходов и входов. Теорема Вейерштрасса об аппроксимации например).
А так, на правах шутки, продолжая логику, можно придумать что искуственный интеллект должна родить искусственная мама по проекту искусственного папы.
А вы дайте ребенку чёрную и белую коробки, и давайте складывать чёрные и белые шарики. Посмотрите на его реакцию, когда дадите ему красный :)
класс кстати достаточно искусственное понятие. как в человека есть пределы (контроля ситуации), так и у сеток могут быть полочки с очень большим запасом. да и на крайняк есть такая штука как деление отрезка на не заданное заранее число частей - можно прогнозировать сам номер класса, безо всяких OHE.
где-то промелькивала инфа, что за секунду человек глазами воспринимает 21 Гб. инфа не сотка, но масштаб я думаю больше даже. это к вопросу о запасах в полочках- несравнимо еще больше.
чернейший из всех ящиков
я с вами солидарен.
fit на новых данных, есть гипотеза (в книге у Гудфеллоу например), происходит во сне,
обобщение есть всегда, только оно не всегда качественное. люди например тоже много в чем ошибаются.
в целом я не солидарен с гуманитариями, которые используют понятие интеллект как левая нога им в голову стукнет. я бы определял интеллект как "нахождение решения задач агента в среде". отличает человека от амебы (см. эволюционная эпистемология) в процессе errors and trials как раз наличие обучаемых репрезентаций, эмбеддингов. в частности естественный язык - это такая репрезентация.
то есть интеллект устроен как
"состояние среды: прошлое, настоящее, экстраполированное будущее" -> биологический алгоритм -> [веса] -> [репрезентация] -> [веса] -> [прогноз обновлённой среды] -> биологический алогритм -> действие -> ...
то что в квадратных скобках как раз интеллект, если его убрать, получим муху с рефлексами. обучение это рефлексия - бэкпроп, он всегда partial.
репрезентации позволяют коммуницировать. это необязательно слова - хоть танец пчел, хоть геометрические формы, многообразно.
теперь от пчел к решению задачи агента в среде методом автокодирования.
сила интеллекта (опыт, кругозор и типа всего этого) тем выше - чем ниже ошибка автокодировщика. а она тем ниже, чем круче эмбеддинг. решение задачи - это поиск в пространстве репрезентаций. интеллект математически - это пространство представлений состояний среды (состояние включает в себя динамику). вариант в пространстве состояний по запросу (ближайший по косинусу или другой метрике, или как query-key-value) - и есть ответ.
universe unsupervised by design )
Вот уж точно, призрак. Спасибо. То, что вы описываете, немного выглядит как автоматическая машина для обучения нейросетей. Может даже графов из них.
Если нужно, чтобы алгоритм обучался - почему нет датасетов, где учат учиться? Предобучил учиться, а потом сама пусть учится на практике. Только на практике reward is enough - обучение с подкреплением уже вполне развито.
И кстати претензия что сеть, полученная на кошках и собаках, сломается на попугаях - такую же можно и человек предъявить: интегралы и дифференциалы какой-нибудь человек скажем считать умеет, а как оперировать почки - не знает. Для человека это нормально, а сетки почему-то неполноценны из этого (несправедливо).
Согласен, кстати это не противоречит тому что я написал. Кроме физики есть системы еще, которые и на новую математику поправки делать начинают, "мир" меняется постоянно. Поэтому чтобы оставаться на месте, нужно постоянно бежать :)
Математика - универсальный язык описания наблюдений. И, в частности, из-за своего универсализма, он гораздо богаче отдельно взятых явлений и/или процессов.
Про реальность все додумки лишние, вязкая философия.
То что математика инструментальна сомнений у инженеров не вызывает. Сомневаются только те, кто не применяет (каждый день). Гуманитарии например.
Прогнозы (если обсуждать что) не всегда сбываются - это часто проблема концептуальных моделей, в которых учтено лишь то что учтено (все хотят интепретируемости, но это далеко не всегда возможно).
Перестановочные симметрии как факт были подмечены +/- давно. Skip Connections делает лосс более гладким, особенно в случае ступенчатых активаций, но главное - не таким резким по ландшафту.
Перестановочные симметрии приводят к избыточности параметрического пространства, и skip connection тоже регуляризация, как и dropout, который это пространство нарезает на подпространства.
Я сейчас к тому, что все так, да. И еще...
Эффект хорошей генерализации, как мне видится, имеет такую причину. Регуляризация от skip connections, в отличие от енкодеров-декодеров, или просто сужающихся сеток, является некоторым аналогом, простите, бустинга, который как известно, тоже аппроксиматор. То есть с каждым стэком инпут дополняется информацией, а не просто интерпретируется в подбираемом латентном пространстве. Подбирается дополнительное пространство к инпуту, как если бы человек говорил "на этой картине изображены Петька и Василий Иванович", а не просто "здесь Петька, а здесь Василий Иванович". И генерализация обуславливается тем, что к концу сетки мы не потеряли информацию о том, что это картина всё-таки (например). у Гудфедлоу это называется медленный признак.
Дискусионно все это конечно... извините за простыню текста.
открою "секрет" как бороться с заказчиками, которым всегда мало.
прейскурант (в терминах социализма) на базовые коробочные решения при удовлетворении требованиям к харду,
почасовая (подневная) оплата за все что сверху. хочешь быстрее - плати больше,
баги конкретно разработчика (именно баги) год правятся бесплатно.
отрезвляет и подрядчиков, и заказчиков.
Рассмотрите для полноты mmocr.
У меня в проде чудеса показывает. Не за час, но и домен посложнее. Сразу пробуйте топовые модели оттуда. Например detector DRRG + recognizer SAR