Ну... Ничего нового. Посмотрите скажем на visiology. Более того... Дашборд можно составлять (и нужно) из сохраненных запросов.
text2sql простая задача без всяких data science при наличии метаданных к базе (просто появляется sql builder), просто на одних только ближайших или intent+ner.
Хотя направление мысли мне нравится. Если будет open source продукт chat with data, типа visGPT без OpenAI и self-hosted... прямо джва (четыре по факту) года жду
Я не то чтобы гарантирую... Но в целом разница вот в чем. В одном случае энергию добывают, а во втором расходуют. Первое всегда было сложнее.
Плюсом к электросеньору то, что его работа не умопомрачительно уникальна, ее можно алгоритмизировать и дополнить (техническим) кругозором. Это делают large language models все лучше и лучше.
Научное изобретение, прорыв для цивилизации, алгоритмизировать наверное нельзя
У архитектуры конечно же роль больше - потому что процедуры by design решают одну и ту же задачу, а архитектуры - разные. У Microsoft даже была архитектура neural architecture search. Перформила вполне до трансформеров.
В принципе трансформеры перформят потому attention - он человекоподобен (размечает кто?..). На физических задачах скажем, есть свои ноу-хау, как и в тех же экономических.
Ваша находка так или иначе впечатлила - кодирование архитектуры с некоторыми свойствами. Нет уверенности, однако, что только архитектура достаточна для перфоманса, я об этом.
В продолжение (топологической) мысли - процедуру было бы идеально переложить в теорию узлов и зацеплений, которая различает только количество путей из одной точки в другую. То есть оптимизатор мог бы разветвляться на разные траектории. Это не то чтобы из разряда фантазий, скорее некоторая намётка.
Вкратце: рельеф лосс-функции - результат архитектуры, но ввиду наших слабых вычислительных возможностей, имело бы смысл иметь топологические инварианты именно рельефа функции потерь, и идеально если бы они содержательно вязались бы с инвариантами архитектур
Чуть дополню себя. Теорема странноватая, а вывод и без нее понятный...
Понятно что один слой с relu даст линейное преобразование практически - из-за bias. То что нелинейность важна - так в этом и суть сеток. Все это про частный случай сеток - которые и появились для нелинейности.
Но сама идея x + sin(x)**2 отличная, есть где поиграться. Я как-нибудь попробую relu(x + alpha * sin(x / alpha)**2). Рассчитываю что докинет, причем в более мелкую сетку.
Что-то не очень исправило. Примеры из статьи на тоненького.
Естественно сетки интерполируют, как и все остальные алгоритмы. И брать тощую сетку и делать глобальные выводы... Спорно. К тому же есть два момента
рекуррентные выучивают периодические паттерны, и трансформеры тоже. Кстати они Тьюринг-полные, хотя и на relu, и это важно по мне как. Они выучивают "программу дата генерации",
экстраполяция - это та же интерполяция, только в пространстве без дрейфа. Статья - попытка перейти в это пространство. Не специфицируя его явно. Этим она хороша.
От прочтения вашей статьи тем не менее удовольствие испытал, и обогатился идеями, спасибо
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Дробное дифференцирование (необязательно по базису синусов-косинусов, но это отдельный вопрос) бывает полезно в анализе временных рядов: у нулевой производной много памяти по истории, а у первой - (бывает) предсказуемое поведение.
Что-то посередине может организовать пакет (python) fracdiff. Даже степень подбирать умеет.
Кстати, еще такая мысль. Если сетка была бы рекуррентной, или трансформер с positional encoding, они Тьюринг полные, то при хорошем качестве прогнозов, на уровне человека или лучше, можно было бы свидетельствовать в пользу Тезиса Черча (о том что интуитивно вычислимые функции частично рекурсивны, то есть решаются машиной Тьюринга). В классе стратегических задач
Идея отличная сама по себе. Сетку помощнее бы, и датасет.
Идея нравится тем, что сеть имплицитно в своих весах находит и вес фигур, и вес конкретных ситуаций. Первый слой мог бы быть embeddings layer технически.
Мы же конечно знаем, что шахматы имеют конечное дерево игры, но тут важно что его можно приблизительно экстраполировать до финала.
Ну... Ничего нового. Посмотрите скажем на visiology. Более того... Дашборд можно составлять (и нужно) из сохраненных запросов.
text2sql простая задача без всяких data science при наличии метаданных к базе (просто появляется sql builder), просто на одних только ближайших или intent+ner.
Хотя направление мысли мне нравится. Если будет open source продукт chat with data, типа visGPT без OpenAI и self-hosted... прямо джва (четыре по факту) года жду
Можно вам предложить присмотреться к
https://www.marqo.ai/
?
Я не то чтобы гарантирую... Но в целом разница вот в чем. В одном случае энергию добывают, а во втором расходуют. Первое всегда было сложнее.
Плюсом к электросеньору то, что его работа не умопомрачительно уникальна, ее можно алгоритмизировать и дополнить (техническим) кругозором. Это делают large language models все лучше и лучше.
Научное изобретение, прорыв для цивилизации, алгоритмизировать наверное нельзя
У архитектуры конечно же роль больше - потому что процедуры by design решают одну и ту же задачу, а архитектуры - разные. У Microsoft даже была архитектура neural architecture search. Перформила вполне до трансформеров.
В принципе трансформеры перформят потому attention - он человекоподобен (размечает кто?..). На физических задачах скажем, есть свои ноу-хау, как и в тех же экономических.
Ваша находка так или иначе впечатлила - кодирование архитектуры с некоторыми свойствами. Нет уверенности, однако, что только архитектура достаточна для перфоманса, я об этом.
В продолжение (топологической) мысли - процедуру было бы идеально переложить в теорию узлов и зацеплений, которая различает только количество путей из одной точки в другую. То есть оптимизатор мог бы разветвляться на разные траектории. Это не то чтобы из разряда фантазий, скорее некоторая намётка.
Вкратце: рельеф лосс-функции - результат архитектуры, но ввиду наших слабых вычислительных возможностей, имело бы смысл иметь топологические инварианты именно рельефа функции потерь, и идеально если бы они содержательно вязались бы с инвариантами архитектур
Сходимость зависит не только от архитектуры, но и от процедуры.
Кстати, уверен вам будет интересно ознакомиться с концепцией ограниченной машины Больцмана
Unet тут был правильным выбором, заводится с десятков примеров.
С точки зрении теории это потому что каждый пиксель считай пример. С object detection такой номер не пройдет...
Картинка круть) в принципе для SAM есть FastSAM и MobileSAM вариации.
Задачу с котом конечно они не решат. Тут можно и yolov8-seg приплести бы... А можно и как выше рекомендовали, классификатор контуров какой.
Можно докидывать эвристик ("котлеты в центре", "движется в сцене только кошка" - background subtraction), но понятно, на другой сцене они развалятся.
Лично я бы заряжал конкретно в этой задаче yolov8n-seg, table или/и plate вроде есть в coco (могу ошибаться).
Более абстрактно если подходить... Технически контуры от SAM можно эмбеддить и иметь базу ближайших, считай knn, но в плане инференса это недешево.
Прочитал с интересом. Как идею могу предложить - посмотреть на dynamic time warping (статистики из него в качестве фич).
Чуть дополню себя. Теорема странноватая, а вывод и без нее понятный...
Понятно что один слой с relu даст линейное преобразование практически - из-за bias. То что нелинейность важна - так в этом и суть сеток. Все это про частный случай сеток - которые и появились для нелинейности.
Но сама идея x + sin(x)**2 отличная, есть где поиграться. Я как-нибудь попробую relu(x + alpha * sin(x / alpha)**2). Рассчитываю что докинет, причем в более мелкую сетку.
Что-то не очень исправило. Примеры из статьи на тоненького.
Естественно сетки интерполируют, как и все остальные алгоритмы. И брать тощую сетку и делать глобальные выводы... Спорно. К тому же есть два момента
рекуррентные выучивают периодические паттерны, и трансформеры тоже. Кстати они Тьюринг-полные, хотя и на relu, и это важно по мне как. Они выучивают "программу дата генерации",
экстраполяция - это та же интерполяция, только в пространстве без дрейфа. Статья - попытка перейти в это пространство. Не специфицируя его явно. Этим она хороша.
От прочтения вашей статьи тем не менее удовольствие испытал, и обогатился идеями, спасибо
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Посмотрите deepdoctection
Если проекты не рассматривать в масштабе инвестиционных, то да, так часто бывает
Отвечая на поставленный в заголовке вопрос. У компании столько проектов, сколько у неё руководителей проектов. ну там на константу может помножить.
Feasible - это допустимое решение. Хорошо поставленная задача должна давать решению статус optimal.
Ну и с нэймингом стоит поработать... А в целом хорошо что вытащили на свет ortools - так-то годный очень пакет.
Дробное дифференцирование (необязательно по базису синусов-косинусов, но это отдельный вопрос) бывает полезно в анализе временных рядов: у нулевой производной много памяти по истории, а у первой - (бывает) предсказуемое поведение.
Что-то посередине может организовать пакет (python) fracdiff. Даже степень подбирать умеет.
Для быстрой расширяемости берите zero shot classification модели с huggingface. joeddav/xlm-roberta-large-xnli например.
В принципе, chat gpt тут не вижу что нужен. И для русского языка (речь в текст) весьма недурно работает vosk.
Кстати, еще такая мысль. Если сетка была бы рекуррентной, или трансформер с positional encoding, они Тьюринг полные, то при хорошем качестве прогнозов, на уровне человека или лучше, можно было бы свидетельствовать в пользу Тезиса Черча (о том что интуитивно вычислимые функции частично рекурсивны, то есть решаются машиной Тьюринга). В классе стратегических задач
Идея отличная сама по себе. Сетку помощнее бы, и датасет.
Идея нравится тем, что сеть имплицитно в своих весах находит и вес фигур, и вес конкретных ситуаций. Первый слой мог бы быть embeddings layer технически.
Мы же конечно знаем, что шахматы имеют конечное дерево игры, но тут важно что его можно приблизительно экстраполировать до финала.
Без всяких reinforcement learning.