Это очень здорово! А есть в формате статьи? Интересны детали, как кластеризовали, как на сферу укладывали, как обратно разворачивали. И как графы в этом поучаствовали.
Вообще я для подобного использовал всегда VAE. Но тут похоже вы придумали что-то лучше
Ну... Ничего нового. Посмотрите скажем на visiology. Более того... Дашборд можно составлять (и нужно) из сохраненных запросов.
text2sql простая задача без всяких data science при наличии метаданных к базе (просто появляется sql builder), просто на одних только ближайших или intent+ner.
Хотя направление мысли мне нравится. Если будет open source продукт chat with data, типа visGPT без OpenAI и self-hosted... прямо джва (четыре по факту) года жду
Я не то чтобы гарантирую... Но в целом разница вот в чем. В одном случае энергию добывают, а во втором расходуют. Первое всегда было сложнее.
Плюсом к электросеньору то, что его работа не умопомрачительно уникальна, ее можно алгоритмизировать и дополнить (техническим) кругозором. Это делают large language models все лучше и лучше.
Научное изобретение, прорыв для цивилизации, алгоритмизировать наверное нельзя
У архитектуры конечно же роль больше - потому что процедуры by design решают одну и ту же задачу, а архитектуры - разные. У Microsoft даже была архитектура neural architecture search. Перформила вполне до трансформеров.
В принципе трансформеры перформят потому attention - он человекоподобен (размечает кто?..). На физических задачах скажем, есть свои ноу-хау, как и в тех же экономических.
Ваша находка так или иначе впечатлила - кодирование архитектуры с некоторыми свойствами. Нет уверенности, однако, что только архитектура достаточна для перфоманса, я об этом.
В продолжение (топологической) мысли - процедуру было бы идеально переложить в теорию узлов и зацеплений, которая различает только количество путей из одной точки в другую. То есть оптимизатор мог бы разветвляться на разные траектории. Это не то чтобы из разряда фантазий, скорее некоторая намётка.
Вкратце: рельеф лосс-функции - результат архитектуры, но ввиду наших слабых вычислительных возможностей, имело бы смысл иметь топологические инварианты именно рельефа функции потерь, и идеально если бы они содержательно вязались бы с инвариантами архитектур
Чуть дополню себя. Теорема странноватая, а вывод и без нее понятный...
Понятно что один слой с relu даст линейное преобразование практически - из-за bias. То что нелинейность важна - так в этом и суть сеток. Все это про частный случай сеток - которые и появились для нелинейности.
Но сама идея x + sin(x)**2 отличная, есть где поиграться. Я как-нибудь попробую relu(x + alpha * sin(x / alpha)**2). Рассчитываю что докинет, причем в более мелкую сетку.
Что-то не очень исправило. Примеры из статьи на тоненького.
Естественно сетки интерполируют, как и все остальные алгоритмы. И брать тощую сетку и делать глобальные выводы... Спорно. К тому же есть два момента
рекуррентные выучивают периодические паттерны, и трансформеры тоже. Кстати они Тьюринг-полные, хотя и на relu, и это важно по мне как. Они выучивают "программу дата генерации",
экстраполяция - это та же интерполяция, только в пространстве без дрейфа. Статья - попытка перейти в это пространство. Не специфицируя его явно. Этим она хороша.
От прочтения вашей статьи тем не менее удовольствие испытал, и обогатился идеями, спасибо
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Очень интересно про tda для весов сети, так как сам экспериментировал недавно с этим, дошел до идеи сам.
А у вас ничего кроме идеи и не нашел.
Попробуйте вложения от dinov2, будете приятно удивлены. Без шуток
Это очень здорово! А есть в формате статьи? Интересны детали, как кластеризовали, как на сферу укладывали, как обратно разворачивали. И как графы в этом поучаствовали.
Вообще я для подобного использовал всегда VAE. Но тут похоже вы придумали что-то лучше
Идея крутая. В кода примера есть две ошибки, strtree.StringTree, и recall_score наверное должно быть.
Ну... Ничего нового. Посмотрите скажем на visiology. Более того... Дашборд можно составлять (и нужно) из сохраненных запросов.
text2sql простая задача без всяких data science при наличии метаданных к базе (просто появляется sql builder), просто на одних только ближайших или intent+ner.
Хотя направление мысли мне нравится. Если будет open source продукт chat with data, типа visGPT без OpenAI и self-hosted... прямо джва (четыре по факту) года жду
Можно вам предложить присмотреться к
https://www.marqo.ai/
?
Я не то чтобы гарантирую... Но в целом разница вот в чем. В одном случае энергию добывают, а во втором расходуют. Первое всегда было сложнее.
Плюсом к электросеньору то, что его работа не умопомрачительно уникальна, ее можно алгоритмизировать и дополнить (техническим) кругозором. Это делают large language models все лучше и лучше.
Научное изобретение, прорыв для цивилизации, алгоритмизировать наверное нельзя
У архитектуры конечно же роль больше - потому что процедуры by design решают одну и ту же задачу, а архитектуры - разные. У Microsoft даже была архитектура neural architecture search. Перформила вполне до трансформеров.
В принципе трансформеры перформят потому attention - он человекоподобен (размечает кто?..). На физических задачах скажем, есть свои ноу-хау, как и в тех же экономических.
Ваша находка так или иначе впечатлила - кодирование архитектуры с некоторыми свойствами. Нет уверенности, однако, что только архитектура достаточна для перфоманса, я об этом.
В продолжение (топологической) мысли - процедуру было бы идеально переложить в теорию узлов и зацеплений, которая различает только количество путей из одной точки в другую. То есть оптимизатор мог бы разветвляться на разные траектории. Это не то чтобы из разряда фантазий, скорее некоторая намётка.
Вкратце: рельеф лосс-функции - результат архитектуры, но ввиду наших слабых вычислительных возможностей, имело бы смысл иметь топологические инварианты именно рельефа функции потерь, и идеально если бы они содержательно вязались бы с инвариантами архитектур
Сходимость зависит не только от архитектуры, но и от процедуры.
Кстати, уверен вам будет интересно ознакомиться с концепцией ограниченной машины Больцмана
Unet тут был правильным выбором, заводится с десятков примеров.
С точки зрении теории это потому что каждый пиксель считай пример. С object detection такой номер не пройдет...
Картинка круть) в принципе для SAM есть FastSAM и MobileSAM вариации.
Задачу с котом конечно они не решат. Тут можно и yolov8-seg приплести бы... А можно и как выше рекомендовали, классификатор контуров какой.
Можно докидывать эвристик ("котлеты в центре", "движется в сцене только кошка" - background subtraction), но понятно, на другой сцене они развалятся.
Лично я бы заряжал конкретно в этой задаче yolov8n-seg, table или/и plate вроде есть в coco (могу ошибаться).
Более абстрактно если подходить... Технически контуры от SAM можно эмбеддить и иметь базу ближайших, считай knn, но в плане инференса это недешево.
Прочитал с интересом. Как идею могу предложить - посмотреть на dynamic time warping (статистики из него в качестве фич).
Чуть дополню себя. Теорема странноватая, а вывод и без нее понятный...
Понятно что один слой с relu даст линейное преобразование практически - из-за bias. То что нелинейность важна - так в этом и суть сеток. Все это про частный случай сеток - которые и появились для нелинейности.
Но сама идея x + sin(x)**2 отличная, есть где поиграться. Я как-нибудь попробую relu(x + alpha * sin(x / alpha)**2). Рассчитываю что докинет, причем в более мелкую сетку.
Что-то не очень исправило. Примеры из статьи на тоненького.
Естественно сетки интерполируют, как и все остальные алгоритмы. И брать тощую сетку и делать глобальные выводы... Спорно. К тому же есть два момента
рекуррентные выучивают периодические паттерны, и трансформеры тоже. Кстати они Тьюринг-полные, хотя и на relu, и это важно по мне как. Они выучивают "программу дата генерации",
экстраполяция - это та же интерполяция, только в пространстве без дрейфа. Статья - попытка перейти в это пространство. Не специфицируя его явно. Этим она хороша.
От прочтения вашей статьи тем не менее удовольствие испытал, и обогатился идеями, спасибо
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
У меня в нулевых был цифровой фотоаппарат Sony, который автоматом делал фото, если все лица в кадре улыбались. Магия!
Так вот ИИ - это термин гуманитариев. Для них эти все каскады Хаара, и прости Господи, нейросети, - магия.
Я не доживу до момента когда гуманитарии договорятся о понятии интеллекта-то, что уж об искусственном.
А вот насчет общества и технологий с машинным обучением (которое в принципе та же интерполяция, если повезет немного обобщающая вправо-влево), могу дать прогноз.
Благодаря гуманитариям общество научиться жить с неустранимыми ошибками моделей и примет некоторую неопределённость своих возможностей (в том числе в прогнозировании и управлении) как данность.
А благодаря data scientists, это начнет проникать "в природу" и "в технику": умные фабрики, умные бактерии, умные удобрения или топливо, умные города.
Модели будут создавать нужные реальные объекты, покуда мы - модели.
Посмотрите deepdoctection
Если проекты не рассматривать в масштабе инвестиционных, то да, так часто бывает
Отвечая на поставленный в заголовке вопрос. У компании столько проектов, сколько у неё руководителей проектов. ну там на константу может помножить.
Feasible - это допустимое решение. Хорошо поставленная задача должна давать решению статус optimal.
Ну и с нэймингом стоит поработать... А в целом хорошо что вытащили на свет ortools - так-то годный очень пакет.