NP трудные задачи не имеют решения на основе локального поиска или ЦЛП и тп. Только определённое приближение к оптимуму или при малой размерности точное находят. Локальный поиск вам не найдёт нормальное решение без комбинации с глобальным поиском и вероятностной схемой сэмплирования. А вот эти все RL, генетика отжиг и по метаэвристики и есть комбо из глобального и локального поиска. Даже метод ветвей и границ комбинируют с этим.
На самом деле интересен не бизнес анализ проблемы, а решение той же множественно й VRP задачи (у вас на рисунке с грузоперевозками) через современные и не очень методы: ветви и границы, много этапный метод ЦЛП или RL , генетика и тп.
Метод ветвей и границ не является точным тк его скорость и качество зависят от размерности задачи. Говорить что метод ветвей и границ решает NP problem задачи, значит говорить о том, что они соответствуют P problem и все эти квантовые отжиги и тп не нужны. Генетика и пр метаэвристики тоже решают задачи NP до определленой размерности К числа городов точно, но потом находят приближённое к оптимальному решению, но гораздо быстрее чем ветви и границы.
Отличная статья. Но хотел бы поправить, что LaBSE - это language agnostic BERT sentence encoder и эта модель не с родни USE или LASER, это трансформер BERT с 3мя тасками (MLM, NSP, paraphrasing sentence representation) вместо только первых 2ух как у BERT.
Любят люди из старой известной давно мета оптимизации придумать новый хайповый сленг - мета ленинг) А всё же просто, в задачах мат оптимизации, есть ещё один подвид - мета оптимизация, когда мы для алгоритма оптимизации подбираем его гипер параметры другим над алгоритмом. Тут тоже самое, только в качестве критерия оптимизации у нас метрика качества предсказания, А в качестве параметров перебора - модель. Там ещё можно внутри каждой модели иметь второй уровень оптимизации не только на какой ряд её натравить но и какие параметры у модели тюнить. И кстати такое гуглится в два счета
Взять всё лучшее и соединить в сервис. Не хватило новизны. Но в целом, работа проведена серьёзная. Насчёт colBert, если домен Russian можно было и наш ruSBERT взять)
Не вы говорили об этом, об этом заявлял герой статьи.
Далее чтобы говорить об AGI нужно сменить концепцию обучения моделей, сменить способ моделирования, тк текущие методы максимизации правдоподобия и заключают в себе возможность сместить результаты от Х путём изменения частоты исходов Y на Y'.
Камон, говорить о том, что модель обладает сознанием через вопрос к ней а-ля "ты обладаешь суждением" и получив ответ "да я обладаю" - заявлять смотрите это AGI, имхо, полное профанство, тк модель обучена на таких текстах что она как попугай ищет в распределени контекстов наиболее вероятный и выдаёт, а что бы было если бы она ответила нет? А ответ такой если нет в обучающих текстов похожих контекстов то и наиболее вероятным мог стать любой иной ответ обусловленный иным датасетом. Личность с сознанием и суждением может и без этих всех данных ответить о своём суждении, вне зависимости от того какой ответ к данному контексту вероятен, она это может понять единожды и сколько бы ей не повторяли обратное, обратное человек не ответит.
В этом смысле конечно его работа важна, но не даёт права судить о AGI тк нет представления о внутренней логике работы GPT и прочих генеративных моделей AI в NLP. И вопрос не в дискриминации, а в том, что не следует делать скорых выводов не разобравшись в предмете вопроса.
Насколько я понимаю, этот тип, который решил попиариться с LamDa не является её разработсиком, иначе он бы знал принципы и математику работы этой архитектуры и модели и такое бы не ляпнул, кажется он банальный QA спец и не имеет веса в AI индустрии, особенно в NLP.
Для желающих ознакомиться с инспирированными природой алгоритмами оптимизации советую учебник Пантелеева, который можно найти в интернете по запросу - Пантелеев Методы глобальной оптимизации. С примерами программной реализации и тонкой настройкой мета параметров.
Отличный материал, в своё время использовал данный алгоритм на равне с пчелиным роем для оптимизации расстановки объектов инфраструктуры под нагрузку системы.
Бензиновый генератор для электрички, где в авто электро сам факт отсутствия следа УВ. Это конечно свинство использовать бензин в таком случае проще купить на двс авто
NP трудные задачи не имеют решения на основе локального поиска или ЦЛП и тп. Только определённое приближение к оптимуму или при малой размерности точное находят. Локальный поиск вам не найдёт нормальное решение без комбинации с глобальным поиском и вероятностной схемой сэмплирования. А вот эти все RL, генетика отжиг и по метаэвристики и есть комбо из глобального и локального поиска. Даже метод ветвей и границ комбинируют с этим.
На самом деле интересен не бизнес анализ проблемы, а решение той же множественно й VRP задачи (у вас на рисунке с грузоперевозками) через современные и не очень методы: ветви и границы, много этапный метод ЦЛП или RL , генетика и тп.
Метод ветвей и границ не является точным тк его скорость и качество зависят от размерности задачи. Говорить что метод ветвей и границ решает NP problem задачи, значит говорить о том, что они соответствуют P problem и все эти квантовые отжиги и тп не нужны. Генетика и пр метаэвристики тоже решают задачи NP до определленой размерности К числа городов точно, но потом находят приближённое к оптимальному решению, но гораздо быстрее чем ветви и границы.
Отличная статья. Но хотел бы поправить, что LaBSE - это language agnostic BERT sentence encoder и эта модель не с родни USE или LASER, это трансформер BERT с 3мя тасками (MLM, NSP, paraphrasing sentence representation) вместо только первых 2ух как у BERT.
Теория принятия решений подъехала, любо.
Любят люди из старой известной давно мета оптимизации придумать новый хайповый сленг - мета ленинг) А всё же просто, в задачах мат оптимизации, есть ещё один подвид - мета оптимизация, когда мы для алгоритма оптимизации подбираем его гипер параметры другим над алгоритмом. Тут тоже самое, только в качестве критерия оптимизации у нас метрика качества предсказания, А в качестве параметров перебора - модель. Там ещё можно внутри каждой модели иметь второй уровень оптимизации не только на какой ряд её натравить но и какие параметры у модели тюнить. И кстати такое гуглится в два счета
https://cyberleninka.ru/article/n/metod-meta-optimizatsii-poiskovyh-algoritmov-optimizatsii
Претрен на своем домене конечно лучше, молодцы. Серьёзно поработали. Советую попробовать clip эмбеддинги для картинок дотюнить в паре к описанию sku
COLBert брали multilng? Если так. Понятно чем он лучше, тк SBERT не тюнили под мультилингв, пробовали LaBSE?
Взять всё лучшее и соединить в сервис. Не хватило новизны. Но в целом, работа проведена серьёзная. Насчёт colBert, если домен Russian можно было и наш ruSBERT взять)
Не вы говорили об этом, об этом заявлял герой статьи.
Далее чтобы говорить об AGI нужно сменить концепцию обучения моделей, сменить способ моделирования, тк текущие методы максимизации правдоподобия и заключают в себе возможность сместить результаты от Х путём изменения частоты исходов Y на Y'.
Камон, говорить о том, что модель обладает сознанием через вопрос к ней а-ля "ты обладаешь суждением" и получив ответ "да я обладаю" - заявлять смотрите это AGI, имхо, полное профанство, тк модель обучена на таких текстах что она как попугай ищет в распределени контекстов наиболее вероятный и выдаёт, а что бы было если бы она ответила нет? А ответ такой если нет в обучающих текстов похожих контекстов то и наиболее вероятным мог стать любой иной ответ обусловленный иным датасетом. Личность с сознанием и суждением может и без этих всех данных ответить о своём суждении, вне зависимости от того какой ответ к данному контексту вероятен, она это может понять единожды и сколько бы ей не повторяли обратное, обратное человек не ответит.
В этом смысле конечно его работа важна, но не даёт права судить о AGI тк нет представления о внутренней логике работы GPT и прочих генеративных моделей AI в NLP. И вопрос не в дискриминации, а в том, что не следует делать скорых выводов не разобравшись в предмете вопроса.
Насколько я понимаю, этот тип, который решил попиариться с LamDa не является её разработсиком, иначе он бы знал принципы и математику работы этой архитектуры и модели и такое бы не ляпнул, кажется он банальный QA спец и не имеет веса в AI индустрии, особенно в NLP.
Давай Макс жги ещё) примеры применения Adversarial мне понравились.
Я наоборот рад) побольше бы таких статей)
Хорошая статья, побольше бы про metric learning в проде. Кстати как вы инференс устроили через вектора + КНн + faiss?
Для желающих ознакомиться с инспирированными природой алгоритмами оптимизации советую учебник Пантелеева, который можно найти в интернете по запросу - Пантелеев Методы глобальной оптимизации. С примерами программной реализации и тонкой настройкой мета параметров.
Отличный материал, в своё время использовал данный алгоритм на равне с пчелиным роем для оптимизации расстановки объектов инфраструктуры под нагрузку системы.
Бензиновый генератор для электрички, где в авто электро сам факт отсутствия следа УВ. Это конечно свинство использовать бензин в таком случае проще купить на двс авто
О это круто! Спасибо за ответ.