NOMAD: Оптимизация «черных ящиков» в домашних условиях

[roller]

Крутая штука! Как оно борется с локальными экстремумами? И борется ли вообще само?

[kbulatov]

Судя по статьям про алгоритм MADS (PDF) и про NOMAD (PDF) они определяют задачу оптимизации «черного ящика» как задачу оптимизации трудно (долго) вычислимых функций, зашумленных функций, функций с неизвестными или несуществующими производными и функций, имеющих локальные минимумы. MADS построен как обощение GPS (generalized pattern search), оба алгоритма пытаются, в том числе, бороться с локальными экстремумами.

[roller]

Еще интересно, можно ли этим оптимизировать веса нейронов/связей вместо стандартного «обратного распространения ошибок»? То есть можно то можно, но где-то же подвох…

[kbulatov]

Классы задач совершенно разные. Использовать MADS вместо бэкпропагейшена кажется совсем неразумным, не для того предназначен