Comments 6
Интересно, а можно ли это трансформировать в сторону NLP, в частности, для понимания текста? Надеюсь, автору ответить на этот вопрос проще, чем мне -- я давно смотрю в сторону нейронок, но заниматься их тренировкой вручную не очень хочется. А тут, возможно, есть вариант как-то автоматизировать этот процесс...
Здравствуйте, да, реализовать обработку естественных языков таким образом реально, однако сейчас этот вариант не прорабатывался, так как является большой комплексной задачей не в ближайшей перспективе. Помимо этого NLP подразумевает тяжëлые архитектуры, содержащие реккурентные блоки или блоки трансформера, и большие корпуса данных. Вычислительных мощностей для работы с NLP сейчас нет в наличии. Поэтому для начала разберëмся с классикой - классификацией картинок, а потом по наростающей доберëмся и до трансформеров (главное в процессе не изобрести терминатора ;) )
Решаемая задача называется network architecture search, сокращенно NAS, года 4-5 назад была популярна.
В Торче есть реализация https://pytorch.org/vision/stable/models/mnasnet.html
У Майкрософта тоже есть библиотека autoML
вот здесь https://ntk.kubstu.ru/data/mc/0095/4599.pdf я данную теорию описывал, но до практики не дошел. Сейчас, я так понимаю - это нормальный процесс, что нейросеть синтезирует нейросеть
Нейросеть, генерирующая нейросети. Часть 1. Генерация случайной свёрточной нейронной сети