Комментарии 8
Даже у Бога-Императора после наложения путинских эффектов морщины разгладились
вот такой ёжик с ушами кролика получился у rudalle
лишь сделала Императора более недовольным.К сожалению, с лицами CLIP работает из рук вон плохо. Также она малопригодна для создания химер: sphynx, gryphon, dragon, mermaid, harpy, pegasus, horse with bat wings и тому подобные запросы дают на выходе треш.
Собственно, модель DALL-E так ждали именно потому, что она по заверениям разработчиков способна очень неплохо «скрещивать» объекты.
А потом это возведут в ранг божественного исскуства
Интересно, мне одному кажется, что нейросети типа GPT-3 развиваются в неверном направлении, что это тупиковая ветка и пустая трата средств?
К сожалению, не только вам. Именно поэтому GPT-3 получена не мегакорпорацией с лучшими в мире программистами и триллионными оборотами, а мелкой компанией, почти стартапом, OpenAI.
Дело в том, что ещё в 2010 году была выдвинута гипотеза масштабирования (Scaling Hypotesis). Которая формулируется следующим образом:
Авторы этой гипотезы, сравнивая разные архитектуры сетей, заметили, что две любых сети с одинаковым количеством параметров по своим показателям отличаются очень слабо — на считанные проценты, иногда на десятки процентов, но никогда в разы. Тогда как с увеличением количества параметров показатели сети возрастают пропорционально log N, где N — количество параметров.
С тех пор прошло десятилетие, и Scaling Hypotesis всё ещё продолжает подтверждаться — основной вклад в показатели вносит размер сети, а архитектура может разве только упростить обучение (увеличив стабильность и упростив распараллеливание).
Однако исследователи по-прежнему упарываются в алгоритмы и архитектуры, создают ансамбли сеток (разбивая задачу на подзадачи и обучая сетку для каждой подзадачи) и даже думать не смеют о том, чтобы просто взять и обучить очень-очень большую сетку.
А вот OpenAI взяли довольно примитивную (и уже устаревшую на тот момент) архитектуру, главным свойством которой была хорошая масштабируемость, и увеличили количество параметров до 1.5 млрд, выкатив GPT-2.
Scaling hypotesis оправдалась, и этот монстр выдал потрясающие результаты. Тогда исследователи просто взяли и ещё раз увеличили масштаб, до 175 млрд параметров. И хоть скептики утверждали, что из этой архитектуры больше ничего не выжать, Scaling hypotesis продолжила оправдываться — слома логарифмического тренда не видно, а результат оказался таким, что генерируемые тексты уже в ряде случаев «допрыгивают» до человеческого уровня.
При этом обучение GPT-3 стоило на удивление немного, всего порядка $10 млн. Если вложить в это дело хотя бы половину того, что было потрачено на Манхэттенский проект, увеличив количество параметров ещё в 10000 раз, то уже через полгода мы бы получили сетку, которая генерирует тексты на уровне, недоступном 80% человечества… если бы Scaling hypotesis продолжила работать и дальше.
Но вот в том-то и загвоздка, что когда речь идёт о миллиардных затратах, то голоса скептиков вроде вас становятся очень сильны. Все закономерно боятся, что вложат миллиарды, а результата не будет. Ведь эта гипотеза — всего лишь эмпирическое наблюдение, до сих пор нет объяснения, почему же она работает и нет твёрдой уверенности, что будет работать и дальше.
Дело в том, что ещё в 2010 году была выдвинута гипотеза масштабирования (Scaling Hypotesis). Которая формулируется следующим образом:
Способность нейронной сети к генерализации, абстрагированию и оперированию метаинформацией зависит главным образом от количества параметров и почти не зависит от архитектуры сети.
Авторы этой гипотезы, сравнивая разные архитектуры сетей, заметили, что две любых сети с одинаковым количеством параметров по своим показателям отличаются очень слабо — на считанные проценты, иногда на десятки процентов, но никогда в разы. Тогда как с увеличением количества параметров показатели сети возрастают пропорционально log N, где N — количество параметров.
С тех пор прошло десятилетие, и Scaling Hypotesis всё ещё продолжает подтверждаться — основной вклад в показатели вносит размер сети, а архитектура может разве только упростить обучение (увеличив стабильность и упростив распараллеливание).
Однако исследователи по-прежнему упарываются в алгоритмы и архитектуры, создают ансамбли сеток (разбивая задачу на подзадачи и обучая сетку для каждой подзадачи) и даже думать не смеют о том, чтобы просто взять и обучить очень-очень большую сетку.
А вот OpenAI взяли довольно примитивную (и уже устаревшую на тот момент) архитектуру, главным свойством которой была хорошая масштабируемость, и увеличили количество параметров до 1.5 млрд, выкатив GPT-2.
Scaling hypotesis оправдалась, и этот монстр выдал потрясающие результаты. Тогда исследователи просто взяли и ещё раз увеличили масштаб, до 175 млрд параметров. И хоть скептики утверждали, что из этой архитектуры больше ничего не выжать, Scaling hypotesis продолжила оправдываться — слома логарифмического тренда не видно, а результат оказался таким, что генерируемые тексты уже в ряде случаев «допрыгивают» до человеческого уровня.
При этом обучение GPT-3 стоило на удивление немного, всего порядка $10 млн. Если вложить в это дело хотя бы половину того, что было потрачено на Манхэттенский проект, увеличив количество параметров ещё в 10000 раз, то уже через полгода мы бы получили сетку, которая генерирует тексты на уровне, недоступном 80% человечества… если бы Scaling hypotesis продолжила работать и дальше.
Но вот в том-то и загвоздка, что когда речь идёт о миллиардных затратах, то голоса скептиков вроде вас становятся очень сильны. Все закономерно боятся, что вложат миллиарды, а результата не будет. Ведь эта гипотеза — всего лишь эмпирическое наблюдение, до сих пор нет объяснения, почему же она работает и нет твёрдой уверенности, что будет работать и дальше.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Рисуем вместе с CLIP Guided Diffusion HQ