Потому что он не могут просто взять и разработать его. Почему Роскосмос не возьмёт и просто не разработает полный аналог Starship? Потому что это охренеть как сложно и с инженерной точки зрения, и с научной, и с временной.
примерно так, но, как указал в статье, там сжатие и разжатие совсем по другому представлены, ибо решается задача предсказания следующего слова по всем предыдущим.
это сложно объяснить, если человек не знаком с концепцией эмбеддинга и основами машинного обучения. Тут не пальцах так просто не показать, всё что мог изложить - отобожено в статье.
An interesting connection to the neuroscience literature is the work on hippocampal replay that examines how the brain replays recent experiences when an animal rests or sleeps. Replaying recent experiences plays an important role in memory consolidation [68] — where hippocampus-dependent memories become independent of the hippocampus over a period of time [67]. As Foster [68] puts it, replay is “less like dreaming and more like thought”. We invite readers to read Replay Comes of Age [68] for a detailed overview of replay from a neuroscience perspective with connections to theoretical reinforcement learning.
Memory Consolidation[link] Authors, W., 2017. Wikipedia.
Глобально мысль очень правильная, и уже ведется работа в сторону аналога AlphaGo для LLM — когда мы при генерации пишем не 1 предложение, а 1000 — и потом переранжируем их по успешности (оценка этой же или другой модели). Далее для, скажем, топ-10 самых перспективных генераций делаем еще по 1000 вторых предложений, и тд. Чуть более подробно можно глянуть в моей лекции вот тут (https://youtu.be/tJ1xjP17OZs?t=3049 кинул таймкод, но советую канеш всё глянуть), и в этом же ключе как proof-of-concept рекомендую мою предыдущую статью на хабре https://habr.com/ru/companies/ods/articles/781138/
Я тут не эксперт по части медицины, но мне кажется что в какой-то из статей я видел, что отдельно обучали часть модели под человека, а часть общую, но сходу найти не смог. Про временные изменения тем более хз(
Никак не выводили, конкретно с этой моделью конкретно к этим задачам - сработало. Более слабые модели или более сложные задачи могут не поддаться и сойтись к решению хуже или такому же, как сделали люди.
К примеру, вот брали для одной из задач разные модели, а также каждую запускали по 5 раз. (светлые линии). Видно, что не все сходятся к лучшему решению (темные линии), а модель хуже - Starcoder, выделена красными линиями, вообще не добирается до лучшего решения.
То есть тупиковые ситуации возможны. Глобально вижу решение в использовании лучших моделей + доп. техники для увеличения дайверсити (еще больше островов, чуть другие прмопты, етц)
https://openai.com/research/vpt - OpenAI учили играть на основе YouTube видео почти без разметки (буквально пару часов). Вышло очень неплохо, подход перспективный.
https://voyager.minedojo.org/ - одна из моих любимых статей года. GPT-4 управляет игроком в мире, и на лету формирует навыки, которые может после использовать (чтобы не учиться с нуля или не учить сложную цепочку действий). Навыки пишутся как макросы на JS и потом исполняются по запросу GPT.
Ой, Мистер Кук, простите, не узнал. Наверное, вам и вправду виднее.
Потому что он не могут просто взять и разработать его. Почему Роскосмос не возьмёт и просто не разработает полный аналог Starship? Потому что это охренеть как сложно и с инженерной точки зрения, и с научной, и с временной.
примерно так, но, как указал в статье, там сжатие и разжатие совсем по другому представлены, ибо решается задача предсказания следующего слова по всем предыдущим.
есть оригинальный код world models https://github.com/hardmaru/WorldModelsExperiments и чуть более свежая реимплементация на торче https://github.com/ctallec/world-models , но вообще для энк-дек (VAE) можно погуглить что-то отдельно, вещь старая и популярная.
это сложно объяснить, если человек не знаком с концепцией эмбеддинга и основами машинного обучения. Тут не пальцах так просто не показать, всё что мог изложить - отобожено в статье.
Memory Consolidation [link] Authors, W., 2017. Wikipedia.
Replay Comes of Age [link] Foster, D.J., 2017. Annual Review of Neuroscience, Vol 40(1), pp. 581-602. DOI: 10.1146/annurev-neuro-072116-031538
Читал про пельмени?
на смартфоне нужно зайти в режим голосового ассистента и начать промптить модель про урок по изучению языка
:not bad: и добавить нечего
Безработный я, который потратил на рисерч, планирование, сбивку и вычитку больше недели почти фуллтайм работы:
Глобально мысль очень правильная, и уже ведется работа в сторону аналога AlphaGo для LLM — когда мы при генерации пишем не 1 предложение, а 1000 — и потом переранжируем их по успешности (оценка этой же или другой модели). Далее для, скажем, топ-10 самых перспективных генераций делаем еще по 1000 вторых предложений, и тд. Чуть более подробно можно глянуть в моей лекции вот тут (https://youtu.be/tJ1xjP17OZs?t=3049 кинул таймкод, но советую канеш всё глянуть), и в этом же ключе как proof-of-concept рекомендую мою предыдущую статью на хабре https://habr.com/ru/companies/ods/articles/781138/
Я тут не эксперт по части медицины, но мне кажется что в какой-то из статей я видел, что отдельно обучали часть модели под человека, а часть общую, но сходу найти не смог. Про временные изменения тем более хз(
вообще не стоит столько смысла искать в мемах, но самое близкое что смог придумать к этому - https://t.me/seeallochnaya/103
Никак не выводили, конкретно с этой моделью конкретно к этим задачам - сработало. Более слабые модели или более сложные задачи могут не поддаться и сойтись к решению хуже или такому же, как сделали люди.
К примеру, вот брали для одной из задач разные модели, а также каждую запускали по 5 раз. (светлые линии). Видно, что не все сходятся к лучшему решению (темные линии), а модель хуже - Starcoder, выделена красными линиями, вообще не добирается до лучшего решения.
То есть тупиковые ситуации возможны. Глобально вижу решение в использовании лучших моделей + доп. техники для увеличения дайверсити (еще больше островов, чуть другие прмопты, етц)
before answering. Чтобы ответ постфактум формировался, а не до объяснения.
You got me!
Сейчас в Dalle-3
С линейкой не првоерял, но выходит ровно. Ещё можно попросить использовать Python (а может и сама догадается!) :)
UPD: а блин, в понятие идеальности наверное входит ещё и расстояние между прямыми.
Легендарный коммент под статьей про научные открытия ллм. В рамочку нахрен)
попробуй 2 миллиона раз, потом посмотрим что и куда :)
Проходить — нет, играть — oh my...
https://openai.com/research/vpt - OpenAI учили играть на основе YouTube видео почти без разметки (буквально пару часов). Вышло очень неплохо, подход перспективный.
https://voyager.minedojo.org/ - одна из моих любимых статей года. GPT-4 управляет игроком в мире, и на лету формирует навыки, которые может после использовать (чтобы не учиться с нуля или не учить сложную цепочку действий). Навыки пишутся как макросы на JS и потом исполняются по запросу GPT.