Сети с архитектурой encoder+decoder не самые распространенные. И, в основном более распространены либо энкодеры, либо декодеры. Выбор архитектуры зависит от назначения сети. Энкодеры - компактны и точнее «понимают» текст (вариации BERT для задач классификации или кластеризации текста, RAG, рекомендательных систем, например). Декодеры - лучше генерируют текст (GPT, LLaMA, Mistral, например).
Связано это с ресурсными ограничениями. Сеть, анализируя слово может смотреть на соседние слова. В энкодерах сеть смотрит и на предыдущие, и на последующие слова. Это круто, но ресурсоемко. Из-за этого уменьшается контекстное окно (при тех же вычислительных ресурсах). Выдача относительно короткая, и короткий анализируемый фрагмент на входе. Но сеть относительно компактная. Большинство прикладных задач решается энкодерами.
В декодерах сеть смотрит только на предыдущее слово, расчетов получается меньше, за счет этого в ту же память влезает большее контекстное окно, что лучше для генерации текста, при тех же ресурсах. Минус в том, что точность «понимания» контекста падает. Но это можно компенсировать увеличениями числа слоев в модели. Но тогда растет размер модели. И ресурсоемкость обучения. Но в итоге мы получили возможность сравнительно быстро обрабатывать большие фрагменты на входе и выходе, при тех же ресурсах. Но заплатили за это размером. Большинство чатов сейчас - декодеры.
Архитектура энкодер+декодер объединяет достоинства и недостатки обеих архитектур. Средненькое контекстное окно, среднее потребление ресурсов. Средние размеры. Хорошая точность. Применяется в переводчиках, вроде google-translate, например.
Несмотря на вышеизложенное, вы признаете, что Предложения генерируются автоматически с помощью технологии машинного обучения и могут быть похожими или идентичными Предложениям, предоставляемым другим клиентам, и никакие права на какие-либо Предложения, созданные, предоставленные или возвращенные Сервисом для других клиентов или другим клиентам, не предоставляются вам в соответствии с настоящими Условиями."
Не означает, что код в вашей IDE вам не принадлежит. Он означает, что а) предложения могут совпадать с предложениями другим пользователям, они могут быть не уникальны б) у вас нет прав на ответы, выданные другим пользователям, даже если вам кажется, что они совпадают с вашими. Вообще ничего криминального.
По использованию данных - тоже стандартная история для любого продукта.
Вопрос чтения лицензий важный. Но именно в этом случае, все же, сугубо имхо, выстрел мимо.
Безусловно, майндсет тоже важен. Есть, по этому поводу, цикл исследований World Values Survey, по нему интересно отслеживать насколько народы меняются.
Но, все-таки, я бы понимал рост потребления максимально широко. Получать более высокотехнологичные лекарства и лечение - это тоже рост потребления. Отдых в другом полушарии, вместо родной речки - это тоже рост потребления. ЗОЖ, дорогое хобби - это тоже рост потребления. И тут, даже если говорить о сдержанных шведах то каждое последующее поколение живет лучше предыдущего.
Это не капитализм требует роста потребления и благосостояния. Это природа человека. И при коммунизме все рассчитывали жить все лучше, обеспечивая все большее население. И во времена Гомера люди желали, чтобы у них/их детей было больше коз и жертвенных медных треножников.
Нет проблемы в росте потребления. Это привод человеческого прогресса. Есть проблема с сохранением баланса со средой.
стоимость денег не статична. Как и их количество, кстати.
стоимость товаров не статична.
Стоимость денег обеспечивается стоимостью товаров. И наоборот. Эти два параметра самобалансируются, подтягиваются друг под друга.
Если у вас денег на 1500 у.е., а товаров на 1300 у.е., то деньги дешевеют, товары дорожают. Это инфляция. Что мы и наблюдаем, особенно в последние годы. Если наоборот, у вас товаров на 1500 у.е., а денег даже в этой нише рынка на 1300 у.е., то товары у вас дешевеют (или падает маржа/замораживается предложение), что мы видим на примере фруктов в сезон, например. Или в других сегментах товаров.
Экономика это мир динамики и теории Относительности. Эта логика там не работать)
Вы, поймите правильно, я это не к тому, что «в Интернете кто-то не прав». Я не пытаюсь Вас переубедить. Я уверен, что Вы человек здравомыслящий, умный и хороший специалист в своей области.
Но нужно адекватно оценивать свою степень подготовки в вопросе. И экономика, не менее сложная тема, чем, например, ML. Но мы с Вами не лезем рассуждать о преимуществах сравнения эмбеддингов на основе Евклидова расстояния перед косинусным. Понимая свои границы. Экономика полна абстрактных механизмов, и нужно представлять как они работают и взаимодействуют на самом деле. И весьма полезным кажется изучать, что пишут оппоненты какой-либо концепции, которая Вам симпатична. Возможно, что в их рассуждениях есть дельные идеи или аргументы. Мы же ведь с Вами не религиозные фанатики. Наша задача создать у себя в голове адекватную картину мира. Не надо слепо верить догматам, даже если идея Вам симпатична.
Вы второй раз напираете на эмоции. Но, без обид, поймите правильно, не хочу Вас ни в коем случае лично как-то задеть, но у Вас целая не маленькая статья написана сугубо под эмоциями.
Но то, что зп наёмных рабочих не хватит, чтобы купить все произведённые товары - это неизменно. Так было и так будет.
Это не так. Это - ошибочное утверждение. Доходов населения всегда хватает на покупку присутствующих на рынке товаров. Вы забываете про роль и динамику цены. Вы забываете, что количество денег - не статично, и, к примеру, человечество изобрело кредитование и инвестирование (и это очень полезные механизмы, которые и вывели нас из пещерного капитализма/феодализма к обществам всеобщего благосостояния). Вы забываете, что производства не статичны, что они гибки. А правовая рамка государств позволяют нам заменять невостребованные производства востребованными.
. Также неизменным будет стремление к максимизации нормы прибыли и конечность мира, в которую в итоге упирается эта максимизация.
Но это же тоже - ошибочное утверждение. В реальности у вас в любой стране есть свои аналоги ФАС/налоговых шкал/решений отраслевых министерств/пошлин. В реальности у вас есть конкуренты. В реальности ни одна компания, даже монополии вроде Газпрома, не могут максимизировать прибыль так, как они хотят.
Проблема в том, что модели, которую вы описали, не существует в природе. Она не дает читателям адекватной модели мира. Она настолько упрощена, что не верна. Переводя на язык медицины, вы предполагаете причиной аутоиммунных заболеваний избыток гуморов и крови в организме пациента. Вы транслируете устаревшую модель.
В итоге, люди вместо того, чтобы требовать изменения правовой и социальной законодательной рамки, которые работают и решают проблемы в реальном мире, лечат общественные болезни. Люди будут требовать отмены капитализма. Что не работает и не решает проблем в реальном мире.
Я даже не знаю откуда начать. Давайте начнем с того, что описанного автором капитализма не существует уже порядка 100-150 лет. То есть описанная модель не релевантна ничему. Продолжим тем, что описанная автором модель определяется статичным денежным агрегатом (видимо золотом), что тоже нерелевантно ничему. Можем вполне закончить тем, что самыми ценными для «капиталистов» всего мира являются не угнетенные рынки Нигерии и Мозамбика, а развитые рынки США, ЕС и Китая. Вопреки ванильным, отставшим на 150 лет, рассуждениям автора. То есть всего-то, описанной автором простенькой модели мировой несправедливости - не существует.
Капиталисты разрушают производства в других странах? А может отсутствие нормального госуправления со здравой протекционистской политикой является проблемой в данном случае? А то, что-то, в странах с адекватной экономической политикой промышленность на капиталистических дрожжах только росла (примеры от Польши до Китая/Японии/Кореи/Вьетнама и т.д.)
Вы не с тем боретесь. Капитализма давно не существует. Нигде. Особенно такого, который вы с пламенным сердцем ненавидите. Это сказки. И они, без обид, безграмотные.
Если вас задевает несправедливость в равенстве прав и распределении благ, то это регулируется правовой и социальной политикой в стране. Посмотрите на Германию, хотя бы. Капитализм здесь не при чем.
Господи, откуда у людей неглупых, такой примитивный, воистину пещерный взгляд и удручающе низкий уровень понимания вопросов экономики, как изложен в сей статье? Почему вы не изучаете матчасть даже на элементарном уровне, но лезете с бичеванием капитализма и рассуждениями о высоких материях?
Ну, серьезно, ребят. Чтобы понимать, насколько это примитивная ахинея, то это аналог кода, где определение четного числа выполняется через if(num==2)return true. Что бы вы сказали, если бы автор подобного кода полез бы бичевать строгую типизацию или функциональное программирование?
Нет ощущения, что некоторый догматизм помешал Вам получить литературное удовольствие (переводчик, к слову, прекрасно поработал над сохранением качества этой части) и лишил Вас пары интересных идей?)
Ооо, это интересная тема. Я не являюсь каким-то фанатом СпейсИкс, и не все знаю. Но с этим пусковым устройством есть минимум три фишки, которые (опять же, в моих глазах) делают с инженерной точки зрения эту штуку классной. Смотрите:
Самое офигенное, что это по сути, часть ракеты. Многоразовый сверхтяж надо как-то сажать. Сажать можно на ноги (в качестве альтернативы, в 60-70-х были проекты стартовать и сажать сверхтяжи непосредственно из/в воду, но это совсем не работает). Ноги, при такой массе и парусности будут не маленькие. Несколько тонн (или больше десятка тонн), стали или титана. Алюминий/углепластик, как на Фалконах - не вариант. Плюс ноги это тоже точка отказа. В этом же, реализованном, пусковом решении у ракеты есть ноги, но она их с собой не возит. Они остаются на земле. Это идеально. У вас нет на борту какого-то агрегата, но он у вас оказывается ровно и только тогда, когда он вам нужен - на посадке. Это - красиво.
Это не табуретка фон Брауна. Общего у них только форма) Это тоже часть ракеты, которая остается на земле. Хотя эффект не такой яркий, как от экономии на ногах. В столе стоят пусковые устройства для внешнего контура двигателей первой ступени. Они их не везут на борту. Они их используют ровно тогда, когда они нужны и с собой не берут. Кроме того, там адаптер для подключения первой ступени к инфраструктуре.
По табуретке. Вы помните, к примеру, газоотводное устройство на стартовом столе хотя бы Р-7? Ракета куда легче, но это реально циклопический котлован, с объемом бетона, которого бы хватило на маленький город. В Техасе инженеры решали три задачи, хреновые грунты, способность пережить старт, и скорость/стоимость постройки. Поэтому принята подставка. Они просто подняли огневой срез повыше.
Решение же не должно быть каким-то хитровыделанным. Оно должно быть эффективным. И красивые решения они простые. Поэтому же и стартовое устройство Р-7 - гениальное, с его коромыслом, которое работает само, и подвеской ракеты за талию, которая позволило сэкономить массу на силовом наборе ракеты. И здесь, и там люди не пошли решать задачу в лоб, а разработали изящное и максимально эффективное решение.
Я понимаю, Вам может не нравиться хайп вокруг Маска. Но постарайтесь абстрагироваться от этого шума)
Меня больше впечатляет, что этот стартовый комплекс - это по сути опоры многоразовой сверхтяжелой ракеты. Но система так реализована, что она их с собою не возит, они остаются на Земле, но работают. И это, вообще говоря, черт возьми, инженерно красиво.
Мы экономим чертову гору массы (и тех.долга) на самих опорах, которые в условиях Земли были бы весьма массивны, и на усилении конструкции РН для них.
Есть неточности в блоке про трансформеры.
Сети с архитектурой encoder+decoder не самые распространенные. И, в основном более распространены либо энкодеры, либо декодеры. Выбор архитектуры зависит от назначения сети. Энкодеры - компактны и точнее «понимают» текст (вариации BERT для задач классификации или кластеризации текста, RAG, рекомендательных систем, например). Декодеры - лучше генерируют текст (GPT, LLaMA, Mistral, например).
Связано это с ресурсными ограничениями. Сеть, анализируя слово может смотреть на соседние слова. В энкодерах сеть смотрит и на предыдущие, и на последующие слова. Это круто, но ресурсоемко. Из-за этого уменьшается контекстное окно (при тех же вычислительных ресурсах). Выдача относительно короткая, и короткий анализируемый фрагмент на входе. Но сеть относительно компактная. Большинство прикладных задач решается энкодерами.
В декодерах сеть смотрит только на предыдущее слово, расчетов получается меньше, за счет этого в ту же память влезает большее контекстное окно, что лучше для генерации текста, при тех же ресурсах. Минус в том, что точность «понимания» контекста падает. Но это можно компенсировать увеличениями числа слоев в модели. Но тогда растет размер модели. И ресурсоемкость обучения. Но в итоге мы получили возможность сравнительно быстро обрабатывать большие фрагменты на входе и выходе, при тех же ресурсах. Но заплатили за это размером. Большинство чатов сейчас - декодеры.
Архитектура энкодер+декодер объединяет достоинства и недостатки обеих архитектур. Средненькое контекстное окно, среднее потребление ресурсов. Средние размеры. Хорошая точность. Применяется в переводчиках, вроде google-translate, например.
Вы подняли важный аспект.
Но чисто по Вашему примеру:
Не означает, что код в вашей IDE вам не принадлежит. Он означает, что а) предложения могут совпадать с предложениями другим пользователям, они могут быть не уникальны б) у вас нет прав на ответы, выданные другим пользователям, даже если вам кажется, что они совпадают с вашими. Вообще ничего криминального.
По использованию данных - тоже стандартная история для любого продукта.
Вопрос чтения лицензий важный. Но именно в этом случае, все же, сугубо имхо, выстрел мимо.
Безусловно, майндсет тоже важен. Есть, по этому поводу, цикл исследований World Values Survey, по нему интересно отслеживать насколько народы меняются.
Но, все-таки, я бы понимал рост потребления максимально широко. Получать более высокотехнологичные лекарства и лечение - это тоже рост потребления. Отдых в другом полушарии, вместо родной речки - это тоже рост потребления. ЗОЖ, дорогое хобби - это тоже рост потребления. И тут, даже если говорить о сдержанных шведах то каждое последующее поколение живет лучше предыдущего.
Эта статья каким-то смутным образом перекликается с утренней новостью об использовании рыб семейства лососевых в косметологии. Гм
Это не капитализм требует роста потребления и благосостояния. Это природа человека. И при коммунизме все рассчитывали жить все лучше, обеспечивая все большее население. И во времена Гомера люди желали, чтобы у них/их детей было больше коз и жертвенных медных треножников.
Нет проблемы в росте потребления. Это привод человеческого прогресса. Есть проблема с сохранением баланса со средой.
Чтобы сделать их экономически безграмотными? Интересно
И это - ошибка.
Здесь упускается два принципиальных момента:
стоимость денег не статична. Как и их количество, кстати.
стоимость товаров не статична.
Стоимость денег обеспечивается стоимостью товаров. И наоборот. Эти два параметра самобалансируются, подтягиваются друг под друга.
Если у вас денег на 1500 у.е., а товаров на 1300 у.е., то деньги дешевеют, товары дорожают. Это инфляция. Что мы и наблюдаем, особенно в последние годы. Если наоборот, у вас товаров на 1500 у.е., а денег даже в этой нише рынка на 1300 у.е., то товары у вас дешевеют (или падает маржа/замораживается предложение), что мы видим на примере фруктов в сезон, например. Или в других сегментах товаров.
Экономика это мир динамики и теории Относительности. Эта логика там не работать)
Вы, поймите правильно, я это не к тому, что «в Интернете кто-то не прав». Я не пытаюсь Вас переубедить. Я уверен, что Вы человек здравомыслящий, умный и хороший специалист в своей области.
Но нужно адекватно оценивать свою степень подготовки в вопросе. И экономика, не менее сложная тема, чем, например, ML. Но мы с Вами не лезем рассуждать о преимуществах сравнения эмбеддингов на основе Евклидова расстояния перед косинусным. Понимая свои границы. Экономика полна абстрактных механизмов, и нужно представлять как они работают и взаимодействуют на самом деле. И весьма полезным кажется изучать, что пишут оппоненты какой-либо концепции, которая Вам симпатична. Возможно, что в их рассуждениях есть дельные идеи или аргументы. Мы же ведь с Вами не религиозные фанатики. Наша задача создать у себя в голове адекватную картину мира. Не надо слепо верить догматам, даже если идея Вам симпатична.
Поддерживаю
Вы второй раз напираете на эмоции. Но, без обид, поймите правильно, не хочу Вас ни в коем случае лично как-то задеть, но у Вас целая не маленькая статья написана сугубо под эмоциями.
Это не так. Это - ошибочное утверждение. Доходов населения всегда хватает на покупку присутствующих на рынке товаров. Вы забываете про роль и динамику цены. Вы забываете, что количество денег - не статично, и, к примеру, человечество изобрело кредитование и инвестирование (и это очень полезные механизмы, которые и вывели нас из пещерного капитализма/феодализма к обществам всеобщего благосостояния). Вы забываете, что производства не статичны, что они гибки. А правовая рамка государств позволяют нам заменять невостребованные производства востребованными.
Но это же тоже - ошибочное утверждение. В реальности у вас в любой стране есть свои аналоги ФАС/налоговых шкал/решений отраслевых министерств/пошлин. В реальности у вас есть конкуренты. В реальности ни одна компания, даже монополии вроде Газпрома, не могут максимизировать прибыль так, как они хотят.
Проблема в том, что модели, которую вы описали, не существует в природе. Она не дает читателям адекватной модели мира. Она настолько упрощена, что не верна. Переводя на язык медицины, вы предполагаете причиной аутоиммунных заболеваний избыток гуморов и крови в организме пациента. Вы транслируете устаревшую модель.
В итоге, люди вместо того, чтобы требовать изменения правовой и социальной законодательной рамки, которые работают и решают проблемы в реальном мире, лечат общественные болезни. Люди будут требовать отмены капитализма. Что не работает и не решает проблем в реальном мире.
Я даже не знаю откуда начать. Давайте начнем с того, что описанного автором капитализма не существует уже порядка 100-150 лет. То есть описанная модель не релевантна ничему. Продолжим тем, что описанная автором модель определяется статичным денежным агрегатом (видимо золотом), что тоже нерелевантно ничему. Можем вполне закончить тем, что самыми ценными для «капиталистов» всего мира являются не угнетенные рынки Нигерии и Мозамбика, а развитые рынки США, ЕС и Китая. Вопреки ванильным, отставшим на 150 лет, рассуждениям автора. То есть всего-то, описанной автором простенькой модели мировой несправедливости - не существует.
Капиталисты разрушают производства в других странах? А может отсутствие нормального госуправления со здравой протекционистской политикой является проблемой в данном случае? А то, что-то, в странах с адекватной экономической политикой промышленность на капиталистических дрожжах только росла (примеры от Польши до Китая/Японии/Кореи/Вьетнама и т.д.)
Вы не с тем боретесь. Капитализма давно не существует. Нигде. Особенно такого, который вы с пламенным сердцем ненавидите. Это сказки. И они, без обид, безграмотные.
Если вас задевает несправедливость в равенстве прав и распределении благ, то это регулируется правовой и социальной политикой в стране. Посмотрите на Германию, хотя бы. Капитализм здесь не при чем.
У вас какое-то странное представление о реальном секторе и экономических терминах.
Господи, откуда у людей неглупых, такой примитивный, воистину пещерный взгляд и удручающе низкий уровень понимания вопросов экономики, как изложен в сей статье? Почему вы не изучаете матчасть даже на элементарном уровне, но лезете с бичеванием капитализма и рассуждениями о высоких материях?
Ну, серьезно, ребят. Чтобы понимать, насколько это примитивная ахинея, то это аналог кода, где определение четного числа выполняется через if(num==2)return true. Что бы вы сказали, если бы автор подобного кода полез бы бичевать строгую типизацию или функциональное программирование?
…но автор и продолжает эту мысль. Чтобы этого не было - просто сохраняйте способность удивляться )
Нет ощущения, что некоторый догматизм помешал Вам получить литературное удовольствие (переводчик, к слову, прекрасно поработал над сохранением качества этой части) и лишил Вас пары интересных идей?)
Не всем нужно взламывать Звезду Смерти и чинить истребитель в полете, а протокольный робот - другое дело
Так он же, вроде, правильно ответил)
Старые - спереди, новые - сзади. Так же как во фрагменте статьи из обычного поиска ниже)
Ооо, это интересная тема. Я не являюсь каким-то фанатом СпейсИкс, и не все знаю. Но с этим пусковым устройством есть минимум три фишки, которые (опять же, в моих глазах) делают с инженерной точки зрения эту штуку классной. Смотрите:
Самое офигенное, что это по сути, часть ракеты. Многоразовый сверхтяж надо как-то сажать. Сажать можно на ноги (в качестве альтернативы, в 60-70-х были проекты стартовать и сажать сверхтяжи непосредственно из/в воду, но это совсем не работает). Ноги, при такой массе и парусности будут не маленькие. Несколько тонн (или больше десятка тонн), стали или титана. Алюминий/углепластик, как на Фалконах - не вариант. Плюс ноги это тоже точка отказа. В этом же, реализованном, пусковом решении у ракеты есть ноги, но она их с собой не возит. Они остаются на земле. Это идеально. У вас нет на борту какого-то агрегата, но он у вас оказывается ровно и только тогда, когда он вам нужен - на посадке. Это - красиво.
Это не табуретка фон Брауна. Общего у них только форма) Это тоже часть ракеты, которая остается на земле. Хотя эффект не такой яркий, как от экономии на ногах. В столе стоят пусковые устройства для внешнего контура двигателей первой ступени. Они их не везут на борту. Они их используют ровно тогда, когда они нужны и с собой не берут. Кроме того, там адаптер для подключения первой ступени к инфраструктуре.
По табуретке. Вы помните, к примеру, газоотводное устройство на стартовом столе хотя бы Р-7? Ракета куда легче, но это реально циклопический котлован, с объемом бетона, которого бы хватило на маленький город. В Техасе инженеры решали три задачи, хреновые грунты, способность пережить старт, и скорость/стоимость постройки. Поэтому принята подставка. Они просто подняли огневой срез повыше.
Решение же не должно быть каким-то хитровыделанным. Оно должно быть эффективным. И красивые решения они простые. Поэтому же и стартовое устройство Р-7 - гениальное, с его коромыслом, которое работает само, и подвеской ракеты за талию, которая позволило сэкономить массу на силовом наборе ракеты. И здесь, и там люди не пошли решать задачу в лоб, а разработали изящное и максимально эффективное решение.
Я понимаю, Вам может не нравиться хайп вокруг Маска. Но постарайтесь абстрагироваться от этого шума)
Согласен) картинки только не перерисовали)
Но вот что мне зашло, это идея с человекоподобным Оптимусом в первой посадке. Это прям хорошо)
Не только)
Меня больше впечатляет, что этот стартовый комплекс - это по сути опоры многоразовой сверхтяжелой ракеты. Но система так реализована, что она их с собою не возит, они остаются на Земле, но работают. И это, вообще говоря, черт возьми, инженерно красиво.
Мы экономим чертову гору массы (и тех.долга) на самих опорах, которые в условиях Земли были бы весьма массивны, и на усилении конструкции РН для них.