на этом шаге смысл каждого токена (слова) перетекает к каждому другому слову в предложении.
Читал ночью, может пропустил, но все же.
На Attention не всегда "все токены вбирают смысл всех остальных токенов".
Есть разные архитектуры, но, насколько я помню, в том же GPT применяют Causal Mask. С маской токены "видят" только прошлые токены, но не следующие. (После softmax веса в Attention векторе обнуляются)
Она обязательно используется при обучении модели (Так как при генерации нужно предсказать токен только на основе предыдущих). И архитектура обычно сохраняется при генерации
P.S.
Видел информацию что claude использует Causal Mask только для генерируемых токенов, а токены ввода используются без маски. (Потенциально - получше понимание введенного контекста)
Введены токены [Сегодня][Хорошая]
Сгенерированные токены [Погода][В][Городе]
Сегодня хорошая Погода В Городе
Сегодня [ + + - - - ]
хорошая [ + + - - - ]
Погода [ + + + - - ]
В [ + + + + - ]
Городе [ + + + + + ]
Да суть в том, что покупая вообще любой айфон в любом случае получаешь стабильную работающую плавную систему, тебе не нужно разбирать форумы 4пда, подбирать себе наушники, смотреть, где в твоем телефоне настроить переадресацию и все в этом духе. В этом вся прелесть, ты купил и получаешь топ, да, пусть и за дорого, но все же. С андройдом - да, пусть сейчас ситуация стала сильно лучше чем лет 10 назад, где даже самые топ модели могли иметь странные проблемы, но впечатление уже создалось, как с китайскими машинами. Пусть и сейчас стало лучше, но опыт остался, и "в народе слухи ходят". Вот и выходит, купить топ по сути примерно за такую же стоимость и получить тоже хороший телефон, но с потенциальными (хоть и маловероятными) проблемами, либо просто купить айфон и забыть о каких либо проблемах. Да и опыт у людей разный, кому то трубка чисто позвонить и поставить смайлик в вацапе бабушке, а кто-то ставит тонну приложений, и работа, и камера и звонки по 50 раз в день важны, и игры... Вот если начинается что-то такое, то страшно... Это в целом мнение странное, "вот я же пользуюсь 15 лет андройдом, все хорошо, а вы просто странные какие-то и не правы"...
Основной - что если приложение выкинут из эппстора - будет возможность быстро обеспечить доступ к примерно такому же функционалу. Но ПВА в данный момент крайне сложно сделать таким же мягким и функциональным как нативное приложение.
Очень хотелось бы посмотреть реализацию какого нибудь демо приложения с использованием вашей идеи.
С ходу складывается ощущение что могут происходить утечки памяти или непредсказуемое поведение при игре с жестами скрытия модального экрана или swipe to back, хочется опровергнуть или попытаться исправить.
Или может вообще отойти от истории с parentCoordinator и зависимостями для координаторов, тогда и не надо будет ничего сообщать назад при удалении экрана, а если и нужно канал связи настроить между, так всегда делегата можно приписать...
В общем, хотелось бы поэкспериментировать немного)
На самом деле пет-проекты - очень сильно помогают в получении опыта. Банально пытаешься сделать, упираешься в какую нибудь core data, и изучаешь вопрос до тех пор пока не получится хорошо. Конечно, в любом случае через какое-то время все равно будешь считать это говнокодом, но это почти у всех такая ерунда. А так - круто, сразу свое приложение, все дела, но хочу отметить, что работа именно в компании, в команде, дает, наверное, самый большой буст опыта, который только может быть. (не без исключений, конечно)
Хм... а Вы пробовали создать сторонний бокс на основе стороннего значения? Судя по логике, у него должен быть совершенно другой адрес, ведь это другой объект. Я конечно не претендую на хорошее понимание механизма, но мне показалось, что результат кода ниже получится достаточно странным, как считаете?
struct Test {
var x: Int
}
let val = Test(x: 5)
// Ну и используем наш Box
var box = Box(x: val)
var box2 = box
// ====
let otherValue = Test(x: 10)
var otherBox = Box(x: otherValue)
address(&box.value)
address(&box2.value)
address(&otherBox.value)
Раньше я тоже думал, что в IT может попасть и освоиться любой, мне казалось - Ну раз уж Я то смог, то и другие смогут, если будут стараться... Потом когда уже подрос, поработал с джунами, мидлами, понял, наверное, что не любой. Наверное что-то должно быть в мозгу или где-то еще, чтоб человек просто мог в это айти
Не знаю на счет "Именно наш департамент". Вообще мне казалось что департамент подбора есть департамент подбора - есть задачи кого набрать и куда - они занимаются. А к высшему образованию - "Наличие высшего образования не является самым критичным требованием" + "Просто мы связываемся только с теми кандидатами, которые потенциально подходят под требования по резюме"
Это можно трактовать как "Вышка не важна, но без нее не рассматриваем"? - а то забавно получается :)
Коллега поделился опытом трудоустройства к Вам. Его пригласили сами, нашли его резюме и попросили перезвонить. На тех. собеседование так и не попал, потому что не имел высшего образования. Хотя, по моему не скромному мнению, кандидат был очень сильный. Возможно с этой стороны стоит смотреть?
И получается что-то вроде:
Хороший оклад, объективная оценка навыков, создающая конкурентные условия для всех кандидатов, и дальше все остальное...
Про то, что сейчас рынок у кандидата - не соглашусь. В январе это было видно, сейчас, мне кажется, все наоборот, но в любом случае я смотрю со своей колокольни мобильный разработки, может быть в других областях не так, но все же, февраль принес весомые изменения в рынок айти как не крути, и не в пользу кандидатов, ИМХО.
Использование протоколов вместо дженериков - звучит как костыль)
Но в любом случае, как Я заметил, протоколы чаще всего используют для того, чтоб создавать зависимости от абстракции, а не от конкретных типов, то есть, к примеру при архитектуре MVVM, мы всегда для ViewModel'и пишем протокол, в котором определяем, что должна уметь наша ViewModel, например ViewModelType, и соответственно реализуем протокол, в контроллере уже мы получаем нашу ViewModel как объект, который удовлетворяет протоколу ViewModelType.
Я ожидал это увидеть тут, вместе с другой информацией, но, к сожалению не увидел этого. В любом случае статья интересная!
Читал ночью, может пропустил, но все же.
На Attention не всегда "все токены вбирают смысл всех остальных токенов".
Есть разные архитектуры, но, насколько я помню, в том же GPT применяют Causal Mask. С маской токены "видят" только прошлые токены, но не следующие. (После softmax веса в Attention векторе обнуляются)
Она обязательно используется при обучении модели (Так как при генерации нужно предсказать токен только на основе предыдущих). И архитектура обычно сохраняется при генерации
P.S.
Видел информацию что claude использует Causal Mask только для генерируемых токенов, а токены ввода используются без маски. (Потенциально - получше понимание введенного контекста)
Введены токены
[Сегодня][Хорошая]
Сгенерированные токены
[Погода][В][Городе]
Вы пытаетесь найти плюсы для населения в том, что делает РКН? Вот у людей свободного времени дофига конечно...
Вроде как не работает такой подход.
по крайней мере с наскока не вышло. Может какие то дополнительные домены нужны еще?
Да суть в том, что покупая вообще любой айфон в любом случае получаешь стабильную работающую плавную систему, тебе не нужно разбирать форумы 4пда, подбирать себе наушники, смотреть, где в твоем телефоне настроить переадресацию и все в этом духе. В этом вся прелесть, ты купил и получаешь топ, да, пусть и за дорого, но все же. С андройдом - да, пусть сейчас ситуация стала сильно лучше чем лет 10 назад, где даже самые топ модели могли иметь странные проблемы, но впечатление уже создалось, как с китайскими машинами. Пусть и сейчас стало лучше, но опыт остался, и "в народе слухи ходят". Вот и выходит, купить топ по сути примерно за такую же стоимость и получить тоже хороший телефон, но с потенциальными (хоть и маловероятными) проблемами, либо просто купить айфон и забыть о каких либо проблемах. Да и опыт у людей разный, кому то трубка чисто позвонить и поставить смайлик в вацапе бабушке, а кто-то ставит тонну приложений, и работа, и камера и звонки по 50 раз в день важны, и игры... Вот если начинается что-то такое, то страшно... Это в целом мнение странное, "вот я же пользуюсь 15 лет андройдом, все хорошо, а вы просто странные какие-то и не правы"...
Основной - что если приложение выкинут из эппстора - будет возможность быстро обеспечить доступ к примерно такому же функционалу. Но ПВА в данный момент крайне сложно сделать таким же мягким и функциональным как нативное приложение.
Очень хотелось бы посмотреть реализацию какого нибудь демо приложения с использованием вашей идеи.
С ходу складывается ощущение что могут происходить утечки памяти или непредсказуемое поведение при игре с жестами скрытия модального экрана или swipe to back, хочется опровергнуть или попытаться исправить.
Или может вообще отойти от истории с parentCoordinator и зависимостями для координаторов, тогда и не надо будет ничего сообщать назад при удалении экрана, а если и нужно канал связи настроить между, так всегда делегата можно приписать...
В общем, хотелось бы поэкспериментировать немного)
На самом деле пет-проекты - очень сильно помогают в получении опыта. Банально пытаешься сделать, упираешься в какую нибудь core data, и изучаешь вопрос до тех пор пока не получится хорошо. Конечно, в любом случае через какое-то время все равно будешь считать это говнокодом, но это почти у всех такая ерунда. А так - круто, сразу свое приложение, все дела, но хочу отметить, что работа именно в компании, в команде, дает, наверное, самый большой буст опыта, который только может быть. (не без исключений, конечно)
Хм... а Вы пробовали создать сторонний бокс на основе стороннего значения? Судя по логике, у него должен быть совершенно другой адрес, ведь это другой объект. Я конечно не претендую на хорошее понимание механизма, но мне показалось, что результат кода ниже получится достаточно странным, как считаете?
Результат:
address: 6129561136
address: 6129561136
address: 6129561136
Раньше я тоже думал, что в IT может попасть и освоиться любой, мне казалось - Ну раз уж Я то смог, то и другие смогут, если будут стараться... Потом когда уже подрос, поработал с джунами, мидлами, понял, наверное, что не любой. Наверное что-то должно быть в мозгу или где-то еще, чтоб человек просто мог в это айти
Спасибо за уточнение, исправил данный момент.
Статья писалась на swift, и пример на swift, но ваше замечание достаточно важное!
Не знаю на счет "Именно наш департамент". Вообще мне казалось что департамент подбора есть департамент подбора - есть задачи кого набрать и куда - они занимаются. А к высшему образованию - "Наличие высшего образования не является самым критичным требованием" + "Просто мы связываемся только с теми кандидатами, которые потенциально подходят под требования по резюме"
Это можно трактовать как "Вышка не важна, но без нее не рассматриваем"? - а то забавно получается :)
Коллега поделился опытом трудоустройства к Вам. Его пригласили сами, нашли его резюме и попросили перезвонить. На тех. собеседование так и не попал, потому что не имел высшего образования. Хотя, по моему не скромному мнению, кандидат был очень сильный. Возможно с этой стороны стоит смотреть?
И получается что-то вроде:
Хороший оклад, объективная оценка навыков, создающая конкурентные условия для всех кандидатов, и дальше все остальное...
Про то, что сейчас рынок у кандидата - не соглашусь. В январе это было видно, сейчас, мне кажется, все наоборот, но в любом случае я смотрю со своей колокольни мобильный разработки, может быть в других областях не так, но все же, февраль принес весомые изменения в рынок айти как не крути, и не в пользу кандидатов, ИМХО.
Использование протоколов вместо дженериков - звучит как костыль)
Но в любом случае, как Я заметил, протоколы чаще всего используют для того, чтоб создавать зависимости от абстракции, а не от конкретных типов, то есть, к примеру при архитектуре MVVM, мы всегда для ViewModel'и пишем протокол, в котором определяем, что должна уметь наша ViewModel, например ViewModelType, и соответственно реализуем протокол, в контроллере уже мы получаем нашу ViewModel как объект, который удовлетворяет протоколу ViewModelType.
Я ожидал это увидеть тут, вместе с другой информацией, но, к сожалению не увидел этого. В любом случае статья интересная!