В прошлой статье мы рассматривали механизм внимания (attention) – чрезвычайно распространенный метод в современных моделях глубокого обучения, позволяющий улучшить показатели эффективности приложений нейронного машинного перевода. В данной статье мы рассмотрим Трансформер (Transformer) – модель, которая использует механизм внимания для повышения скорости обучения. Более того, для ряда задач Трансформеры превосходят модель нейронного машинного перевода от Google. Однако самое большое преимущество Трансформеров заключается в их высокой эффективности в условиях параллелизации (parallelization). Даже Google Cloud рекомендует использовать Трансформер в качестве модели при работе на Cloud TPU. Попробуем разобраться, из чего состоит модель и какие функции выполняет.

Впервые модель Трансформера была предложена в статье Attention is All You Need. Реализация на TensorFlow доступна как часть пакета Tensor2Tensor, кроме того, группа NLP-исследователей из Гарварда создали гид-аннотацию статьи с реализацией на PyTorch. В данном же руководстве мы попробуем максимально просто и последовательно изложить основные идеи и понятия, что, надеемся, поможет людям, не обладающим глубоким знанием предметной области, понять данную модель.

Привет, Хабр! Представляю вашему вниманию перевод статьи "Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)" автора Jay Alammar.

Sequence-to-sequence модели (seq2seq) – это модели глубокого обучения, достигшие больших успехов в таких задачах, как машинный перевод, суммаризация текста, аннотация изображений и др. Так, например, в конце 2016 года подобная модель была встроена в Google Translate. Основы же seq2seq моделей были заложены еще в 2014 году с выходом двух статей — Sutskever et al., 2014, Cho et al., 2014.

Чтобы в достаточной мере понять и затем использовать эти модели, необходимо сначала прояснить некоторые понятия. Предложенные в данной статье визуализации будут хорошим дополнением к статьям, упомянутым выше.

Sequence-to-sequence модель – это модель, принимающая на вход последовательность элементов (слов, букв, признаков изображения и т.д.) и возвращающая другую последовательность элементов. Обученная модель работает следующим образом:

Опубликованный хронологический справочник содержит зарубежные литературные произведения научной фантастики, которые литературоведы и литературные критики относят к классике жанра. Хронология охватывает период со 160 года до 1 января 2025 года.

В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов.

Статья подойдет для того, кто новичок или кому интересно разобраться в том, как происходит обучение модели на низком уровне.

Сегодня я расскажу о 20 практических вариантах использования GPT-4o, в которых возможности визуального ИИ используются так, как вы, возможно, никогда не думали — и нет, это не типичные промпты «напишите письмо».

За последние несколько лет индустрия генераторов изображений на базе ИИ выросла в геометрической прогрессии.

До июля 2024 года лидерами рынка моделей генерации ИИ были Midjourney V6.1, Dalle-E 3 от OpenAI и Stability AI Stable Diffusion (с открытым исходным кодом).

В этой короткой статье собраны техники, которые позволяют сделать обучение эффективней.

Это не система, а именно набор рекомендаций: чем больше вы или ваши сотрудники и коллеги наберёте, тем больше вероятность, что обучение будет полезным.

В конце статьи привожу чек-лист, который вам поможет проверить, какому количество пунктов вы или ваши сотрудники соответствуете.

Данная статья посвящена описанию базы математической статистики.

Описывается суть матстатистики от постановки задачи до рассмотрения инструментов её решения.

Привет, Хабр! Меня зовут Влада и я обожаю работать с людьми. Попав волею судеб IT сферу, я поняла, что хоть в IT очень много зависит от командного взаимодействия, большая часть тусовки нацеливается на хард, а не софт. Поэтому статьи тут я хочу посвящать софтам.

Конкретно эта тема вдохновлена и моим опытом, и тем, что из‑за большой нагрузки и событий последних лет, мне часто приходилось искать методы вытаскивания сотрудников (за любые места и в любых позах) из депрессивных состояний.

В ход обычно шло всё, от снижения количества тасков на конкретного сотрудника или изменения уровня сложности до тимбилдингов и особого режима работы. Что‑то помогало лучше, что‑то хуже, скорее, конкретный инструмент нужно было искать индивидуально.

Этот метод — свежая находка последних 6 месяцев, и, как мне кажется, он — квинтэссенция смысла — почему вообще происходит выгорание. Опять же, наверное, общий подход знают всё, я просто его преподнесу в более структурной форме.

То, что напишу ниже, ненаучно (хотя и достаточно сильно перекликается с теорией Павлова, да‑да, тем самым, который про собак и условные рефлексы писал), но обкатываю на окружающих людях и себе — очень помогает исправить ситуацию. Теория не моя, но автор дал добро на то, чтобы пустить её в мир. Для тех, кто любит кратко — переходите к блоку «Итог», а всех остальных приглашаю погрузиться в мою историю и подробное объяснение мат.части.

Почти 80 лет назад человечество узнало о методе мозгового штурма.

С тех пор про него писали даже в журнале "Трамвай" и назвали в его честь него один из стандартных шаблонов презентаций в Microsoft Powerpoint. Многие из читателей этой статьи, возможно, успели в нём поучаствовать. А организаторы напридумывали огромное количество причудливых вариантов, которые постоянно пытаются продать под видом бизнес-консультации.

Разумеется, не утихает и критика мозгового штурма. Не раз и не два говорилось, что это просто способ креативно и весело провести время, а к решению реальных бизнес-задач это не имеет никакого отношения.

В качестве доказательства обычно приводится то, что люди, которые называют себя экспертами по мозговому штурму, обычно не способны предъявить свои достижения. Или то соображение, что лучшие решения принимаются в одиночку, а коллектив может выдумать только что-то очень усреднённое и потому неработающее.

Я внимательно изучил эту тему и добрался даже до первоисточников. И теперь я могу говорить, уверенно: не правы ни те, ни эти.

Мозговой шторм (я поясню, почему именно так правильно) — это действительно очень эффективный инструмент. И те, кто считает мозговой штурм неэффективным коллективным творчеством, и те, кто продолжает накручивать вокруг него новые, потенциально неработающие методы, судя по всему, просто не понимают, для чего он был предназначен. А именно в правильном понимании механизма этого инструмента и заключён секреты его эффективности.

Тот, кто понимает, может получить интересный результат даже штурмуя в одиночку. А может, и не получить. Как будет показано дальше — мозговой штурм, как и другие эвристические методы, по самой своей природе ничего не может гарантировать.

Тот же, кто будет чрезмерно увлекаться организацией команд и ожидать, что случайные люди, собранные в случайной комнате вдруг возьмут, соберутся с мыслями и придумают что-нибудь гениальное, боюсь, сможет только написать отчёт, а заодно взывать у участников раздражение очередным корпоративным маразмом.

Я написал эту статью, чтобы человек, её прочитавший, получил действительно полезный житейский инструмент, который можно использовать даже просто для себя, для решения каких-нибудь личных задач. Будет эта статья полезна и управленцам, которые хотят, чтобы организованные ими. мозговые штурмы были эффективны и радовали работников.

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли.

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился. Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться.

В предыдущей статье я рассказал про пластичность мозга. Сегодня предлагаю первые три техники ее тренировки. Идея очень простая: представьте себе, что ваша работа состоит не в том, чтобы строить окружающую жизнь. И не в том, чтобы вручную управлять карьерой и взаимоотношениями в окружающем мире, тратя на это ограниченный ресурс нашей силы воли.

Идея в том, чтобы выстроить систему — некую совокупность процессов, которые будут воспроизводиться и обеспечивать необходимый результат с меньшими усилиями. Сила воли будет тратиться для настройки шаблонов наших нейромашин. А качество шаблонов напрямую связано с качеством нашей жизни: именно они позволяют нам показывать высокие результаты в работе, личной жизни, заботе о себе и построении всей жизни в те моменты, когда мы не следим за этим осознанно.

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).

В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.

В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по классическому машинному обучению.

Анимированные графики помогают представить информацию более красиво и наглядно. Matlab позволяет их создавать с помощью всего пары функций. Как это сделать, читайте в данной статье.

Многим людям, как и мне, тревога усложняет жизнь. Какие способы помогают избавиться от тревоги, помимо коньяка? Поговорим о том, как помочь себе самостоятельно, если вас достали тревожные мысли и переживания о будущем.

В этой статье я делаю попытки размышлять над тем, как и для чего работают наши гормоны и как наш мозг работает с новой информацией. Выводы мои заведомо дилетантские, хоть я и стараюсь опираться на современные научные исследования. Статья предназначена в основном для тех, кто живет в непрекращающемся информационном шуме. То есть для тебя.

Давайте честно признаем: наша способность добросовестно концентрироваться на делах давно вышла из чата. Когнитивные проблемы нашего времени — это быстрая потеря интереса ко всему (что не позволяет нам глубоко и приятно-долго исследовать новое), а также стресс, выгорание, тревожность, вечная усталость, отсутствие концентрации, brain fog и так далее. Информационный фон выжигает нашу нервную систему настолько, что нас буквально тошнит от любого рода познавательной деятельности — мы испытываем отравление новизной.

Проблемы эти, кстати, не новые и на тему написано множество книг, монографий, проведено множество ресерчей, но чем больше подобной информации, тем сложнее в ней найти что-то реально полезное и эффективное — чтобы вот прочитал немного, выписал себе алгоритм и стал счастливым.

Фишка в том, что даже если бы такой мануал был, он бы нас не спас. Не понимая сути источника проблемы, ни один человек (а он все же смыслосодержащий механизм, а не робот) не будет ему долго и упорно следовать. Как рассказывал David Horsager на Тэде, устойчивая мотивация держится на полной ясности смысла деятельности для конкретного человека.

Вам, конечно, может показаться, что я зря смешиваю потерю интереса к деятельности и стресс — ведь они, кажется, на разных краях стола. Но я проблему вижу так: находясь в вечном стрессе, мы жадно хватаемся за то, что дарит нам положительные эмоции. Пребывая в привычном блэкауте с черными кругами под глазами, мы встречаем человечка, да каааак начинаем им интересоваться и увлекаться, да так упорно, хватаясь за него как за спасительную соломинку, что… через какое-то время перегораем. Как говорят американцы, balls deep. Работает не только с человечками — по такой же гнусной схеме мы обычно набрасываемся на все, что нам внезапно понравилось, особенно на фоне рутинной серости, субъективного однообразия, всемирного сумасшествия и всей этой хтони. Мы постоянно бегаем по этому убивающему нас циклу — набрасываясь на то, что нас вроде как драйвит, быстро выжирая это без остатка, теряя интерес и снова погружаясь в плаванье в этом супе из кортизола.