Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.

Поскольку без пояснительной бригады часть их информации оказалась для меня совершенной абракадаброй (напомню, я — переводчик, то бишь гуманитарий), я не поленился пройтись по упомянутым авторами ссылочкам на исследования, взять оттуда схемки и картинки, и добавил их к этой части тоже. Надеюсь, с ними рассуждения и наблюдения авторов будут значительно прозрачнее. Поехали!

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь) Во этой, третьей части авторы совсем кратенько разбирают технологии оптимизации извлеченных данных.

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (первую часть см. здесь) Во второй части авторы разбирают технологии оптимизации поиска и извлечения данных. Поскольку материал я готовил в первую очередь для начинающих ИТ-переводчиков, сложные и специальные термины я сопровождал английским переводом и краткими пояснениями в комментариях (появляются на серых полях по клику). Картинок не было.

Языковые модели сталкиваются с такими проблемами, как галлюцинации, устаревшие знания и непрозрачные, неотслеживаемые процессы рассуждений. RAG решает эти проблемы, интегрируя знания из внешних баз данных. В этом обзорном цикле статей подробно рассматривается развитие парадигм RAG, включая наивный RAG, продвинутый RAG и модульный RAG. В ней тщательно анализируется трёхкомпонентная основа RAG, включающая поиск, генерацию и дополнение. В статье объясняются передовые механизмы, что позволяет глубже понять их идею. Кроме того, в цикле представлены современные методы оценки и бенчмарки технологий RAG. В заключительной (5-й части) авторы описывают текущие проблемы и указывают перспективные направления для исследований и разработок.

На момент написания этой заметки около половины из 16 тысяч книг в моей библиотеке — ИТшные, другая половина — медицинские. Две трети этих книг на английском, одна треть — на русском.

Примерно раз в месяц я с телеграм-каналов докачиваю еще 1–2 тысячи книг, из которых реально новых — не более 100–200, остальное у меня уже есть. Кроме того, попадаются сканированные книги с околонулевой пользой, если их не распознавать.

Всё это добро мне нужно регулярно дедуплицировать, раскладывать по тематическим папочкам, выкладывать в облако для коллег и при этом не тратить на это много времени. Готовых программ для таких задач я не нашел, поэтому, как мог, справлялся сам — писал скрипты на Python.

Продолжаю разбор материалов на тему NLP в контексте работы переводчиков, на этот раз мы с практикантами решили поразбираться в том, как работают мультимодальные модели, т. е. как машины учатся находить соответствие не только между словами из разных языков, но и между картинкой и словами. Представляем вашему вниманию перевод статьи на эту тему.
Материал местами несколько академичный, но надеюсь, будет интересен не только нам.

Некоторое время назад я повесил здесь статью с кратким обзором техник векторизации, и мне показалось логичным продолжить эту тему попыткой разобраться с тем, в какую сторону NLP шагнула дальше, как научилась оцифровывать смысл: выбор пал на механизм attention. Мы с коллегой-переводчицей перевели и переработали Youtube-ролик 'Attention is all you need explained' в статью, которую и представляем вашему вниманию.

Заранее прошу прощения за светофор в картинках: по-другому черный фон из скриншотов убрать не получалось :).

В 2017 году, в статье Attention is all you need, исследователи из Google представили архитектуру Transformer. Новизна Transformer заключалась в использовании self-attention (досл. с англ. — самовнимание, внутреннее внимание) — механизма, благодаря которому модель может сосредоточиться не на всех сразу, а на наиболее важных элементах входной последовательности...

Как переводчик-редактор, я интересуюсь темой NLP и автоматизации рутины бюро переводов. Изучая вопрос того, как смысл слов превращается в векторы, наткнулся на эту обзорную статью. Статья мне показалась изложенной доступно, поэтому я перевел ее для удобства других коллег. Работоспособность большей части кода проверял, вроде работает (см. Jupiter Notebook). Надеюсь, будет полезно.

===

Технологии NLP — Natural Language Processing, обработки естественного языка — позволяют компьютерам обрабатывать человеческий язык, понимать его значение и контекст, а также связанные с ним эмоциональную окраску и намерения, и далее, использовать эти данные для создания чего-то нового.

Как сделать слова понятными для компьютеров? Используется векторизация. Рассмотрим несколько техник такой векторизации.

Иногда нам поручают подготовить какой-нибудь текст из видеоматериала, и когда мы начинаем задавать клиентам уточняющие вопросы, некоторые искренне удивляются: «Хосподи, ну это же субтитры/текст/статья, что там сложного?».

Мы решили рассказать как про основной порядок действий, так и про сложности разных видов такой текстовой работы.

Ни в форумах, ни в блогах, ни в России, ни в англоязычных ресурсах я не смог найти информацию о том, как логично упаковать всю релевантную фактуру в приятный технический документ. В книге М. Ильяхова «Пиши, сокращай» есть отдельная глава про дидактику, но там очень мало, вскользь и не совсем о том.

Еще есть ГОСТы 34 и 19 — там уже написано, из каких разделов должен состоять стандартизованный документ, но ведь кроме стандартизованных есть и другие документы — во всяком случае заказы на таковые ко мне приходили, — и каждый раз приходилось ломать голову.

К моим словам прошу относиться со здоровой долей скепсиса, ибо я не нейтив-спикер, а просто ИТшный переводчик-редактор (пусть даже и с 20-летним опытом).

В последние полгода англо-русские переводы по понятным причинам практически исчезли, и по работе на проверку приходят в основном русско-английские, зачастую на «рунглише». Отмечу, что «рунглишевые» ошибки в присылаемых материалах более или менее однотипные, поэтому я и предположил, что коллегам может быть полезно, если эти ошибки кто-то разложит по полкам.

Эту памятку или «дорожную карту» я опубликовал в своем телеграм-канале несколько месяцев назад, многократно её обкатал на проектах, и убедился в ее применимости — поэтому вешаю ниже.

Шагов в этой памятке 5:

Новая подборка по переводческим решениям для еще одного популярного слова в ИТ- и бизнес-литературе. Смотрите, пользуйтесь.

Синонимы

decide

Начнется все с самого простого, например с выбора фильма для просмотра.
It starts with simple things, like deciding which movie to watch.

Когда Великобритания оказалась перед выбором, выходить из ЕС или нет…
… when Britain needed to decide whether it should leave the EU…

В телеграм-комментариях нас попросили сделать подборку фраз по тому, как переводить слова на тему «пользы» без слова use. Нам показалась эта тема любопытной, и мы ее копнули.

Вариантов оказалось немыслимо много, поэтому мы выбрали только наиболее частотные, да и то просмотрели не все (там получилось свыше 500 страниц цитат, мы просмотрели около 200-300). Как обычно, разложили по полкам, смотрите.

Слова

Good, best

Я попытался собрать самые полезные из них в одном месте…
I have tried to gather together the best of these into one place…

Казалось бы, база данных она и в Африке database, но читая аутентичную техническую литературу по СУБД (которую русские переводчики традиционно переводят как DBMS — database management system), я ни разу этот термин — DBMS — там не увидел (не исключаю, что плохо смотрел, но ей-богу не вру).

Получается, этот термин выдуман? И много ли такого самопала?

В этой публикации я собрал из разной ИТ-литературы англоязычных авторов так называемое «семантическое поле» вокруг термина database — какие базы данных бывают, что с ними делают и с чем их едят. Мне показалось, что это будет явно нагляднее и достовернее, чем обычные глоссарии. Решать, конечно же, вам.

Итак, поехали.

Какие бывают?

Объектные базы данных появились в конце 1980-х — начале 1990-х годов и снова вышли из моды.
Object databases came and went again in the late 1980s and early 1990s.

В начале 2000-х появились базы данных XML, но нашли только узкое применение.
XML databases appeared in the early 2000s, but have only seen niche adoption.

Есть еще один куст слов, по которому в голову большинства переводчиков (я в их числе) в голову лезет только один дежурный набор вариантов:
участник/участие > take part/participate/participant.

Как обычно, мы посмотрели несколько переведенных с английского книг по бизнесу и ИТ (список книг внизу), развернули направление перевода (стало русско-английским), вытащили около 300 вариантов перевода, отбросили те, которые с дежурным переводом, и разложили по полочкам наиболее интересные и применимые.

Поехали.

Трансформации. Пропуск

Здесь необходимо участие обеих сторон.
It takes two to tango.

Единство мнений других участников рынка отражает цена.
That’s because the consensus view is baked into the price.

Если в переводном тексте кто-то что-то где-то начинает — то у меня сразу всплывают три дежурных варианта: begin/beginning, start/starting, first/firstly.

Судя по тому, что я вижу в присылаемых мне на проверку переводах, эта бедность речи наблюдается не только у меня. Зато у наших американских переводчиков я такого не наблюдаю — тут тебе и синонимы красивые, или вообще без всяких begin/start дело обходится.

Я подумал, что пришло время устранить этот пробел в знаниях, делюсь наиболее интересными находками.

Самые экзотические варианты (напр. ignite) сюда впихивать не стал, вроде и без них есть из чего выбрать (но если в будущем экзотика тоже интересует, напишите в комментах).

Поехали.

Слова-синонимы

Через последовательность действий

Я принял все предложения без споров и оправданий и начал действовать.
I accepted their advice without arguing or defending and acted on it.

Теория (+её производные) — ещё одно слово, на котором у меня включается творческий тупик: в голову ничего кроме theory/theoretical/theoretically не лезет. Поэтому его мы тоже с коллегами решили покрутить и так, и этак — посмотреть, как обыгрывают эту концепцию носители.
Среди примеров вы обязательно увидите мой любимый — не переводить вообще (раздел «Трансформации. Пропуски»).
В конце будет раздел «Бонус» — использование theory в необычных контекстах.

Principle

В этой книге обсуждаются как теоретические, так и практические вопросы построения компьютерных сетей.
This book discusses both the principles and practice of computer networking.

То, что я вляпался в болото, стало понятно часа через 4 после начала раскопок этой пары терминов (и это я еще финансовый смысл не рыл — interest rate) — примеров получилось неожиданно больше, так что извините, будет «много букв».

На первый взгляд интерес = interest — полные эквиваленты, однако во фразе «интервьюеры обычно интересуются, сколько памяти занимает структура данных» — interest лезет с большим скрипом (мне фантазии не хватило).

Или бывает автор, сам того не замечая, пишет несколько слов подряд с этим корнем — и как тогда это отрабатывать в переводе? А вот как! Смотрите примеры.

Безусловным лидером и локомотивным вариантом для перевода около-«практичных» фраз являются производные от фраз in practice/practical:

• Если, например, Volvo начнет меньше акцентировать безопасность своих автомобилей и больше упирать на блестящий стиль, это может оттолкнуть от марки ее приверженцев с практическим складом ума.
• If Volvo, for example, placed less emphasis on safety and more on slick styling, this could turn off practical -minded Volvo fans.

Несколько реже встречаются варианты с practicality:

• Практичность: можете ли вы разработать разумный план тестирования?
• Practicality: Can you actually create reasonable testing plans?

• Эта книга проведет обширный экскурс в страну как теоретических принципов, так и практических аспектов информационных систем, а также возможностей их
  использования для создания высоконагруженных данными приложений.
• This book is a journey through both the principles and the practicalities of data systems, and how you can use them to build data-intensive applications.

Но иногда эти фразы так набивают оскомину, что хочется что-то свеженького (причем, как я понял, не только мне — на идею этой публикации навели именно наши американские переводчики), а ничего кроме вышеупомянутых вариантов в голову не лезет.

Поэтому здесь я собрал, наверное, для многих из вас очевидные, но годные для освежения памяти вещи.

Про «сферы»

Не знаю, как вас, а меня корёжит, когда «в сфере» переводят на английский in the sphere. В этой статье я как раз поговорю об этих всяких сферах и сразу дам спойлер — слова sphere вы нигде в примерах не увидите. Примерно в половине случаев эта фраза вообще не переводится. Как же тогда переводится? Смотрите сами (примеры взяты из англоязычных книг и их опубликованных русских переводов).