Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (первую часть см. здесь) Во второй части авторы разбирают технологии оптимизации поиска и извлечения данных. Поскольку материал я готовил в первую очередь для начинающих ИТ-переводчиков, сложные и специальные термины я сопровождал английским переводом и краткими пояснениями в комментариях (появляются на серых полях по клику). Картинок не было.
__1. Давайте подумаем, какой уровень у человека, который читает английскую классику почти без словаря?
Я был таким человеком в 2008 году, когда приехал в частную школу английского языка в Лондоне. В школе были группы семи уровней: Beginner, Elementary, Intermediate (и Pre- и Upper-), Advanced, Advanced+. После тестирования меня определили в группу Advanced+. Наверно, у меня было что-то в районе Proficiency, C2?
Ребята-казахи из группы Pre-Intermediate как-то посмеялись надо мной в пабе, потому что меня официант не понял, а их – без проблем. А ещё я не знал некоторых простых разговорных выражений, которые знали люди из групп Intermediate и даже ниже, поскольку в предыдущие пять лет делал упор на чтение классической литературы. И ещё очень, ОЧЕНЬ плохо понимал живую речь на слух. Похоже на С2?
А какой уровень у человека, которого чуть не застрелила полиция в США потому, что он не смог разобрать на слух простые слова “the police”? Это произошло со мной в 2012 году в городе Чарльстон, Южная Каролина. На тот момент, кстати, я как профессионал вырос на голову по сравнению с 2008 годом и уже успел поработать переводчиком. А ведь реально написали бы потом, что был он иностранец, плохо знал язык. Справедливости ради, “the police” проорал афроамериканец с характерным выговором, в гражданской одежде, из автомобиля без полицейской маркировки (“undercover police” это называется).
В бюро переводов обычно есть отдел редакторов, где сидят довольно серьёзные профессионалы. Ищут ошибки в уже сделанных переводах перед тем, как отдать заказчику. В том бюро, где работал я, в отделе редакторов был мужчина, который спокойно признавался, что очень плохо говорит и почти не воспринимает на слух бытовую английскую речь. Хорошо, что плевать он хотел на то, какой у него «уровень», а то б, наверно, уволился с работы и впал в депрессию.
Для меня, студента, а потом выпускника московского технического вуза по специальности «Прикладная математика», середина 1990-х годов выглядела дивным новым миром и взрывом возможностей. Появлялись новые российские компании, новые продукты, приходили в Россию иностранные компьютерные и софтверные компании. И всё это было окружено многочисленными выставками, всевозможными семинарами, презентациями, журналами и еженедельниками.
«Войти в айти» тогда было сравнительно просто: бери и делай то, что можешь и умеешь или хочешь, хотя и не очень умеешь, но знаешь, что так бывает, и можешь убедить окружающих, что ты — как раз тот, кто так может.
В начале 1990-х был такой еженедельник «Софт Маркет» — первое (по крайней мере, так говорят) специализированное компьютерное издание в России. Меня взяли туда внештатным корреспондентом. Я прислал им книгу своих стихов и предложение: давайте сделаем у вас новую рубрику, литературное творчество программистов, я буду ее вести.
Они сказали: стихов не надо, а вот корреспондент нам сейчас нужен. Так я стал компьютерным журналистом.
Но оказалось, что для журналиста я недостаточно язвителен, а для автора рекламных статей слишком правдив. Пришлось перейти к крупной форме.
В одно прекрасное утро я выкинул со своего личного сайта всё, кроме объявления о том, что я готов писать техническую документацию. Дальше случилось удивительное: посыпались заказы. Оказалось, что это вообще кому-то нужно. Что я технический писатель, мне потом кто-то из этих заказчиков и рассказал.
Конвейер данных (Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно.
Я перепробовал несколько приложений для изучения английских слов, но так и не нашёл нужного мне. Не было того, которое соответствовало бы всем параметрам сразу.
Нихао, Хабр! Это Лера, в прошлый раз я рассказывала, как мы всей семьей принялись осваивать китайский — и сложно ли это на самом деле. В комментариях меня спрашивали, зачем вообще учить этот язык. Конечно, тут не может быть одного правильного ответа, но лично мне китайский действительно часто пригождается. Во-первых, я преподаватель русского языка как иностранного и работаю с китайцами. Во-вторых, я живу в Питере и часто встречаю их на улицах города. В транспорте мне нередко нужно спросить, выходит ли человек на следующей остановке. Да даже сказать «сесе» (谢谢, спасибо) китайцу, придержавшему дверь, считаю правильным. Но в полной мере я ощутила практичность владения языком хотя бы на элементарном уровне, конечно же, в самом Китае. Об этом и о нашем путешествии в целом сегодня и расскажу.
«Гипотетические частицы, которых никто никогда не видел, но с введением которых в расчёты наблюдаемая хаотичная реальность начинает выглядеть строго логичной системой? Да не, ерунда какая-то!» – так решили учёные и на полвека забыли о гипотезе Фердинанда де Соссюра, французского студента-лингвиста. Спустя полвека эти частицы (которым он дал название «ларингалы») были обнаружены в одном из новонайденных древних языков, и теория Соссюра перевернула всю лингвистику. Но он об этом уже не узнал. «Трактат о первоначальной системе гласных в индоевропейских языках» так и остался единственной его книгой, изданной при жизни. А сам он умер неизвестным, непризнанным скромным профессором Женевского университета даже без какого-то значимого числа публикаций. Но давайте по порядку.
Вы, наверное, уже слышали о новых возможностях ChatGPT и улучшенной генерации изображений.
Как можно было догадаться по моим предыдущим публикациям, первые эксперименты я провёл с изучением китайского языка. То, что помогает лично мне, может быть полезно и в профессиональной сфере для создания образовательных игр.
Ранее основной проблемой при создании изображений для карточек была необходимость выдержать единый визуальный стиль и интегрировать их с текстом. Новая функция генерации изображений решает эту задачу довольно эффективно.
Однако, встроить китайские иероглифы непосредственно в изображения не всегда получалось удачно, поскольку это слегка искажало сами иероглифы. В китайском языке даже минимальные изменения могут существенно повлиять на читаемость.
С другой стороны, я обнаружил интересный побочный эффект: иллюстрации часто содержат детали, соответствующие штрихам оригинальных иероглифов.
Verilog вряд ли можно назвать простым языком. Он требует понимания основ цифровой логики, работы аппаратуры, смены парадигмы мышления с процедурной на декларативную (описание структуры, а не алгоритма)...
В классическом программировании вы видите результат сразу после запуска программы. Скажем, программирование на C# - доступно каждому, кто готов сделать первый шаг. Немного текста, и по нажатию F5 вы увидите на экране классический "Hello, World!". Всё, ключ к двери в мир разработки в ваших руках... Пусть впереди вас ждут сложные концепции и океан возможностей, именно эта простота делает старт таким увлекательным и доступным.
С Verilog всё гораздо сложнее. И хотя, в мире ПЛИС аналогом "Hello, World!" может быть мигающий светодиод или простой счётчик, результат вашей работы будет виден только после загрузки кода на плату и проверки его работы.
Появление онлайн-симулятора HDLBits сделало изучение Verilog гораздо проще и увлекательнее, чем когда-либо прежде. А доступные каждому платы с ПЛИС китайской компании Gowin Semiconductor (отладочная плата с ПЛИС, на которой можно развернуть процессор RISC-V — стоит всего 2000 рублей) позволяют попрактиковаться на реальном «железе» практически бесплатно. При наличии опыта программирования, освоить Verilog будет проще, чем вы думаете. 😉
Если вам нужно закрыть этот «пробел в образовании» и познакомиться с RTL-дизайном, начинайте прямо сейчас! Но обо всём по порядку.
Языковые модели сталкиваются с такими проблемами, как галлюцинации, устаревшие знания и непрозрачные, неотслеживаемые процессы рассуждений. RAG решает эти проблемы, интегрируя знания из внешних баз данных. В этом обзорном цикле статей подробно рассматривается развитие парадигм RAG, включая наивный RAG, продвинутый RAG и модульный RAG. В ней тщательно анализируется трёхкомпонентная основа RAG, включающая поиск, генерацию и дополнение. В статье объясняются передовые механизмы, что позволяет глубже понять их идею. Кроме того, в цикле представлены современные методы оценки и бенчмарки технологий RAG. В заключительной (5-й части) авторы описывают текущие проблемы и указывают перспективные направления для исследований и разработок.
Привет! Это Саша Потапова, я пишу для блога МТС. В прошлый раз рассказывала о моем фейле с финским, а сегодня хочу поговорить о французском языке (ну, или почти французском).
Если вас попросят назвать государство с наибольшим количеством часовых поясов, вы, скорее всего, подумаете о России или США. Но правильный ответ — Франция! Именно так, ведь эта страна — это не только Эйфелева башня и Лазурный берег, но и тропические острова в Карибском море, лагуны в Тихом океане и даже уголок Южной Америки. Короче, Франция состоит из 18 административных регионов, из которых 13 находятся в Европе, а еще 5 — заморские: Гваделупа, Мартиника, Французская Гвиана, Реюньон и Майотта.
А еще Франция владеет заморскими территориями с особым статусом автономии. Их можно найти в Карибском регионе, Тихом океане, а также в Южном и Индийском океанах. В отличие от пяти заморских регионов, они обладают большей степенью самоуправления и не всегда входят в ЕС. Почти везде здесь говорят на французском, но очень разном.
Сегодня хочу рассказать о Карибах, где мне удалось побывать, и о том, чем местный язык и культура отличаются от привычной Франции.
«Вот вроде всё перевожу, всё понимаю, а говорить сложно»
«Постоянно совершаю ошибки во время разговора»
«Чувствую дикое напряжение, когда пытаюсь говорить на английском»
«Почему не выходит заговорить, хотя знаю много слов и хорошо понимаю грамматику?»
Привет! Я Кирилл Пронин, разработчик PIX RPA из PIX Robotics. А еще я семь лет преподавал основы программирования детям в частных технопарках в рамках дополнительного профессионального образования, а также студентам колледжей и вузов. Чтобы завлечь детей (и упростить работу себе — но об этом чуть позже) я стал внедрять программных роботов в процесс обучения. И понял, что RPA — отличная платформа для старта в разработке. Любой. Но обо всем по порядку. Здесь я расскажу, как продукт по написанию программных роботов может сделать обучение более эффективным и увлекательным, а также проанализируем, какие педагогические методы могут быть адаптированы для работы с RPA. Кроме того, я расскажу о собственном опыте внедрения этих технологий в образовательный процесс и дам несколько полезных советов, которые, надеюсь, помогут вам в вашей практике!
В блоге Unisender мы уже писали о самых интересных рассылках на русском языке. Советовали только тех, кого читаем сами. Мы поняли, что будет круто составить такой же список рассылок на английском:
• Тренды прилетают с Запада — полезно быть в курсе новых веяний.
• Англоязычный рынок сильнее других конкурирует за внимание подписчиков. Преуспевают сильные. У них-то и стоит поучиться.
• Прокачать инглиш скилз никогда не повредит.
Для удобства все рассылки мы разбили на несколько тем. Кликайте на нужный раздел или просто скрольте вниз. Летс гоу.
Изучение иностранных языков — это как освоение сложной игры. Вроде бы правила понятны, но как только сталкиваешься с реальным использованием, всё кажется сложнее, чем на бумаге. Нужно постоянно переключаться между теорией и практикой, запоминать слова, разбирать грамматику. Кто-то пробует традиционные курсы, кто-то заваливает себя учебниками, а кто-то — погружается в языковую среду. Последний способ считается самым эффективным, но далеко не у всех есть возможность поехать за границу, чтобы учиться через живое общение.
Так возникла идея Lookupper. Если мы не можем оказаться в англоязычной среде, почему бы не создать её вокруг себя, прямо в тех местах, где мы уже проводим время? В играх, фильмах, в браузере — везде, где язык используется в естественном виде, а не в заученных фразах из учебников.
Привет, Хабр! Меня зовут Саша Потапова, я бегло говорю на английском, испанском, французском и считала бы себя полиглотом, если бы не одно «но» — финский, который стал моим фейлом. Причем я усердно его учила, а способности к языкам у меня несколько выше среднего. Так что сегодня поделюсь своим опытом изучения финского, расскажу о его особенностях (господи, сколько их!) и причинах своего поражения.
Переехав из Санкт-Петербурга в Валенсию, передо мной возникла необходимость дополнительного обучения с целью получения дохода в Евро. По профессии я юрист, поэтому передо мной стояло 2 пути: доучиться 1 год на юридическом факультете в Университете Испании и получить право на работу юристом либо получить новую профессию.
Я решила войти в IT в Испании, мне всегда нравилось создавать красивое и думать. Я решила научиться писать алгоритмы и создавать красивые сайты.
В Испании есть 3 ступени обучения, которые котируются на рынке труда.
Первое колледж, эквивалент колледжу после 9 класса школы в России. Называется Grado Medio.
Второе, техникум - не уверена что в России есть аналог. Здесь Grado Superior возможно получить после обучения 12 классов в школе или после Grado Medio.
Третье - университетская степень - Grado.
Я выбрала Grado Superior. Обучение занимает 2 года, пол года из которых практика в компании.
Для этого нужно решено омологировать школьный аттестат, срок его омологации фиксирован в 3 месяца.
Ученые из Кембриджа, которые изучают преподавание английского как иностранного по всему миру, обобщили исследования и реальный опыт учителей и нарисовали табличку, от которой мы можем отталкиваться в своих расчетах. Дальше в статье я расскажу о том, что означают эти цифры и какие нюансы нужно учитывать.
Всем привет! Многие сталкиваются с трудностями на собеседовании на вопросе по типу "Расскажите о порядке иницализации в C#". Либо банально когда видят квиз, стараются вспомнить, а что там должно инициализироваться? Сегодня многие вспомнят, а кто-то узнает о порядке инициализации. Затронем не только классы, а также структуры, а точнее - ключевое слово default для них.
Сделаем следующие классы и посмотрим, что будет при создании объекта B:
Когда нужно изучать английский, чтобы строить карьеру дальше, но флэшбэки из прошлого сковывают и не дают сделать шаг вперёд. Вот как можно освободиться и наладить отношения с английским.
