Сегодня нас порадовали очередные горячие новости из мира ИИ! Open AI представили GPT-4o mini — новую доступную и высокоинтеллектуальную «маленькую» языковую модель, которая значительно умнее, дешевле и так же быстра, как GPT-3.5 Turbo. Недолго думая, мы внедрили и протестировали новую модель на своих задачах. Результаты внизу.

В этой статье я хотел бы поделиться своими заметками о том, как языковые модели развивались в последние десятилетия. Этот текст может послужить туториалом для новичков и помочь понять ключевые концепции языковых моделей на протяжении их истории. Стоит отметить, что я не углубляюсь в детали реализации и математические аспекты, однако уровень описания достаточен для правильного понимания эволюции LMs.

13 мая 2024 года запомнится как важная веха в мире искусственного интеллекта. OpenAI провела долгожданное обновление, представив GPT-4o и множество улучшений для ChatGPT. Эти новинки имеют все шансы изменить то, как мы взаимодействуем с ИИ в повседневной жизни. Мы уже успели внедрить новую модель и протестировали как она работает.

Вот уже больше полутора лет генеративный искусственный интеллект (ИИ) не даёт покоя не только разработчикам, но и, порой далёким от цифрового мира, пользователям. Для одних — ИИ не более чем игрушка или развлечение, для других же — неотъемлемая часть рабочего процесса. Как я уже говорил в одной из предыдущих статей, считаю генеративный ИИ следующей ступенью технологической эволюции, новым техноукладом, и очередным успехом в автоматизации труда некоторых профессий, однако, речи о замене нас с вами быть не может. Давайте теперь поговорим об этой самой автоматизации: чем именно и в каком виде ИИ может нам помочь?

Всё в этой жизни имеет своё начало и конец, это как с хорошей книжкой. Подумайте о том моменте, когда вы берётесь за новый проект, начинаете осваивать новый танцевальный экзерсис или пытаетесь впервые сыграть мелодию на фортепиано двумя руками вместо одной. В каждом из этих случаев мы что-то начинаем с определённой целью и желаемым результатом, даже если не всегда осознаём это. Словно наш внутренний ответ на призыв к приключениям, вне зависимости от того, исходил ли он от нас самих или из вне, мы открываемся новым переживаниям и часто узнаём интересные вещи, о существовании которых даже не подозревали!

Машинный перевод может улучшить существующие вопросно‑ответные системы (англ. Question Answering — QA), которые имеют ограниченные языковые возможности, позволяя им поддерживать несколько языков. Однако у машинного перевода есть один основной недостаток: часто такие системы не справляются с переводом именованных сущностей, которые нельзя перевести дословно. Например, немецкое название фильма «The Pope Must Die» переводится как «Ein Papst zum Küssen», что дословно означает «Папа для поцелуев». На Русском языке название фильма звучит так: «Папа должен похудеть». Поскольку правильность именованных сущностей критична для вопросно‑ответных систем, необходимо как можно лучше обеспечить правильность их перевода. В данной статье я представляю наш метод машинного перевода, учитывающий именованные сущности, под названием «Lingua Franca». Он использует графы знаний для использования хранящейся там символьной информации с целью обеспечения правильности перевода именованных сущностей. И да, это работает!

Не секрет, что ChatGPT это очень эффективный инструмент, который помогает как в обычной жизни, например, чтобы узнать рецепт борща, так и в профессиональной сфере: от копирайтеров и инста-блоггеров до программистов.

Вместе с тем, аналогов ChatGPT не так много, а её доступность в России ограничена. Более того, подписка на ChatGPT Plus и вовсе платная, стоит, кстати, довольно ощутимых денег.

Один мой знакомый держит свой OpenVPN сервер, он поделился со мной хронологией блокировки популярных VPN протоколов в России. С его разрешения, я публикую детальную информацию о том, как это происходило с точки зрения клиента и администратора OpenVPN.

Примечание: этот текст не был написан ChatGPT.

В последнее время технологии искусственного интеллекта (ИИ), включая генеративные нейронные сети, стали все более распространенными среди широких масс. Одним из самых продвинутых и широко известных примеров является ChatGPT, созданный на базе GPT-3.5 архитектуры, которая позволяет ему обрабатывать и анализировать естественный язык и давать точные и часто неожиданные ответы на разнообразные вопросы. ChatGPT может быть использован во многих областях, включая образование, здравоохранение, банковское дело и многие другие.

Несмотря на все его возможности, и вопреки многочисленным репликам в интернете, ChatGPT, как и любая другая «умная программа», не может полностью заменить человека на его рабочем месте. В этой статье мы порассуждаем на тему того, почему труд человека останется актуальным.

Бытует распространённое мнение о том, что современный программист это некий новый общественный класс, имеющий безграничную свободу в плане производственных отношений. Причём, под "программистом" можно понимать эдакого абстрактного работника сферы ИТ, например, сисадмина, тестировщика или аналитика. Культ свободы в ИТ-сфере стал особенно актуальным с началом "пандемии", когда многие работодатели начали охотнее разрешать работать из дома. Безусловно, работа в ИТ чаще чем другие сферы подразумевает гибкий график, "удалёнку", относительно высокую зарплату и другие приятные вещи. Однако, не стоит забывать, что все вышеперечисленные бонусы в большинстве своём касаются только "чистых" ИТ-предприятий. Например, сложно представить программиста, устроенного на заводе или серьёзном госпредприятии, который постоянно работает из дома или из-за рубежа и приходит на работу когда хочет.

* Компания Meta Platforms Inc., владеющая социальными сетями Facebook, признана экстремистской организацией, ее деятельность на территории России запрещена.

В данном посте я представлю перевод главы одной статьи случайно попавшейся мне на глаза. Статья называется "The Political Economy of Privacy on Facebook" (Политическая экономия конфиденциальности на Facebook), автор Christian Fuchs (Кристиан Фукс, Швеция) опубликовал её ещё в 2012 году, однако, мне показалось, что её содержание достаточно актуально и интересно продвинутым пользователям Сети. В статье автор даёт определение понятию конфиденциальность (privacy) в общем случае, а также применяет его на примере функционирования Facebook. Я бы хотел остановиться на одной из глав, одноимённой с названием данного поста — The Political Economy of Facebook (Политическая экономия Facebook). Автор, используя термины политической экономии и теории Маркса, описывает отношения между пользователями, сотрудниками и бенефициарами компании Facebook. Несмотря на то, что автор повествует о модели конкретной компании, я считаю, что она может быть применима ко многим современным социальным сетям и онлайн платформам, созданных по типу Web 2.0, где пользователи генерируют контент.

Набор данных Financial News Sentiment Dataset (FiNeS) содержит в себе заголовки финансовых новостей о компаниях, торгующихся на Московской и СПб биржах. Целевой переменной датасета является оценка тональности новостных заголовков в виде вещественного числа. Идеи для использования датасета: Создание трейдинговых стратегий на основе анализа тональности новостей "на лету"; Анализ новостного фона в разрезе времени (день/неделя) или в разрезе компании.

Зачастую, для создания виртуальных ассистентов используются подходы на основе машинного обучения и, конечно, подходы на основе правил. Оба (в большей степени машинное обучение) полагаются на исходные данные, которыми обычно являются человеческие диалоги. При этом, не учитывается фактор того, что пользователи диалоговых систем не будут общаться с ними так же как с реальными людьми.

Для разнородных групп пользователей (прим. язык, возраст), возможность одинаково эффективно взаимодействовать с веб-приложениями является одним из важнейших факторов такого понятия как "доступность" (англ. Accessibility). Это относится и к системам автоматического ответа на вопросы с использованием графов знаний (англ. Knowledge Graph Question Answering, KGQA), которые обеспечивают доступ к данным Семантической паутины (англ. The Semantic Web) через интерфейс на естественном языке. В ходе работы над такой темой, как многоязычная доступность KGQA-систем, мы с коллегами выявили несколько наиболее острых проблем. Одной из которых является отсутствие многоязычных бенчмарков для KGQA.

В этой статье мы улучшаем один из самых популярных бенчмарков для KGQA -- QALD-9, путем создания эталонных переводов вопросов из исходного датасета на 8 различных языков (немецкий, французский, русский, украинский, белорусский, армянский, башкирский, литовский). Одним из самых важных аспектов является то, что переводы были предоставленны и провалидированы носителями соответствующего языка. Пять из этих языков - армянский, украинский, литовский, башкирский и белорусский - насколько нам известно, никогда ранее не рассматривались в рамках KGQA-систем. А два языка (башкирский и белорусский) рассматриваются ЮНЕСКО как "находящиеся под угрозой исчезновения". Мы назвали новый расширенный датасет "QALD-9-plus". Датасет доступен онлайн.

Одним из важных шагов, используемых людьми в поиске ответа на вопрос, является понимание того, какой именно тип ответа устроит автора. К примеру, на вопрос: "Который час?", мы ожидаем услышать ответ с типом "время", а на вопрос "Где родился Иван Петров?" -- ответ с типом "населённый пункт". То же самое верно и для вопросно-ответных систем (Question-Answering, QA), целью которых является поиск ответа на фактографические вопросы. В данной статье я представлю модуль определения ожидаемого типа ответа на вопрос (Expected Answer Type, EAT), который способен определять не только один класс, но и строить иерархию классов в качестве прогнозного значения. Модуль предоставляется как в виде веб-интерфейса (UI) так и в виде RESTful API. Данная функциональность позволяет конечным пользователям получать предсказания типа ответа для 104 языков, видеть достоверность прогноза и оставлять обратную связь. Кроме того, API позволяет исследователям и разработчикам интегрировать EAT-классификацию в свои системы.

В 2019 году я и мой товарищ решили сделать проект под названием "Polyclinica". Его основной идеей было перенаправить трафик людей, "гуглящих" свои симптомы в приложение-чатбот (a.k.a симптом-чекер), рекомендующий пользователю врача, к которому стоит обратиться. К врачу также можно записаться прямо на сайте через интеграцию API https://docdoc.ru/. Мы разработали полноценный MVP, выступали на нескольких стартап-конференциях, но что-то пошло не так. Цель написания данной статьи -- проанализировать свои ошибки и получить обратную связь от компетентных читателей.

Около года назад я решил написать чат-бота, который отвечает на часто задаваемые вопросы о COVID-19. В тот момент многим показалось, что моя идея не более чем хайп, который спустя короткий промежуток времени потухнет. Однако, оказалось, что спустя год, данная тема только набирает обороты. В этой статье я расскажу о том, как мы создавали чат-бот для консультации по вопросам COVID-19 по просьбе МВД (BMI) Германии, а также выражу идею о создании аналогичного проекта в России.