Natural Language Processing *

Я спросил Дипсикера ...

Вначале спросил Грока - В каком фильме есть фраза "температура воды в Прибалтике плюс восемь" ? Мгновенно получил ответ - Фраза "температура воды в Прибалтике плюс восемь" встречается в советском фильме "Большая перемена", - ну да герой Леонова ее там говорит.

Потом задал этот же вопрос DeepSeek, он задумался на немало секунд и выдал:

Хорошо, пользователь спрашивает, в каком фильме есть фраза "температура воды в Прибалтике плюс восемь". Мне нужно вспомнить, где я слышал эту цитату. Сначала подумаю о советских фильмах, возможно, комедиях или военных, так как Прибалтика часто упоминалась в таком контексте.

Может быть, фильмы про разведчиков или шпионов? Например, "Семнадцать мгновений весны" — но там вроде бы нет. Или комедии Гайдая? В "Бриллиантовой руке" есть сцена на море, но Прибалтика не упоминается точно. Вспомню другие известные цитаты из советского кино.

Еще вариант — фильм "Осенний марафон". Он про переводчика, который постоянно спешит и попадает в комичные ситуации. Там есть эпизод, где герой Дмитрия Харатьяна говорит о температуре воды. Кажется, именно там звучит эта фраза. Проверю в памяти: в "Осеннем марафоне" герой звонит и сообщает температуру воды как условный сигнал. Да, точно, это должно быть оно. Нужно подтвердить, возможно, через известные цитаты из этого фильма. В сюжете герой использует эту фразу как отмазку, чтобы уйти с работы. Так что ответ — "Осенний марафон".

Фраза "Температура воды в Прибалтике плюс восемь" звучит в фильме «Осенний марафон» (1979 год, режиссёр Георгий Данелия). Её произносит герой Дмитрия Харатьяна — Володя, сотрудник института, который использует эту фразу как условный сигнал для коллеги, чтобы срочно прервать разговор и уйти с работы. Эта цитата стала одной из самых узнаваемых в советском кинематографе. ❄️🎬

Как вы знаете, китайская LLM deepseek-R1 работает не хуже chatGPT-o1, но стоит в 20 раз дешевле. А знаете ли вы, что сама модель вообще бесплатная, её можно скачать себе и запустить на своём железе?

Мне стало интересно, как это делать, можно ли как-то запустить прямо на макбуке, и оказалось, что это делается буквально в два клика (конечно, полная модель на ноут не влезет, но дистиллированная - вполне).

Возможно, все уже это умеют, но расскажу для тех, кто, как и я, был в танке, так что держите инструкцию.

Для этого надо установить ollama, например так:

brew install ollama

и запустить

ollama serve

Запустить можно в отдельном окошке, чтобы смотреть логи, или в бекграунд убрать, пофиг. В общем, это некий сервис.

Дальше скачать и запустить модель. Это делается тупо одной командой.

ollama run deepseek-r1:8b

8b - это количество параметров (8 миллиардов). Другие варианты:
1.5b
7b
8b
14b
32b
70b
671b

Но понятно, что 671b на макбук не влезет, понадобилось бы больше 400 гигов видеопамяти. Зато 1.5b можно и на мобилу запихнуть.

При запуске этой команды скачивается модель (примерно 5 гигов), и собственно вы уже можете общаться с ней прямо в олламе.

Но это не очень юзер-френдли, поэтому дополнительно можно запусть web-интерфейс, например в докере одной командой

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

После чего на http://localhost:3000/ видна веб-морда, похожая на chatgpt.

Прикол китайской модели еще в том, что там показан процесс думания. Его можно посмотреть прямо в этом веб-интерфейсе.

Понятно, что это скорее побаловаться - на ноуте влезает только дистиллированная модель и то нещадно тормозит (макбук M1 pro). Для полноценной работы нужно нормальное железо или облако.

По-моему, это очень круто: если вложиться в железо, можно очень быстро и просто поднять у себя самый топовый чат и не посылать больше свои секреты ни в OpenAI, ни в Китай.

Приглашаю вас подписаться на мой канал в telegram

Новое (для меня) представление этимологии слов.

Представляю вашему вниманию результат последних опытов с обработкой данных Викисловаря в наглядном графовом виде. На видео показан обзор построенного графа связей для прото-индоевропейского корня *h₃er-. Граф раскрашен в цвета в зависимости от принадлежности подсемейству ИЕ-языков. Показана фильтрация слов-узлов по разным атрибутам (язык, письменность, семейство). Инструмент, в котором всё это делается, поддерживает разнообразные фильтры, выделение и трансформацию графа. Но были проблемы с отображением разных, в том числе экзотических письменностей. Их я частично победил.

Проект ruMorpheme — позволяет обучить модель для морфемного анализа русского языка. При желании код можно адаптировать и для других языков, но основное внимание уделено русскому.

ruMorpheme вдохновлён и является портом с TensorFlow (0.12) на PyTorch (2.4) проекта NeuralMorphemeSegmentation, реализованного в рамках публикации "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" авторства Алексея Сорокина и Анастасии Кравцовой.

Обученная модель способна сегментировать слова, выделяя в них следующие морфемы:

• Приставки (PREF)

• Корни (ROOT)

• Соединительные гласные (LINK)

• Дефисы (HYPH)

• Суффиксы (SUFF)

• Постфиксы (POSTFIX)

• Окончания (END)

Попробовать модель можно через Telegram-бот: @ruMorphemeBot, его можно добавить в группу и отправлять текст через упоминание @ruMorphemeBot.

Ссылки:

• Исходный код на GitHub

• Веса модели на HuggingFace

• Исходники бота на GitHub

Как пользоваться:

git clone https://github.com/EvilFreelancer/ruMorpheme.git
cd ruMorpheme
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Для выполнения инференса:

python predict.py input_text.txt --model-path=evilfreelancer/ruMorpheme-v0.1

Скрипт автоматически скачает веса модели и выполнит анализ.

Пример вывода:

{"word": "родословие", "morphemes": [{"text": "род", "type": "ROOT"}, {"text": "о", "type": "LINK"}, {"text": "слов", "type": "ROOT"}, {"text": "и", "type": "SUFF"}, {"text": "е", "type": "END"}]}

Спасибо за внимание!

Для обучения Llama 4 наверняка потребуется почти в 10 раз больше вычислительных мощностей, чем для Llama 3. Такое заявление во время конференц-звонка по доходам за второй квартал 2024 года сделал Марк Закерберг, глава экстремисткой организации Meta, деятельность которой запрещена.

Совсем недавно вышла Llama 3.1 в нескольких вариантах, в одном из которых у большой языковой модели 405 млрд параметров. Для предобучения этой БЯМ 16 тыс. ускорителей Nvidia H100 обрабатывали датасет из 15 трлн токенов в течение 54 дней. Кстати, у варианта Llama 3.1 на 405 млрд параметров совсем недемократичные требования к инференсу: даже на RTX 4090 токен она будет выдавать по полчаса.

Стоимость предобучения настолько огромных БЯМ составляет сотни миллионов долларов. Блогеры прикидывают, что на обучение Llama 3.1 было потрачено никак не меньше $100 млн. Ресурс Information утверждает, что OpenAI тратит в год на обучение и запуск моделей по $7 млрд.

При этом БЯМ семейства Llama 3 бесплатно вышли для всех желающих, а продукты OpenAI проприетарны и работают через платный API. Впрочем, это никак не помогает последней выйти в плюс по деньгам. Если текущая финансовая траектория сохранится, OpenAI потеряет в этом году $5 млрд.

Дэвид Бресслер — автор Formula Bot, дополнения для Excel и Google Sheets, которое с помощью ИИ помогает писать формулы и автоматизировать задачи, а также обрабатывать и анализировать данные. Дополнение платное и пользуется популярностью, поэтому приносит Бресслеру десятки тысяч долларов дохода каждый месяц.

На днях Дэвид поделился наблюдением: при общении с клиентами сразу в четырёх случаях подряд ему рассказали, что впервые услышали про Formula Bot от ChatGPT. В твите Бресслер также приводит скриншот общения с ChatGPT, где на вопрос об умных инструментах для Excel большая языковая модель GPT-4o рекомендует продукт Дэвида. При этом БЯМ поставила встроенный в Excel майкрософтовский инструмент Ideas лишь вторым пунктом списка рекомендаций.

Formula Bot занимает первые строчки разнообразных рейтингов ИИ-дополнений для Excel, поэтому удивительного мало. Подобный ответ GPT-4o выдаёт не всегда. Сам Дэвид связывает проявление эффектами с чем-то уровня SEO.

Как утверждает Бресслер, ChatGPT не приводит много клиентов, в лучшем случае это дополнительные 10 %. Впрочем, в комментариях к твитам его всё равно просят научить приёмам поисковой оптимизации для ChatGPT.

Возможно, поисковая оптимизация для включения в текстовый датасет предобучения БЯМ когда-нибудь действительно станет востребованной.

Сайт с вакансиями правительства Соединённого Королевства Великобритании и Северной Ирландии опубликовал вакансию инженера промптинга больших языковых моделей. Трудоустроят специалиста в AI Safety Institute — организации, которую открыли на Саммите по безопасности ИИ 2023 года. Институт занимается оценкой продвинутых систем искусственного интеллекта, разрабатывает инструменты для контроля государства в этой сфере и помогает обмену информацией.

От специалиста ждут навыков в достижении нужного поведения БЯМ с помощью составления текстовых промптов, хорошее понимание БЯМ и их архитектуры, а также владение различными технологиями промптинга (chain of thought, ReAct, автоматическая генерация промптов и так далее). Нужно уметь оценивать БЯМ по таким метрикам, как BLEU, ROUGE и разнообразным бенчмаркам способности размышлять и писать код.

За плечами у соискателя должен быть реальный практический опыт построения приложений, которые полагаются на БЯМ для ответов на вопросы, генерации текста, помощи с кодом и других схожих задач. В вакансии также просят уметь писать на Python и вообще программировать. Будущий инженер промптов должен обладать хорошими навыками коммуникации, анализа показателей производительности моделей и их визуализации.

Размер суммарной финансовой компенсации составляет от 65 до 135 тыс. фунтов стерлингов.

ИИ AlphaProof в комбинации с Gemini достигает высокого уровня понимания математики. Google даже заявляет, что на Международной математической олимпиаде такая система получила бы серебряную медаль.

В реальном мире неточность больших языковых моделей удивляет. В Сети распространяют очередной тест на тупость БЯМ: просьбу сравнить числа 9,9 и 9,11.

Чаты по типу ChatGPT скармливают ввод от пользователя в БЯМ с неким ненулевым значением температуры, поэтому результаты генерации в ответ на один и тот же запрос могут различаться. К тому же не все скриншоты показывают полный контекст чатов. Тем не менее для почти всех доступных моделей есть примеры, где ИИ уверенным тоном объясняет, что 9,11 больше, чем 9,9. К примеру, эту ошибку демонстрируют ChatGPT, Claude и даже новая модель Llama 3.1 в варианте на 405 млрд параметров.

Объяснение ошибке найти просто. Как минимум в одном контексте 9.11 будет больше, чем 9.9 — версионирование программного обеспечения. Без дополнительного контекста математических вычислений БЯМ могут понимать вопрос неправильно.

Ошибка проявляется редко и может исчезать при изменении порядка слов в вопросе. Тем не менее пользователей крайне забавляет, когда ChatGPT вычитает 9,9 из 9,11 и получает 0,21, а отличный от собственного результат от API Python объясняет ошибками арифметики чисел с плавающей запятой. В другом случае модель Llama 3.1-405B согласилась, что совершила ошибку, но от утверждения «9,11 больше 9,9» не отказалась, придумав новое доказательство.

28 мая 2020 года на сайте препринтов arXiv.org опубликовали легендарную научную статью «Language Models are Few-Shot Learners», более известную как «статья про GPT-3». Позднее OpenAI улучшила большую языковую модель до GPT-3.5 и построила на ней сервис ChatGPT, чем привлекла 100 миллионов пользователей и миллиарды долларов инвестиций.

У оригинальной статьи про GPT-3 всего 31 автор. Некто Арун Пракаш составил элементарную статистику, как развернулась судьба этих людей в дальнейшем.

Как оказалось, за 4 года в OpenAI осталось менее половины оригинального состава авторов той статьи. Четверть из них ушли в Anthropic, ещё 29 % — в другие компании.

На днях OpenAI выпустила GPT-4o-mini — новую флагманскую модель для дешёвого сегмента, так сказать.

• Говорят, работает «почти как» GPT-4o, а иногда даже круче GPT-4.

• Почти в 3 раза дешевле GPT-3.5-turbo.

• Размер контекста 128k токенов, против 16k у GPT-3.5-turbo.

Конечно я сразу побежал переводить на эту модель свою читалку новостей.

Если кратко подвести итоги, то это крутая замена GPT-3.5-turbo. У меня получилось сходу, не меняя промпты, заменить двух LLM агентов на одного и суммарно удешевить работу читалки раз в 5 без потери качества.

Но потом я полез тюнить промпт, чтобы сделать ещё круче, и начал сталкиваться с нюансами. Например, с замыливанием контекста и проблемами с большими запросами. Об этом можно прочитать у меня в блоге.

Хвостатое недоразумение покоряет GitHub!

Большинство голосов оказалось за, а поэтому, спешу сообщить о выпуске полной некастрированной репы хвостатой на GitHub!

Для тех, кто в танке, ну или под наркозом, ну или просто пофек: речь идёт о стример-тян из этой статьи

P. S.
Код всё ещё никак не правил, это по-прежнему лютая свалка функций и принтов для отладки, но уж явно в более удобном виде, чем в статье :)

Позже доработаю инструкцию по запуску, чтобы каждый мог сделать свою нейро-тян

(устроим армию нейро-стримерш/ов, чтобы они наводнили ютуб и отправили обычных стримеров на завод😈 шутка, на деле просто выпускаю репу, чтобы таким же гикам, как я, было проще повторить этот опыт; ну и посмотреть на ваши эксперименты)

Как обратили внимание в микроблогах, Amazon умудрилась запатентовать обработку естественного языка. Выданный и опубликованный 7 мая 2024 года патент US11978437B1 так и называется: «Natural language processing».

Патент касается устройств и техник, которые «обычно описываются для изучения персонализированных концепций естественной обработки языка». В описании патента также упоминается такая сущность, как сессия диалога с пользователем. В тексте документа агенту с искусственным интеллектом предлагают переспрашивать пользователя и учиться на основе предыдущих предпочтений.

Что это всё должно значить, Amazon не поясняет. В СМИ про патент тоже не писали.

Уже не впервые в индустрии искусственного интеллекта что-то регистрируют настолько широкими мазками. К примеру, у Google с 2019 года есть патент на трансформеры — ныне широко известную технологию ИИ. Впрочем, современные большие языковые модели под патент Google чаще всего не подпадают.

Дело в том, что патент Google касается оригинальных трансформеров на архитектуре с комбинацией энкодеров и декодеров. Текущие популярные БЯМ построены либо только на декодерах (семейство GPT), либо только на энкодерах (BERT и похожие).

Развертывание локальной версии нейросети LLaMA с использованием Docker

Привет! В этом руководстве я покажу, как в несколько команд развернуть локальную версию нейросети LLaMA на вашем компьютере или сервере (работает на Windows, macOS и любых дистрибутивах Linux).

Шаг 1: Установка Docker

Для начала, установите Docker. Новичкам рекомендуется установить Docker Desktop.

Шаг 2: Запуск Docker контейнера

Откройте консоль и выполните следующую команду:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Эта команда развернет локальный образ llama, который будет работать исключительно на вашем процессоре. Также существует вариант использования Nvidia GPU, с инструкциями можно ознакомиться здесь.

Шаг 3: Запуск языковой модели

Для запуска самой модели выполните команду:

docker exec -it ollama ollama run llama3:8b

Эта команда загрузит и запустит языковую модель llama3:8b (4.7GB). Также доступна более крупная версия llama3, 70b (40GB). Вы можете запускать и другие модели, список которых доступен здесь.

Чтобы запустить другую модель, используйте команду:

docker exec -it ollama ollama run model_name:tag

Интеграция в проекты

Использование языковой модели в таком формате может показаться неудобным. Более интересно интегрировать ее в свои проекты, например, в Telegram-бота с использованием Python.

Если вам интересно, как это сделать, подписывайтесь на меня. В следующем посте я покажу, как использовать локальную нейросеть (llama3) в Python проектах, включая создание Telegram-бота.

Привет! 14 сентября мы вновь проведём Practical ML Conf — ежегодную конференцию Яндекса, посвящённую практическим аспектам применения ML-технологий. Сегодня мы открыли приём заявок для тех, кто хотел бы поделиться своим опытом и выступить с докладом.

Ключевые темы конференции в этом году: CV, RecSys, MLOps, NLP, Speech и Analytics. Мы ожидаем глубокие технические доклады и хотим поговорить о прикладных решениях, которые уже сейчас приносят пользу. Сбор заявок завершится 13 июля. Программный комитет примет решение об участии на основании критериев «полезность», «новизна», «сложность» и «практичность».

Кстати, если вы планируете посетить конференцию в качестве слушателя, то рекомендую зарегистрироваться уже сейчас. Мы хотим провести болею узкую встречу специалистов компании и гостей перед основной программой конференции. Приоритет в рассылке приглашений на этот закрытый ивент будет у тех, кто зарегистрировался раньше. 

Предложить доклад, зарегистрироваться, найти более подробный таймлайн и доклады прошлого года — всё это можно на сайте конференции.

Совместно с Игорем Котенковым подготовили для себя и для вас Бинго-карточку на предстоящую трансляции OpenAI, чтоб было интереснее наблюдать!

Что именно покажут на презентации не уточнялось, но по словам Sam. A.:
`not gpt-5, not a search engine, but we've been hard at work on some new stuff we think people will love! feels like magic to me`

В твиттере много отсылок к слову "magic" и слухов по поводу голосового помощника, модели связанной со звуком.

В своем канале я оставлю короткую выдержку новостей и о какой магии говорят в openai!

Подборка статей для Research MLE

Не так давно я для себя понял, насколько важно читать научные статьи в ML, но сталкиваешься с тем что только 20% статей дадут тебе 80% результата. В своем Notion я собрал небольшую подборку самых интересных и полезных статей по LLM и RecSys. (которая кстати пополняется)

NLP:
Там есть как классические статейки от w2v, attention, transformers, gpt, gpt2, ...
Так и популярные или не так давно вышедших peft, llama, reft

RecSys:
Стараюсь пополнять интересными статейками от топовых лабораторий Meta, Deezer, Spotify, Netflix, X, ... Или годными статья из NIPS или ACM

На некоторые из этих статей я собираюсь писать обзорчики на Habr, кстати недавно вот написал про персонализированный Cold Start в Deezer. Про некоторые я выложу просто Summary в свой телеграм канал или сделаю конспект в Notion.

Если вдруг вам захочется пополнить этот банк статей, то можете закинуть свои идеи вот сюда.

Новая LLM для русского языка - краткий обзор.

Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.

• 4096 контекстное окно

• Llama в качестве основной архитектуры

• 128k vocab

• 32B токенов в датасете

aeonium/Aeonium-v1-BaseWeb-1B

Выше пользовательского сообщения ChatGPT получает немного текста, который самому пользователю не виден. Этот текст — системный промпт. Он инициализирует бота: рассказывает, кто он такой, какой сегодня день и какие возможности доступны.

Получить системный промпт всё же можно, если попросить модель процитировать сообщение выше. Кстати, именно из-за изменений системного промпта качество работы ChatGPT могло ухудшаться. А меняться там есть чему: системный промпт у OpenAI составляет в длину 1700 токенов.

Аманда Аскелл [Amanda Askell], специалист по этике в Anthropic, показала системный промпт бота Claude 3 и объяснила, что содержит каждый из абзацев:

1. Имя, компания-создатель и текущая дата.

2. Временная отсечка базы знаний и инструкция отвечать с учётом того, что данные уже устаревшие.

3. Инструкция отвечать подробно, но не слишком длинно.

4. Claude чаще отказывается выполнять задачи, связанные с правыми взглядами, чем с левыми. Четвёртый абзац призван с этим бороться.

5. Аналогично, пятый абзац борется с тенденцией Claude стереотипно высказываться о группах, представляющих большинство, но уходить от стереотипов, если речь идёт про различные меньшинства.

6. Четвёртый абзац приводит к тому, что Claude часто говорит, что обе стороны в чём-то правы. Шестой абзац это исправляет.

7. Инструкция всячески помогать и писать код в Markdown.

8. Восьмой абзац призван не спрятать системный промпт, а снизить его избыточную цитируемость.

Впрочем, системные промпты часто и быстро меняются.

Claude 3 можно научить черкесскому языку. Из-за принадлежности к адыгской подгруппе язык относительно изолирован от других. А ещё изучать его не так-то просто из-за сложной морфологии и ограниченности данных.

С таким необычным заявлением выступил энтузиаст hahahahohohe. В длинном твите он описал свою работу последних нескольких лет: из скудных источников он собрал 64 тыс. переведённых терминов и выражений, чтобы обучить модели русско-кабардинского машинного перевода.

Экспериментатор вставил в промпт справочные случайно выбранные 5,7 тыс. пар кабардинский – русский, затем попросил Claude 3 перевести текст. Казалось, что даже с малой толикой датасета БЯМ немедленно освоила то, на что у энтузиаста ушло 2 года.

Модель Opus продемонстрировала глубокое понимание структуры языка, правильно использовала заимствованные термины и проводила правдоподобный этимологический анализ. По запросу она могла даже сочинять новые термины.

Действительно, язык представлен в Интернете относительно слабо: в «Кабардино-черкесской Википедии» на сегодняшний день 1635 статей и 232 482 слов. Но в датасете предобучения язык всё же был в некотором объёме.

Как признался энтузиаст на следующий день, Claude 3 знает черкесский и так. Opus умеет переводить и общаться на языке, пусть и с ошибками. И вообще, поначалу модель переводить с черкесского просто отказывается, что и подкрепило иллюзию изучения языка из промпта.

Впрочем, предоставление дополнительных данных в промпте действительно улучшает качество работы модели.

Джейсон Вэй — известный исследователь направления языковых моделей. Имя Джейсона стоит первым на различных научных докладах Google: про эмерджентные способности (arXiv:2206.07682), промптинг в стиле цепочки рассуждений (arXiv:2201.11903) и FLAN (arXiv:2109.01652).

У Джейсона есть брат Джерри Вэй, который стажировался в различных структурах Google. С мая Джерри проходил стажировку в Google DeepMind, а с июля 2023 года работает там на постоянной основе. Джерри тоже успел отличиться и выпустил доклад про symbol tuning (arXiv:2305.08298).

Джейсон же в феврале этого года перешёл из Google в отдел ChatGPT в компании OpenAI. Как рассказывает перебежчик, культура в компаниях заметно отличается: вместо небольших исследовательских групп Google пришлось привыкать к крупным командам OpenAI. Чтобы адаптироваться, Джейсон рекомендует больше внимания уделять документации, простоте дизайна и качеству инструментов разработки. Также, если верить Джейсону, в OpenAI кормят лучше, чем в Маунтин-Вью, хотя ещё вкуснее еда в сингапурском офисе Google.

Братья не прекращают общение и регулярно видятся, но не забывают подтрунивать мемами в социальных сетях друг над другом.