Comments 14
Отлично написано, спасибо! Буду скидывать ссылку тем, кто интересуется, но не слишком в теме :) Из преложенных тем интересны все, но из наиболее инттересных:
chain of thought
системы с онтологией / графом знаний в ядре
самообучающиеся системы
авто-промптинг и версионирование промптов, как итеративный тюнинг инструкции
Отличная статья, и популярно, и достаточно подробно. Спасибо!
"... глобальное обучение Трансформеров очень большого размера на данных “примерно всего интернета” ... "
Вот это меня как-то пугает.
По непроверенным данным около 90% "всего интернета" это копирайт и бессмысленный блоггинг - нужно ли такое обучение?
Сколько оно стоит?
Сколько стоило бы обучение на выборке из всего интернета только качественной, уникальной информации с качественной каталогизацией?
Вы имеете ввиду, что на замусоренном интернете модель ничему хорошему не научится? - Но у нас нет другого интернета )
Кстати идея семантического веба (Тим Бернерс-Ли) как раз в том, чтобы сделать интернет понятным для машинной обработки. Идея появилась на заре интернета, но, к сожалению, не стала мейнстримом, иначе наш интернет был бы совсем другим.
Сколько стоит обучить модели и сколько стоит отфильтровать обучающую выборку - не подскажу вам, возможно есть профильные исследования.
Но слышал, что есть практика, что большая модель генерирует обучающую выборку, на которой обучается маленькая модель - я так понял тут решается проблема повышения “рассудительности” модели малого размера. Получается, меньше мусора на входе - выше качество рассуждений в модели того же размера.
Именно идею про "другой интернет", про "семантический web" уже много времени я "продвигаю" где только получается... И если бы у меня получилось, то был бы и "другой интернет со смыслом", и громадное пастбище для обучения не только "языковых моделей".. Это мне так кажется. Но меня постоянно пытаются убедить, что я всё неправильно придумал и это никому не нужно, потому что уже давно реализовано по частям...
Вообще-то сначала я занимался совсем другим - безобидный проект "Фото прогулки по России" https://walks.ru/, но в процессе его развития сначала придумал альтернативу Вики, с построением каталога информации на основе смыслов, а там и до "интернета построенного на смыслах" оказалось совсем недалеко.
Вот только его устройство и назначение получилось не совсем то, что придумал Тим Бернерс-Ли, но и я не того уровня.
Если будет интересно, то небольшой пример построения каталога
https://www.walks.ru/wm_dr/
а некоторое количество текстов по ссылке
https://www.walks.ru/text/
Мне было бы очень интересно и полезно Ваше мнение!
Спасибо, что поделились ссылками! Я бегло посмотрел ваши проекты. Честно говоря, это впечатляет — такая системная работа по структурированию смыслов, да ещё с энтузиазмом одного человека, вызывает огромное уважение.
Приятно, что спросили, отмечу, что не могу претендовать на авторитетность своего мнения по вопросу “интернета со смыслом”, т.к. этой темы касался только несколько раз и не сказать, чтобы глубоко. Насколько я понимаю у того подхода помимо кажущихся очевидными выгод (которые вы упоминаете по ссылкам) есть особенности:
онтология (назовем так семантически размеченный гиперконтент (не только текст)) управляема, когда она “маленькая” - для узкой области или если рассматривает только ограниченный аспект. Попытка сделать относительно всеобщую онтологию “комбинаторно взрывает” количество связей, что делает логический вывод непомерно сложным;
для практического применения пользователями (а не только машинного чтения) важны удобные инструменты визуализации и работы. Не припомню удобного инструмента для создания и представления индивидуальной базы знаний (возможно наши читатели накидают вариантов - посмотрим). Попытки сделать это малыми силами, например, как гипертекст, где на каждую фразу можно нажать и перейти - противоречат естественному процессу чтения. Как я выше упоминал в статье, Экспертные системы, работавшие с использованием онтологий, реализовывались только для узкой области и были дорогими в разработке. Хотя именно сейчас LLM снижают порог входа.
С другой стороны, сама идея описывать что-либо “со смыслом” видится вполне работоспособной, например:
Есть такая система Knowledge Space, где предметную область для автоматизации надо описать через объекты и связи - чем не онтология, чем не семантическая разметка - например, Заявка – это не запись в таблице БД, а полноценный объект с атрибутами и связями. И, как показывает многолетняя практика, весьма жизнеспособный подход, потому что позволяет свободно конструировать ИТ-решения для разных классов прикладных задач.
Есть понимание, что автоматизированные ИИ-системы не обойдутся без графа знаний, как я писал в разделе про цифровой двойник. А граф знаний – это та же онтология, знания со смыслом).
Конечно, оба примера это про автоматизированные системы с онтологией в ядре, решающие задачи своего класса, а не про всеобщую онтологию.
Вы в своем проекте начинали генерировать контент сами, а может имеет смысл зайти с другой стороны - попробовать сделать инструмент для удобной генерации и представления такого “осмысленного” контента (ютуб не сам снимает ролики). И обязательно должна быть мгновенная польза. Например, польза для индивидуального пользователя собрать удобную и красивую личную базу знаний. Просто как идея.
Спасибо за такой интересный и полезный ответ!
Некоторые моменты требуют дополнительного осмысления, а на что-то хочется ответить сразу:
- "онтология ... управляема, когда она “маленькая” ... Попытка сделать относительно всеобщую онтологию “комбинаторно взрывает” количество связей, что делает логический вывод непомерно сложным.. " -- сложно если пытаться в одной статье рассказать "хотя-бы" про "устройство" интернета, но если в анонсе сделать эскизное описание, а потом предложить подробности в разделах про "железные" компоненты, про "протоколы" передачи информации по "железу", про домены, про страницы и сайты.. а в каждом разделе уже подробнее - всё тоже самое как и сейчас это происходит... но с некоторым отличием которое проще посмотреть и "покликать" на примере "Древо рода Романовых"
https://www.walks.ru/wm_dr/
Задача в том, что бы свести ценную информацию в единый каталог с возможностью указания не только "близких" связей...
"для практического применения пользователями ... важны удобные инструменты визуализации и работы. Не припомню удобного инструмента для создания и представления индивидуальной базы знаний ... "
за много лет попыток создания такого инструментария у меня есть только некоторое количество эскизов и один пример средства "управления".. Нет у меня необходимых знаний и возможностей для создания такого программного продукта... Увы.
" система Knowledge Space " нацелена на другие задачи и сомневаюсь, что их бизнес система может заинтересоваться темами "альтернативы" Вики или интернета
- в примере "Древо рода Романовых"
https://www.walks.ru/wm_dr/
граф знаний написан вручную, без бэкенда, без базы данных. Просто в JSON формате представлен ответ на тему "Древо рода Романовых"...
Так же может быть представлена практически любая информация.. сначала у меня были идеи на тему энциклопедии фантастики или "Всё про IT" ... но знаний не хватило...
" должна быть мгновенная польза. Например, польза для индивидуального пользователя собрать удобную и красивую личную базу знаний. Просто как идея... "
Именно эта идея описана в теме про "Социальная сеть для творческихЮ активных..." https://www.walks.ru/text/soc_net.pdf
Очень хорошо и полно описано, полезно будет многим интересующимся, полагаю.
Что ещё можно затронуть для расширения полноты:
1) “как LLM "понимает" запрос” (токенизация - эмбеддинги - Attention простыми словами);
2) галлюцинации и почему LLM продолжает галлюцинировать, даже получая от пользователя обратную связь, что LLM галлюцинирует в ответе, и даже логично описывая, что она сделает, чтобы это остановить (и что далее всё равно не делает:-)).
Спасибо за хорошие слова и ценные предложения!
По первому пункту я добавил в статью техническое отступление (в конце).
По второму пункту - это тема интересная, но она уже неплохо раскрыта в других статьях, поэтому для удобства читателей я просто добавил ссылки по месту на статьи: «Ложь искусственного интеллекта», «Эффект Манделы в LLM» и «Авторефлексия (Autoreason)».
Ну модели бывают и мультимодальные, то есть они слышат вас и видят.
А еще модели решают задачи с текстом, можно научить модель математике, скорее всего топовые модели вполне себе умеют складывать.
Иначе как достигать таких больших оценок на тестах без переобучения модели в математический мусор.
Конечно, некоторые привычные нам вещи LLM может делать совершенно иначе чем мы, тоже касается и математики, она может использовать другие закономерности вместо операций.
Но я понял, что статья ориентирована на новичков, респект.
Есть такое понятие — технологическая конвергенция. Это когда изначально разные технологии постепенно сближаются, начинают взаимно дополнять друг друга, а затем сливаются в единое целое - иногда до такой степени, что трудно провести границу между ними.
Здесь мы это наблюдаем на явном примере: современные архитектуры (например, Gemini, GPT-4V, Claude 3) уже не являются «чистыми LLM с прикрученными инструментами», изначально разные нейросети (для текста, изображений, речи) постепенно интегрируются в единую модель.
Добавил в конце первой главы уточнение про мультимодальность и ссылки на статьи по теме.
Спасибо за ваш комментарий — это добавило точности.
P.s. Кстати, ваша статья про интерфейсы (Мультимодальные модели – грубый и дорогой инструмент) хорошо иллюстрирует обратную сторону конвергенции: универсальные мультимодальные модели для узких задач (например, восприятие UI) всё равно грубоваты - нужен отдельный специализированный слой.
Ваш любимый ИИ не умеет считать. Что ещё скрывает текстовая модель?