Еще пару лет назад у всех на слуху было всего одно название — ChatGPT. Сегодня популярность набрали десятки генеративных моделей, а также построенных на их основе сервисов: от проприетарных (Google Gemini или Bing Chat) до открытых (Falcon или Mistral). Для массового внедрения ML-моделей создано достаточно подходящих мощностей. Компании, использующие технологии ИИ, нейронных сетей, больших данных, Data Science могут воспользоваться GPU-ресурсами MWS.
Неудивительно, что ажиотаж вокруг генеративных моделей тянет за собой весь рынок систем ИИ. Так, по оценкам Statista Market Insights, в 2023 году его объем составил $196 млрд, но всего двумя годами ранее эта цифра не превышала $21 млрд. При этом многие аналитики убеждены, что отрасль вырастет еще на 37% в течение семи лет.
Последний год в ИТ-сообществе идет обсуждение перспектив ML-решений. Кто возьмет пальму первенства — открытые или закрытые модели? В материале рассмотрим ситуацию, прогнозы и состояние законодательства.
Проблемы применения искусственного интеллекта
Нарушение авторских прав
Передовые системы ИИ все чаще становятся предметом различных споров и разбирательств — особенно в сфере авторских прав. В конце прошлого года гильдия писателей подала иск к компании OpenAI, которая якобы использовала пиратские копии известных произведений в разработке своих моделей машинного обучения. Кроме того, медиакомпания New York Times заявила, что миллионы статей, опубликованных The Times, использовались для обучения чат-ботов.
Дискриминация
Другая проблема связана с зачастую низкой объективностью нейросетей, вызванной статистической смещенностью обучающей выборки. Несколько лет назад специалисты Amazon представили собственный интеллектуальный алгоритм для подбора кандидатов. Но от системы отказались, так как ее признали дискриминирующей. Из-за преобладания мужских резюме в массиве обучающих данных она отвергала кандидатов-женщин.
Двойное применение
Одно из беспокойств связано с возможностью использования моделей для противоправной деятельности. На этот факт указывают исследователи из компании Collaborations Pharmaceutical.
В качестве эксперимента специалисты сгенерировали полный перечень возможных токсичных молекулярных соединений с помощью программного обеспечения SynMega, которое используется для поиска перспективных лекарственны соединений. В итоге удалось вывести новые виды опасных токсинов. Все, что для этого потребовалось, — это немного программирования, данные из открытых источников, офисный ПК 2015 года выпуска и менее шести часов машинного времени.
Риски кибербезопасности
Повсеместное распространение моделей машинного обучения также приводит к росту определенных видов киберпреступности. Злоумышленники используют системы ИИ для фишинга, дезинформации и создания дипфейков. По данным аналитиков компании SlashNext, с 2022 года число фишинговых email-кампаний возросло на 1200%. Киберпреступники используют генеративные инструменты искусственного интеллекта, такие как ChatGPT, для
Проблема прозрачности
Нельзя не отметить, что свой отпечаток на отношение к проприетарным моделям накладывает общественное мнение. Интересным примером тут стала история OpenAI. Компания начинала свой путь как исследовательская организация, но со временем переориентировалась на коммерческий сектор. Хотя во многом такой подход можно объяснить колоссальным вниманием, которое привлекают к себе технологии компании.
Массу дискуссий вызвала недавняя история с Q* (произносится как Q star). Агентства Reuters и The Information сообщили, что исследователи OpenAI придумали новую модель под названием Q*, которая способна решать математические задачи на уровне начальной школы. Некоторые сотрудники OpenAI считают, что это может стать важной вехой в стремлении создать AGI (artificial general intelligence) — т.е. ИИ, который может выполнять широкий спектр когнитивных задач так же хорошо или лучше, чем люди.
Подробностей обо всей этой ситуации не так уж и много. Ожидаемо, некоторые эксперты скептически отнеслись к ситуации с Q*. По их мнению, AGI-система должна уметь не только решать математические задачи, но и понимать абстрактные понятия.
По большей части привлекающие внимание инциденты происходят с проприетарными и закрытыми системами. На фоне этого ряд компаний стремится демократизировать доступ к своим разработкам, в том числе чтобы работать с обратной связью и активно их совершенствовать.
Влияние законодательства в области ИИ
Крупных разработчиков нередко критикуют за негласные изменения пользовательских соглашений, позволяющие собирать ПД без возможности отказа. Это эффективно позволяет обучать ИИ работе с пользовательским контентом, но вызывает у многих клиентов дискомфорт.
В марте 2024 года Европарламент одобрил первый в мире закон об искусственном интеллекте. Закон обязывает разработчиков программ на базе ИИ составить техническую документацию, соблюдать законодательство об авторском праве и подробно описывать контент, используемый для обучения.
По мнению аналитиков компании Percona, развитие систем ИИ в ближайшие годы создаст прецеденты, которые станут базой для будущих законов в этой области. Но пока эксперты считают, что государственное регулирование не поспевает за высоким темпом развития технологий.
OpenAI, Google, Microsoft, Nvidia и другие крупнейшие игроки на рынке взяли на себя добровольные обязательства по разработке ИИ, включая разрешение независимым экспертам оценивать инструменты перед публичной презентацией, исследование социальных рисков, связанных с ИИ, и разрешение третьим сторонам тестировать уязвимости системы.
Сравнение подходов в разработки моделей
Учитывая контекст, среди представителей ИТ-сообщества становится все больше сторонников идеи, что открытые языковые модели вскоре затмят закрытые. Дистанция между закрытыми и независимыми разработками стремительно сокращается. Сравнительно компактные модели с числом параметров, не превышающим 20 млрд, легче тестировать и дообучать.
За примером далеко ходить не нужно — достаточно взглянуть на чат-бот Vicuna-13B с 13 млрд параметров, в основе которого лежит дообученная модель Llama. Предварительная оценка LMSYS Org показала, что Vicuna-13B достигает более 90% качества ответов ChatGPT и Google Bard. И более чем в 90% случаев превосходит другие модели, такие как LLaMA и Stanford Alpaca. Стоимость обучения Vicuna-13B при этом составляет около 300 долларов. Код и веса общедоступны для некоммерческого использования.
Как отмечал сооснователь OpenAI Илья Суцкевер, технологический разрыв между моделями варьируется: модели с открытым исходным кодом часто лидируют в инновациях и улучшениях, в то время как проприетарные модели могут предлагать уникальные, специализированные возможности и надежную поддержку.
При этом в будущем за любой успешной открытой моделью с большой долей вероятности будет стоять корпорация. Все дело в ресурсах, прежде всего, вычислительных мощностях и финансировании. Разработка первой версии ChatGPT-3 обошлась в $4,6 млн. На создание ChatGPT-4 компания OpenAI потратила уже более $100 млн.
К 2026 году стоимость обучения может превысить миллиард долларов. Это — колоссальная сумма, которую сложно собрать без огромных денежных вливаний от инвесторов. Дэвид Кан из фонда Sequoia обнаружил большой разрыв между ожидаемыми доходами, подразумеваемыми развитием инфраструктуры ИИ, и фактическим ростом доходов в экосистеме ИИ. Эксперт посчитал, что все ИИ-компании должны зарабатывать 600 млрд долларов, чтобы окупить вложения. А в реальности зарабатывают не больше 100.
Еще один ключевой компонент разработки моделей машинного обучения — данные. В этом смысле корпорации также находятся в выигрышном положении. Крупным игрокам проще заключить необходимые стратегические партнерства и получить доступ к данным в реальном времени — например, о погодных условиях в аэропортах. В таком случае гипотетическая проприетарная модель, которая предсказывает задержки вылетов, будет получать актуальные сведения и в теории обладать большей точностью.
Стоит отметить, что некоторые пытаются найти золотую середину в соперничестве между проприетарными и open source моделями. Так, фонды, продвигающие открытые разработки, и коммерческие предприятия уже заключают партнерские соглашения. Например, по этому пути пошли Fujitsu Limited и Linux Foundation, которые запустили два открытых проекта: SapientML и Intersectional Fairness.
SapientML фокусируется на технологии автоматизированного машинного обучения (AutoML), которая создает код для быстрого построения ML-моделей. Благодаря этому нововведению можно с легкостью создавать высокоточные модели и настраивать их для повышения производительности с помощью сгенерированного кода, оптимизируя процесс разработки.
В проекте Intersectional Fairness основное внимание уделяется борьбе с дискриминацией отдельных групп, возникающей из-за искажения данных в обучающих выборках. Основная цель проекта — создать технологию, способную выявлять и смягчать искажения, которые возникают, когда несколько атрибутов, таких как возраст, пол и национальность, взаимодействуют сложным образом.
Наконец, летом прошлого года авторы большой языковой модели Llama 2 объявили, что она будет бесплатной для исследователей и коммерческого использования. Они убеждены, что модели на базе открытого кода являются единственно верным решением для дальнейшего развития индустрии.
В то же время разработчики крупнейшей социальной сети заключили стратегическое партнерство с NASA, Intel и Гарвардским университетом, запустив проект AI Alliance. Его задача — поспособствовать стандартизации и улучшению этической парадигмы в сфере разработки систем искусственного интеллекта.
Заключение
Ажиотаж вокруг генеративных моделей привел к бурному росту рынка систем искусственного интеллекта. Но ИТ-сообщество высказывается по-разному по поводу будущего открытых и проприетарных ML-моделей. Открытые языковые модели, такие как Vicuna-13B, показывают высокое качество при сравнительно низкой стоимости обучения, увеличивая свою популярность среди разработчиков. Тем не менее, разработка сложных моделей требует значительных ресурсов, что ставит крупные корпорации в выгодное положение благодаря их доступу к данным и стратегическим партнерствам.
Идея нахождения золотой середины между проприетарными и открытыми моделями уже находит отражение в реальных проектах, таких как сотрудничество Fujitsu Limited и Linux Foundation. Совместные проекты направлены на создание технологий, способных устранять искажения данных и автоматизировать машинное обучение. В будущем за любой успешной открытой моделью, вероятно, будет стоять крупная корпорация, учитывая огромные затраты на разработку и обучение.
