Все мои знакомые из тех, кто сегодня трудится в ИИ (как в академической, так и в промышленной сфере), сейчас буквально наэлектризованы тем импульсом, что пошёл от ChatGPT. Первый момент в истории ИИ, сравнимый с выходом iPhone. Работать в этой среде крайне обременительно сразу по множеству причин: выгорание, амбиции, помехи, законодатели мнений, потенциал финансового роста, этические соображения, пр.
ChatGPT сработала как вспышка, повлекшая карьерные перемены, забрасывание проектов, а также массу попыток запустить новые компании в этой области. Вся индустрия претерпела всеобщую встряску, благодаря чему система преисполнилась энергии. Теперь практически ежедневно поступают новые анонсы о моделях и продуктах. Когда мне довелось поговорить об этом с другом — он профессор, занимающийся NLP (обработкой естественного языка) — он сказал, что мы уже дошли до точки, когда пёстрая братия состоявшихся исследователей готова бросать кафедры и основывать компании, либо вступать в них. Такие вещи происходят не каждый день — так что можно считать оглушительным успехом наступившую ситуацию, в которой удалось отбить у учёных охоту заниматься академическими исследованиями. Ландшафт просто бурлит.
Аспиранты конкурируют с компаниями, опирающимися на венчурный капитал. С высокоуровневой технологической точки зрения, общая перспектива просто потрясающая. С точки зрения инженера, работающего на земле, остаётся сожалеть о недостаточной стабильности и отсутствии годных подсказок. Если работать в условиях такого шума, то очень сложно не расслабляться и пахать.
Складывается впечатление, что все одновременно крайне мотивированы и очень близки к выгоранию. Учитывая, как сейчас многолюдно во всех проектах, связанных с генеративным ИИ и чатботами, наблюдается выраженный синдром «будь первым или будь лучшим» (также успех отсчитывается и по третьей оси, которая называется «открытость»). Эти тренды вас, мягко говоря, поджимают. В конечном итоге, именно эти факторы формуют создаваемый продукт при неимении тщательной инженерной проработки и подробной документации. В последние месяцы важнейшей движущей силой становится кликбейт, что довольно кисло.
Для начала давайте сделаю шаг назад и чётко артикулирую, как изменилось моё мировоззрение в эру после ChatGPT. Я считаю в основном верными два следующих допущения:
Большие языковые модели (БЯМ) всерьёз и надолго закрепились в качестве одного из основных средств машинного обучения в большинстве предметных областей. Во многом именно так воспринималось глубокое обучение лет 6 назад, когда я писал диссертацию. Найдутся предметные области, в которых верх возьмут другие технологии, но нормой это не станет.
Безопасность ИИ — это реальная проблема, которая начинает открыто выходить в публичную плоскость. Поскольку я успел поучаствовать и в первом акте этих событий, меня по-настоящему напрягает необходимость сразу втиснуть эту тему в общепонятные рамки.
Именно на основе двух этих допущений настолько забавно наблюдать, какими быстрыми темпами меняется отрасль. Я только что подчеркнул важность безопасности и подбора инструментов, если мы хотим закрепиться здесь всерьёз и надолго. Соответственно, люди сосредотачиваются на обучении и стремятся действовать во благо — отсюда простая логика, что никакой гонки в области ИИ быть не должно. Динамика этой гонки объясняется чисто капиталистическими стимулами. Признавать давление этих факторов и выруливать между ними — единственный выход, если мы собираемся работать в этой отрасли сколь-нибудь долго.
Этот пост развивается как всё более глубокое погружение в ту динамику, которая наблюдается сегодня; этот предмет разобран в разделе «Состояние дел». Далее рассмотрены некоторые вещи, которым я отдаю приоритет с целью обеспечить долгоиграющий эффект: «Что делать».
Состояние дел
В наши дни расстановка приоритетов — дело реально сложное. Если вы одержимы идеей первенства, учтите, что финишные флажки будут постоянно отодвигаться по мере выхода новых моделей. Очень сильна потребность не только быть лучше, но и отличаться от остальных. Для некоторых уже состоявшихся компаний ситуация усугубляется следующим вопросом: «а почему не мы выдали этот релиз/продукт, эту модель»? Исследователям, обладающим свободой маневра, исключительно сложно распределять цели между позволительными, достижимыми и результативными.
Рассматривая свежий пример с россыпью новых командно-настраиваемых моделей Llama (Alpaca, Vicuna, Koala и Baize), признаем, что для такого ударного продвижения обычно приходится жертвовать строгостью оценки. Все эти модели (кроме Alpaca, поскольку она была первой) быстро актуализируются в нарративе, а потом забываются. Был вирусный всплеск в Твиттере, пару дней тему обсуждали на каждом углу, а потом волна исчезает — снова штиль. Создаваемые артефакты не являются полноценно исследованными продуктами. Без основательной оценки заявленные цели этих проектов в основном ничем не подкреплены и должны игнорироваться отраслевыми рецензентами до тех пор, пока документация по проектам не будет доработана . (Думаю, от рецензентов такой добросовестности ожидать можно, а от GPT4 — нет).
Наверняка есть много таких проектов, которые негласно урезаются или переносятся при выходе такого релиза. Сложно спроектировать план действий, который оставался бы нечувствителен к внешним переменам, если стимулы так сильно диктуются настроениями рынков.
Вот ещё один симптом такой динамики, усложняющей расстановку приоритетов: руководство проектами и их планирование загоняются во всё более жёсткие рамки. Когда ИИ развивался медленнее, исследователям было проще плыть по течению, зная, что будет дальше. Двигатель прогресса в основном — НИОКР, а не другие каналы, поэтому большинство прогнозируемых событий остаётся в поле зрения. Многие компании пытаются делать прогнозы, чтобы угодить сотрудникам, но на практике действительно очень нетривиальная задача — составить план, который переживёт ближайший мажорный релиз открытой модели. Осёдлывать тренды — настоящее искусство, но те немногие, кто наиболее им овладеет, облегчат своим сотрудникам расстановку приоритетов. Думаю, в долгосрочной перспективе такой подход оправдается в тех немногих организациях, которые упирают на стратегию процессно-ориентированных лабораторий машинного обучения. Те же, кто фокусируется на заготовке артефактов, быстро сталкиваются с повышенной текучкой кадров и другими последствиями.
Команды разработчиков отчаянно надеются на руководство, которое предоставило бы им такие стратегии, чтобы разработчики затем могли бы спланировать качественную тактику. Думаю, лучшие планы — такие, которые не слишком меняются при выходе новой ультрасовременной модели, а просто доводятся.
Притом, что долгосрочное планирование — это сложно, сейчас легко стать законодателем мод в ML, так как к этой области приковано всеобщее внимание. Повсюду распространились копипастеры статей — люди обмениваются в Твиттере аннотациями новых статей с Arxiv в стиле AK. По моим наблюдениям, шанс на успешный твит есть у каждого, кто хотя бы отдалённо причастен к теме. Но многие люди, так поступающие, ошибочно принимают славу за репутацию. В ML и технологической индустрии в целом людей берут на работу именно за репутацию, а не за славу. Два этих показателя коррелируют, но есть разница, на кого рассчитан имеющийся у вас рупор: на широкую аудиторию, интересующуюся ИИ, либо на исследователей и инженеров из тех компаний, которые станут вашими клиентами. С тех пор, как я изучил мою статистику на Substack (где подписчики на любую из публикаций пересекаются менее чем на 10%), я пришёл к выводу, что люди могут подбирать себе очень специфическую аудиторию. Если без разбора ссылаться на любые популярные статьи, то можно размыть собственную аудиторию.
Алгоритмы, создаваемые силами сообщества, обычно стимулируют нас напирать на эту динамику (где тон задают лидеры мнений). Некоторое время мне казалось, что сообщество ML действует независимо от инфлюэнсеров (например, статьи прочитываются в хронологическом порядке), но теперь границы наших групп размылись, а стимулы, действующие в хронологических лентах, меняют людей. Когда Илон захватил Twitter, все хотели оттуда уйти, но немногие перешли от слов к делу (жму вашу руку, если вы смогли). Насколько я вижу, это даёт двоякий эффект:
Те, кто наиболее сосредоточен на разработке ИИ, оказались вытеснены из социальных связей. Вероятно, это усугубляется динамикой инфлюэнсеров, занявших ту нишу, где ранее были специалисты, а также взрывным ростом всеобщего внимания к отрасли. Я всеми силами пытаюсь пользоваться Twitter в качестве сети для распространения информации, но складывается ощущение, что именно в этой сфере раскрывается ML. Не уверен, как лучше, но думаю, что всегда нужно прислушиваться к телу и разуму: чего они требуют.
На горизонте маячат социальные проблемы, поэтому самые ответственные проектировщики тех ML-систем, на которые общество реагирует положительно, полагают, что обязаны оставаться в деле. Более того: когда приходит осознание, что ML так сильно влияет на общественные институты, работа воспринимается ещё более эмоционально и приводит к выгоранию. Бережное отношение — это сложно!
Многие проблемы, связанные с ответственной разработкой ИИ, перешли из лабораторий в реальность, когда 100+ миллионов человек стали пользоваться ChatGPT. Все представители широчайшего сегмента — от теории безопасности ИИ до исследования честности ML — получили сильнейший мобилизационный призыв за всю свою карьеру. Зачастую им приходится иметь дело с серьёзными игроками из других предметных областей (не только ИИ) и реагировать на критику своих идей, что в данном случае наиболее существенно.
Например, наблюдается масса исследований и социотехнических вопросов насчёт обучения с подкреплением на основе отзывов (RLHF), которыми наверняка не станут заниматься OpenAI / Anthropic — в основном по причинам политкорректности и маркетингового характера. Кажется, что вся отрасль неудержимо прогрессирует в техническом отношении, но отчётливо пренебрегает вопросами, касающимися безопасности и предвзятости, соблюсти все тонкости которых маленькой команде очень сложно. Успел я или нет на поезд в грядущее, мне кажется очевидным, что в ближайшие месяцы эти вопросы широким фронтом выйдут в публичную плоскость. Именно поэтому я решил не выключаться, продолжая открыто обсуждать вопросы социотехнического характера. В конечном итоге, соображения безопасности легко перевешивают своё стремление к техническому прогрессу. Подобная социотехническая безотлагательность — это фактор, который я ещё долго не ожидал ощутить в разработке ИИ.
Из-за всех этих базовых опасений кажется, что работать в ИИ — словно жечь свечу с обоих концов. Именно поэтому меня качает между пиковым за всю жизнь уровнем мотивации и ощущением, что я вот-вот выгорю. Такой эффект подхлёстывания очень выматывает. Сложившийся дискурс мотивирует всех, занятых в сфере ИИ, и одновременно давит на нас, поэтому просто не забывайте видеть человека как в ваших коллегах, так и в конкурентах.
Всё это происходит на фоне серьёзных геополитических обертонов, заставляющих меня задуматься о призыве ввести мораторий на исследования ИИ. Я не чувствую себя достаточно квалифицированным, чтобы это комментировать (да и не хочу комментировать). Но по мере усиления ИИ всё громче будут становиться призывы к его национализации, а потом начнут сравнивать, по чью сторону границы ИИ сильнее. Появятся такие метафоры как «Манхэттенский проект в ИИ» или «Билль о правах ИИ», которые приобретут огромный социальный вес в условиях уже треснувшего государственного и глобального порядка. ИИ распространяется и проникнет во все проблемные области, напрягающие современное общество. Такая общая перспектива также может привести к крайней изоляции тех, кто занимается ИИ.
Что делать
Большинство из тех вещей, которые я стремлюсь реализовать, ориентированы на процесс, а не на результат. Этот раздел не завершён, поэтому не стесняйтесь комментировать, если видите какие-то действенные для себя решения!
Ситуацию может немного упростить поиск утешения в научном методе. Когда вы стремитесь к прогрессу, а не к вирусности, вам гораздо проще примириться с постоянными релизами новых моделей, которые могут показаться частично подрывающими ваш текущий проект.
Амбиции ради амбиций не так интересны, когда вокруг столько лёгких денег, прямо просящихся к вам в кошелёк.
Не виню никого, кто решает: пришло время бросить исследовательскую карьеру и прямо сейчас пытаться обогатиться. Но я крайне восхищён теми, кто намерен не выпадать из работы, докопаться до сути проблем и (есть такая надежда) приобщиться к происходящему. Не только я изо дня в день пытаюсь справиться с этим разновекторным прессингом. Как уравновесить стремление поскорее зарелизить отличную модель и стремление выстроить оптимальную инженерную инфраструктуру, которая позволила бы возводить наилучшие модели за 3, 6 или 9 месяцев? Как уравновесить ведение блога для моей умной нишевой аудитории и стремление писать более популярные посты, которые позволили бы мне завоевать более широкую аудиторию? Уравнение со многими неизвестными.
Люди часто наслаждаются своей исследовательской работой именно в тех ситуациях, когда стремятся вникнуть в детали и сами во всем разобраться. Честно говоря, складывается ощущение, что чем сильнее на протяжении карьеры моя работа затачивалась под исследование ИИ, тем меньше внимания я уделял процессам. Желание «доделать» сужает доступное временное окно для оптимизации. Вас легко может увлечь волна прогресса, хайпа и престижа. Всё, что вам остаётся — задаваться вопросом: «А зачем я это делаю»?
Чтобы проще было пережить эту борьбу всех против всех, следуйте совету Теда Лассо: будьте золотой рыбкой. Когда события развиваются с такой скоростью, важно помнить, что вы могли убить на что-нибудь массу усилий напрасно, так как проект будет заброшен. Лучшее в такой ситуации — просто принять её и делать своё дело. Поверьте, не один вы с этим столкнулись.
Для тех, кто работает индивидуально, время научиться не воспринимать эти мини-откаты как поражения: задайте вашему начальнику или его представителю какие-нибудь вопросы, сформулированные в этой статье. Если в вашей компании нет плана, то ваши вопросы, как минимум, помогут осознать, что проект пришлось отменить не целиком по вашей вине.
В конце концов, хочу напомнить житейскую мудрость сёрфингистов: приходится много побарахтаться, прежде чем поймаешь волну. Это полностью соответствует событиям, разворачивающимся сейчас в ИИ: кажется, что вокруг много людей, оседлавших эти высоченные волны успеха, но на самом деле они достигли гребня ценой долгого упорного и скучного труда (и некоторой удачи).
