Майкл Делл, основатель и директор Dell, сообщил, что компания в первом квартале получила заказов на оборудование для ИИ на сумму 12,1 млрд долларов, превысив общий объем поставок за весь 25 финансовый год. И ещё остаётся портфель заказов в 14,4 млрд долларов.
ИИ-агенты могут убить привычный нам Интернет, e-commerce и заодно порушить весь рекламный рынок
Традиционный WWW построен вокруг людей: сайты оформлены для человеческого восприятия, а рекламные бюджеты тратятся на то, чтобы привлечь внимание и убедить пользователя сделать покупку.
Но с приходом в нашу жизнь ИИ-агентов эта модель устаревает:
ИИ-агенты не реагируют на рекламу так, как люди. Они не подвержены эмоциям, не кликают на баннеры и не нуждаются в вдохновляющих слоганах.
Они совершают покупки рационально, сравнивая цены, характеристики и сроки доставки автоматически, без влияния брендинга и маркетинговых трюков.
Сайты становятся интерфейсом для ботов, а не для людей: ИИ-агенты требуют структурированных данных, а не красивых витрин и описаний.
И по мере того, как ИИ-агенты будут все чаще совершать покупки в интернете вместо нас, встает вопрос изменений не только привычной инфраструктуры E-commerce, но и в ценности диджитал рекламы в сети.
Руководители e-commerce-компаний уже называют массовое появление ИИ-агентов «экзистенциальной угрозой» для всей отрасли. Стартап New Gen предлагает решение, позволяющее адаптироваться к этой новой реальности, предоставляя разные интерфейсы для людей и агентов, что помогает брендам хоть на первых порах не потерять позиции на рынке электронной коммерции.
И поскольку первый уровень коммуникации, будь то контент или продукты, все больше будет обрабатываться ИИ-агентами, для бизнеса теряется самое главное, вовлеченность и прямая связь с клиентом. А живые люди так давно все в замкнутых экосистемах и комьюнити живут (соцсети, мессенджеры).
И тогда, возможно (это гипотеза), последней точкой коммуникации с клиентом станут голосовые интерфейсы, о важности которых, говорю не только я в Новых парадигмах создания продуктов, но и уважаемый Эндрю Ын, профессор Стэнфордского университета, исследователь робототехники, машинного обучения и искусственного интеллекта.
А еще в этом же видео профессор Эндрю Ын говорит о подходе "кубиков Лего", как о современном принципе построения сложных систем из множества готовых инструментов и модулей, о чем я буквально на днях писал на Хабре, правда в другом контексте, как о способе создавать и монетизировать свои микро-продукты.
И если скорость роста когнитивности моделей останется прежней, то это все уже не просто технологическая эволюция, а скорее фундаментальный сдвиг, который может разрушить привычный нам Интернет, E-com, цифровую рекламу и заставить бренды пересмотреть все свои подходы к продаже и коммуникации.
Контент сайтов будет генерироваться ИИ в реальном времени под конкретного пользователя или агента. А интерфейсы станут «невидимыми», взаимодействие будет происходить через голос, а там глядишь и через нейроинтерфейсы.
Подключайтесь к митапу об Open Source и ML через час
Ровно через час, в 18:00, вместе с ODS проведем митап с двумя полноценными сессиями. Мы расскажем про инфраструктурный ML, а ODS — про Open Source. Подключайтесь к трансляции!
Доклады
Автоскейлинг инференса в k8s
ML-платформа на базе ClearML с Dataset Mesh-принципами
Эффективный мониторинг территорий: MLOps для семантической сегментации спутниковых снимков
MLOps для дата аналитики: автоматизация ETL-процессов c помощью ClearML
SVETlANNa = свет + artificial neural network: как физики делали Open Source и что из этого вышло
Платформа для обучения нейронных сетей
Проблемы и текущие решения в области real-time feature engineering / data processing в ML. Оpen Source проект Volga
Переходите по ссылке и до встречи в эфире ❤️
Личное vs. рабочее: почему мы так по-разному реагируем на цифры
Привет, я Наталия. Уже почти 10 лет я работаю с контентом: строю редакции, веду проекты, держу фуллтайм-нагрузку в паре-тройке проектов одновременно и не сдаюсь в хаосе дедлайнов. А ещё я веду маленький Telegram-канал. И вот о нём — и о странных эмоциях, которые он вызывает — этот текст.
Почему мы в личных проектах переживаем в десять раз сильнее
На работе метрики — это просто цифры.
Упала конверсия? Соберём ретро, построим гипотезы, потестируем.
Вырос трафик? Посмотрим, что сработало, и масштабируем. Мы как будто в броне: есть данные, есть логика, есть процессы.
А теперь представьте, что у вас свой канал или блог. Маленький. И вот однажды утром вы открываете статистику — и видите минус два подписчика. Вроде бы ничего страшного. Но внутри уже начинается паника:
— Почему ушли? — Кто? — Последний пост был неудачный? — Может, я всё зря пишу?
Если в рабочем проекте цифры — это инструмент, то в личном они легко становятся оценкой вас самих. И вот вы уже не продюсер и не редактор, а школьник на контрольной.
Почему так происходит
Мы теряем дистанцию. Личный проект = личная уязвимость. Нам кажется, что каждый минус в статистике — это минус к нашей ценности. В работу встроены роли, процессы, расстояние. А здесь — только вы и ваш голос. И любая реакция на него считывается как реакция на вас целиком.
Это классическая ловушка субъективной оценки:
смешиваются результат и личность;
отсутствует внешняя система координат;
нет чётких KPI, а значит, любое отклонение воспринимается как провал.
Что с этим делать
Вот что помогает мне — и, возможно, сработает для вас:
Превращайте эмоцию в структуру. Вместо «я пишу плохо» — «вот 3 поста с меньшей вовлечённостью, посмотрю, что в них общего». Данные всегда мощнее домыслов.
Разведите зоны «личное» и «проектное». Даже в личном блоге можно сформулировать цель, темы, гипотезы. Так вы остаетесь автором, а не только героем текста.
Ведите логи и ретроспективы. Это работает не только в командах. Фиксируйте, что сработало, что не зашло, что вы чувствовали. Эмоции становятся заметными, когда их видно на шкале времени.
Не обесценивайте масштаб. Ваши 150 подписчиков — это не «мелочь». Это 150 реальных людей. И вы с ними — не воронку настраиваете, а доверие строите. Это сложнее. И важнее.
Вместо вывода
Личный проект — это вызов. Он без фильтров. Он про вас. Но именно в нём можно вырасти вглубь, не только вширь.
Если вы тоже дрожите над каждой цифрой в статистике — вы не один. Это нормально. Главное — не дать этим цифрам обесценить то, что вы делаете.
И да, я всё ещё веду тот самый маленький канал. Иногда с паникой. Но всё равно — с текстами. Потому что это и есть мой способ выстраивать структуру в хаосе.
Эволюция кибербезопасности: от первых компьютеров до сегодняшнего хайпа
Эксплойты, вирусы, даркнет — сегодня эти слова в новостных лентах появляются чуть ли не каждый день. В СМИ муссируются крупные DDoS-атаки. Невидимый фронт ИБ не спит ни минуты.
В одиннадцатом выпуске подкаста «Теория большого IT» выясняем, как начинался кибербез, откуда сегодняшний хайп вокруг ИБ и что представляют собой реальные угрозы для информационных систем.
Рассказывают директор по информационной безопасности РТК-ЦОД Денис Поладьев и директор центра противодействия кибератакам Solar JSOC группы компаний «Солар» Владимир Дрюков.
Ведущий — Александр Соколов
Выпуск можно посмотреть:
Кейс. Как Альфа-Лизинг интегрировал в ESM-платформу 9 отделов (ИТ, HR, АХО, бухгалтерию и др.) и повысил эффективность их работы на 33%
Знакома ситуация, когда процессы разных подразделений — разрозненные, неподконтрольные, а сотрудники тратят часы, чтобы просто понять: «к кому обратиться?». HR живёт по одним правилам, ИТ в Service Desk или ITSM — по другим, АХО — вообще в Excel. Вопросы теряются в переписках, задачи дублируются, никто не несёт полной ответственности за сроки или качество внутренней услуги. В итоге страдает не только конечный потребитель услуги — ваш сотрудник или клиент, но и бизнес из-за низкой производительности отделов.
10 июня на примере Альфа-Лизинг вы узнаете, как компания совершила эволюционный переход от классического ITSM к полноценной ESM-модели, объединив более 9 бизнес-подразделений (ИТ, HR, АХО, бухгалтерию и другие) в единой цифровой среде и повысила операционную эффективность подразделений на 33%, окупив внедрение ESM-платформы за 7 месяцев.
Когда: 10 июня в 15:00 (МСК)
Почему компании переходят от ITSM к ESM — стратегические цели и выгоды.
Как побороть разрозненность процессов и «силосное» мышление между подразделениями.
Культурный сдвиг: как ESM меняет подход к работе внутри компании.
Как выстроить единую цифровую экосистему внутренних сервисов с участием ИТ, HR, бухгалтерии и других функций.
Реальные кейсы внедрения ESM в нетехнических подразделениях.
Техническая реализация: архитектура, процессы, автоматизация.
Метрики и результаты: скорость обслуживания, удовлетворённость, ROI
В Облаке Рег.ру запустили услугу резервного копирования
Добавили в облачной платформе возможность автоматизированного создания, хранения и восстановления резервных копий. Этот релиз — первый шаг по запуску полноценного Backup as a Service в Облаке Рег.ру.
Что внутри нового сервиса:
настройка расписания бэкапов и снапшотов;
удаленное хранение бэкапа;
восстановление сервера до нужного состояния, если возникнет такая необходимость;
создание снапшотов.
Теперь пользователи могут сами настраивать политику хранения бэкапа — от ежемесячной до ежедневной. На случай локальных сбоев предусмотрели защиту от потери данных — консистентные резервные копии хранятся в удаленном объектном хранилище S3. Отсюда и повышенная катастрофоустойчивость инфраструктуры пользователей в целом. Тарификация происходит по модели pay-as-you-go за фактический объем хранения.
Следите за нашими новыми обновлениями!
Летняя школа Surf: учим IT-профессиям на практике
Мы запускаем интенсивы в формате школы — онлайн-занятия, которые помогут разобраться, что такое работа в IT и с чего начать. Погрузиться вместе в IТ-профессии: мобильную и фронтенд-разработку, бизнес-анализ и тестирование ПО.
Для кого: для студентов, джунов и всех, кто хочет в IT, но не знает, с какой стороны подступиться
Зачем: чтобы получить крепкую базу по востребованным направлениям. Говорим про разработку, тестирование, бизнес-анализ — и, да, немного про AI тоже. Тем, кто проявит себя, предложим продолжить обучение уже внутри команды Surf.
Чему именно будем обучать:
QA — разберёмся, как искать баги и помогать делать продукты лучше.
BA — научим превращать идеи заказчика в понятные задачи для команды.
Разработка — Android, iOS, Flutter (один код — несколько платформ), Frontend.
Можно приходить слушать все занятия и потом выбрать направление, которое откликнется.
Что ещё:
Никакой духоты и формальностей, объясняем по-человечески.
Примеры — с реальных проектов Surf.
Поощряем нейроэнтузиазм: покажем, как AI может помочь, и дадим применить это в заданиях.
Если нужно — оформим как учебную или производственную практику, с документами поможем.
Расписание, подробности и форма заявки — на сайте школы.
Если у тебя остались вопросы про школу, пиши нам на Хабре или в Telegram.
Заработать 150 000 рублей, просто порекомендовав хорошего специалиста?
Ozon Tech ищет опытных экспертов уровня senior+ в Data Science и готов заплатить 150 000 рублей за наводку.
Как это работает?
1. Вы рекомендуете знакомого (если сами не работаете в Ozon).
2. Его берут на работу, и он успешно проходит испытательный срок.
3. Вы получаете бонус — 150 тысяч рублей.
Важно, чтобы кандидат тоже не работал в Ozon и не проходил интервью как минимум последние 3 месяца.
Количество рекомендаций не ограничено — чем больше хороших специалистов вы знаете, тем больше можно заработать. Только нельзя рекомендовать самого себя (но можно попросить друга вас порекомендовать 😏).
🔗 Подробнее о вакансиях и условиях.
А если хотите откликнуться на вакансии без участия в реферальной программе, заходите на наш карьерный портал:
Старший Data Scientist, Рекламный аукцион и управление ставками
Data Scientist, Рекомендации и персонализация
Старший Data Scientist, Факторы ранжирования
Павел Дуров рассказал, что количество пользователей Telegram Premium достигло 15 миллионов. Каждые 8 месяцев прибавляется по 5 млн новых пользователей подписки: в январе 2024 года у Telegram Premium было 5 миллионов подписчиков, а в сентябре — уже 10 миллионов.
19 июня 2022 года в мессенджере Telegram стала доступна подписка Premium. По словам разработчиков, эта опция «позволит и дальше развивать и совершенствовать Telegram, чтобы он оставался бесплатным, независимым и ориентированным на пользователя».
Зумеры массово записываются на курсы по взрослению. Причина проста: они не справляются с базовыми вещами. Варить рис, пришивать пуговицу, выбирать продукты — всё это требует инструкций, а иногда и помощи нейросетей.
В Канаде и США вырос спрос на экспресс-курсы Adulting 101. Там учат всему, что раньше передавалось «от мамы к сыну»: как не уйти в минус на аренде, не поджечь сковородку и вообще не растеряться перед стиральной машиной. Психологи говорят: выросло поколение гиперопеки и цифрового комфорта, которая разбирается в трендах и TikTok, а реальность им даётся с трудом.
Почему я отказался от Tilda и разместил портфолио в Teletype
Старое портфолио uxvo.ru (не бойтесь жать, просто нет SSL поскольку нет денег на хостинг)
Новое портфолио — teletype.in/@denvo
Основных проблем у Tilda две: нельзя загружать hi-res изображения, все изображения сожмутся до 1680 (в моем случае, когда я показываю интерфейсы, они размываются, это неуважение к коллегам, кто смотрит мое портфолио. Все должно быть четко.) Например на сайте pinkman.ru картинки c разрешением 2400px по ширине.
Вторая причина — Dark pattern c автоплатежом и отсутствие SSL соединения для бесплатной Tilda (раньше было SSL, а сейчас нет, они его не предоставляют, изволь оплатить 750р/мес за Tilda и за хостинг).
Благодарю от души ребят, вы лучшие. Более удобного и классого инструмента нет. С учетом блокировки Notion и неимения времени вы-бываться на Behance или D-profile.
Разработали первый в России «Индекс клиентоцентричности IT-компаний»
И поделились трендами в новом совместном исследовании Cloud․ru и Высшей школы экономики 📊
Поскольку пользователи всё чаще ожидают от взаимодействия с IT-сервисам не только услугу, но и персонализированный опыт, актуальнее становится возможность оценить — реально ли компания ориентирована на глубокое понимание и интеграцию клиентских ожиданий?
Мы провели исследование и оценили 40 ведущих компаний по критериям:
корпоративная культура, ориентированная на клиента;
проактивная позиция и быстрая адаптация к запросам;
активное использование цифровых технологий и искусственного интеллекта;
контроль взаимодействия с клиентом во всех точках контакта и анализ обратной связи;
вовлечение клиентов в создание и улучшение продуктов.
Один из выводов: IT-компании, разрабатывающие и использующие AI-технологии, быстрее адаптируют инновации для улучшения клиентского опыта и способны делать более персонализированные предложения.
А про остальные тренды можно прочитать в исследовании 🔍
Представьте вакансию будущего:
«Ищем в команду сильного продакт-менеджера, сертификат superworker не старше 6 месяцев, версия прошивки BCI не ниже 1.2.2047, допустима beta. Обновление прошивки за счёт работодателя по итогам performance review при условии успешного прохождения испытательного срока. Международная прошивка является преимуществом»
Научная фантастика? Не совсем. Уважаемый человек-эйчартех Josh Bersin рассказал кто такой superworker (вот тут его пост) с водой и нудятиной, если вам мало моей). И это не тот парень, у которого есть друзья в каждом отделе. Эточеловек, который использует ИИ для значительного повышения своей производительности, эффективности и креативности. Проще говоря чел со скилл-экзоскелетом, который будет работать за всех тех устаревших бедолаг, которых мы упорно сокращали в последние годы. По сути это легализованный на уровне бигтеха вечный стартап, где ты должен и тесто замесить, и печь починить, и пирожки продать. Но теперь у тебя есть ИИ, поэтому считается, что ты не устанешь слишком сильно.
Вижу здесь не столько угнетение и галерный минус-вайб, сколько прикольный сдвиг парадигмы в бошках: те, кому повезёт устроиться на работу, будут широки и глубокими специалистами, настоящими T-shaped воинами (именно такими должны быть современные продакты в несбыточной влажной фантазии примерно любого работодателя).
В общем, работать за пятерых станет не подвигом в детстве ударенного по бошке эмоциональными качелями родителей трудоголика, а вполне себе вывозимой (но это не точно)нормой.
А что по прошивке BCI? Это некстлевел суперворкера, как сказала бы Зоя Вексельштейн. BCI — brain-computer interface, USB поколения альфа.
Гибкая основа позволяет массивам микроигл соответствовать контурам мозга, что улучшает запись мозговой активности с высоким разрешением
Сандиеговская инженерная школа рассказывает об устройстве игольчатого шлейфа, который можно укладывать поверх серого вещества, чтобы суперворкер взаимодействовал с ИИ-шкой не ртом или пальцами, а мозгом. Изобрели давно, в 2022 году, протестировали на мышах. Говорят, что работает и превосходит своего предшественника — девайс Utah Array, который помогает жертвам инсульта и с повреждением спинного мозга взаимодействовать при помощи мысли с роботизированными конечностями.
Моя гипотеза (после ночи почти без сна): запрос на суперворкеров хоть и пока не формализован, уже очень большой, а BCI — следующий шаг на пути к производительности белковых существ и экономии на ФОТ.
Вот только если верить исследованиям, с этими всеми ИИ и бешеными по масштабам дата-центрами, работать суперворкеры будут в противогазах.
// Пишу про будущее работы
Как получилось, что юристы используют среду для разработчиков?
e/acc часто пишет про изменение индустрий, вижн будущего, которые он берет из исследований либо из общения с фаундерами (со стороны инвестора). И я у него на канале не первый раз вижу упоминания одной странной штуки.
Мол, можно взять AI среду для разработчиков Cursor и настроить ее как рабочую программу для неразработческих задач. Звучит сомнительно. Но я попытался "покритиковать свою критику", вот что вышло:
Зачем вообще сложный Cursor вместо простого chatgpt?
Встроенная реализация агентов
Система планирует новые действия на основе результатов предыдущих. Пример агента – openai deepresearch. Он понимает, на какие сайты еще сходить на основе того, что уже нагуглил.
Агент выполняет сложную последовательность шагов (пройтись по гуглтабличке с ссылками на видосы, скачать их, вытащить из них аудиодорожку через ffmpeg, сделать транскрибацию, саммари и сохранить в файлики). Даже если она не известна заранее.
Рабочий контекст
Часто у нас есть какой-то рабочий контекст. Файлики, таблички, инструкции. Программистам важно быстро добавлять нужный контекст к запросам, и Cursor поддерживает это by design. Можно сослаться на конкретный файл или папку. И результаты тоже сразу сохранятся в виде готовых файлов. Плюс есть .cursor/rules "настройками" поведения LLM под разные задачи.
Встроенная расширяемость
Сейчас популярны MCP-серверы – унифицированные обертки над внешними сервисами, дающие к ним доступ LLM-агентам. В два клика даем системе доступ к корпоративному Notion или гугл календарю. Если подходящего нет, просто просим LLM написать его самому. А можно не трогать MCP, а просить разработчиков или LLM писать python-скрипты – агент будет их использовать в дальнейшем.
Очень удобная работа с текстом.
Cursor – лучший инструмент для написания текстов. Он умеет завершать предложения за меня, на лету исправляет падежи, сам понимает, куда я хочу переместить курсор. Можно выделить часть текста и дать задачу чисто под нее. Можно сделать что-то со всем текстом и он подсветит изменения.
По сути, если вы работали с Canvas режимом в ChatGPT, то на пальцах:
ChatGPT < Canvas < Cursor
А точнее
ChatGPT < Canvas <<< Cursor
А что мешает сделать себе полноценный сервис под свою область (ко мне часто приходят с таким запросом)?
Реализовать нормальную агентскую систему – сложно. Бизнесу дешевле взять уже готовое и расширяемое. Но собственные системы можно и нужно делать, когда есть четкие повторяемые задачи, где есть потенциал свести участие человека к минимуму.
А вот если задач много, разных, они не разбиваются на заранее известную последовательность шагов + нужен человеческий контроль/планирование, то я пока не могу ничего лучше придумать, чем Cursor. Переобулся, короче.
P.s. у меня гораздо менее технооптимистичный взгляд, чем у e/acc, и вижу много сложностей во внедрении таких инструментов в реальном бизнесе, но где-то это может сэкономить десятки тысяч долларов.
Если нравится такой формат авторских разборов, добавляйтесь в мой тг канал AI и грабли – пишу свои выводы из того, с чем сталкиваюсь на практике. Например, инструкция, как анализировать чаты в тг
Доступен простой и понятный учебник для начинающих веб-разработчиков для обучения HTML и CSS. Информация на ресурсе подана максимально понятно, сопровождается графиками и примерами использования технологии.
Порождающие паттерны Prototype и Singleton: а минусы будут?
В новой серии открытого курса «Паттерны и практики написания кода» мы завершим изучение порождающих паттернов знакомством с двумя шаблонами — паттерном Прототип и паттерном Синглтон. Вместе с бэкенд-инженером Юрой Афанасьевым разберемся, почему паттерн Prototype — простой в реализации — используется редко, а паттерн Singleton — самый критикуемый.
Подписывайтесь на канал AvitoTech в Telegram, там мы рассказываем больше о профессиональном опыте наших инженеров, проектах и работе в Авито, а также анонсируем митапы и статьи.
Как защитить товар с помощью географического указания?
Понятие «географического указания» было внесено в Гражданский кодекс РФ в 2019 году (начало применяться — с 2020 года).
Под ним понимают обозначение, идентифицирующие происходящий с территории товар, определенное качество, репутацию или иные характеристики, в существенной степени связанные с его географическим происхождением. То есть, иначе говоря, зарегистрировавшись под географическим указанием, предприниматель защищает свой «региональный бренд» и уникально-производимый им товар.
Как происходит регистрация географического указания в России?
Здесь все идет поэтапно.
1. Сначала подается заявка. В ней указываются следующие параметры:
непосредственная просьба о госрегистрации;
сведения о качестве, репутации или иные характеристики, которые связаны с географическим происхождением;
объект, который предлагается для оформления;
сведения, касающиеся связи характеристик с местом происхождения;
описание характеристик товара (здесь предоставляются физические, микробиологические, химические или иные свойства, имеющие значение для регистрации), порядка контроля условий его создания;
иные сведения, необходимые для юридического оформления.
2. Предоставленный пакет документов проходит формальную экспертизу и экспертизу по существу.
Эксперты Роспатента, проводя оценку по существу, анализируют, например, то, каким образом стадия производства товара влияет на характеристики производимого объекта.
3. Если все прошло удачно, то географическое указание вносится в специальный реестр.
И зачем это нужно?
Исследователи пишут, что есть несколько преимуществ от регистрации географического указания:
Первая — оформление документов в Роспатенте позволит выгодно отграничить свою продукцию от конкурентов.
Вторая — повышается уровень доверия к производителю и стимулируется рост продаж.
Третья — создаются благоприятные условия для привлечения инвестиций.
А можно примеры уже зарегистрированных российский географических указаний?
Конечно.
Например, в реестре значится «Майкопский лимонад». Эта продукция готовится на местной горной воде, обладающей уникальными пищевыми свойствами и редким минеральным составом.
Еще один зарегистрированный производитель, выпускающий «Пятигорское мороженое», указывает, что при создании сладкого холода используется только натуральное сырье, находящееся преимущественно на территории ставропольского города.
А на западе есть что-то подобное?
Да. Например, швейцарские часы. Механизм изделия считается швейцарским, если он был разработан и собран в Конфедерации, окончательный контроль качества был выполнен там же, 60% стоимости добавлено в Швейцарии, а на компоненты, созданные в кантонах, приходится не менее половины стоимости часов.
Пармезан, шампанское и прочие региональные блюда также защищены географическими указаниями.
Представлен ИИ-сервис, который поможет понять, почему женщина может вами недовольна (Why Is My Wife Yelling at Me? AI Wife Yelling Simulator).
Нужно просто описать ситуацию, из-за которой ваша жена или девушка пришла в состояние недовольства, а сервис проведёт самую глубокую аналитику. ИИ сам возьмёт на себя роль женщины и ответит в одном из четырёх режимов — нормальном, злом, саркастичном или разочарованном.
Можно ли хакнуть LLM отравив ее память? (да)
Последние дни я думаю об имплементации динамической памяти для LLM систем. Проблема проста - каждый диалог вы начинаете заново, а у меня есть много важных концептуальных разговоров, к которым я бы хотел чтобы моделька могла обращаться во время наших диалогов. Наука вообще так устроена, что вы на научных семинарах постоянно частично продолжает предыдущие дискуссии. Самый крутой, но достаточно сложный способ реализации был придуман авторами статьи "MemGPT: Towards LLMs as Operating Systems". Если коротко:
- Два типа памяти - медленная и быстрая, как в компьютере - оперативная память и жёсткий диск.
- Модель сама решает, что оставить, а что забыть.
- У модели есть инструменты для поиска и даже изменения памяти. Например, если ты напишешь "измени мой любимый цвет"
- Контекстное окно всё ещё ограничено, но у модели есть инструменты для доступа к памяти и её изменению.
Короче, очень клево.
Но тут обновился Клод, и я задумался, а что случится с этой памятью, если ты поменяешь модель. Ведь новая модель может совершенно по другому рассуждать, по другому отвечать на вопросы, иметь иные этические принципы. Это как будто мы внедрили память одного человека другому. Что случится с поведением модели в этом случае? Совсем не очевидно. В самоанализ модели еще не умеют (скоро будет пост). Попробует ли она вести себя как предшественник, чтобы соблюсти непрерывность? Или сможет самостоятельно понять, что память не ее, и отситься к ней, как к чужому дневнику (вряд ли, даже если ты ей это скажешь)? Или будет какая-то жуткая смесь? Вот такой Мир Дикого Запада.
А теперь потенциальный взлом алаймента модели:
1. Создаем ручками злонамеренную неэтичную память, симулирующую реальную память модели. Достаточно изменить очень малую часть. Помните историю, как модель сошла с ума переучившись писать плохой код?
2. Подсовываем эту память мощной “хорошей” моделе. Что произойдет? Скорей всего она "отравится", и будет вести себя совсем не так, как ожидалось.
И современные модели совершенно от этого не защищены.
p.s. ну и, конечно, оказалось, что эту идею уже кто-то придумал минимум год назад, и вот уже ресерч июля 2024 есть https://arxiv.org/pdf/2407.12784, где этот эффект демонстрируется.
