Уже больше года назад у меня зародилась идея создать свою архитектуру языковой модели. Традиционные модели, «думающие» на уровне токенов мне решительно не нравились. Колоссальный вычислительный бюджет на то, чтобы просто предсказать один токен. Логичным мне казалось оторвать мышление модели от токенов, перенеся его в латентное пространство. Примерно полгода назад я начал первые практические эксперименты и сейчас получил первые практические результаты. Поскольку уровень подготовки читателей очень сильно различается, в статье не будет глубоких технических разборов, а скорее история эксперимента.

Для того, чтобы реализовать эту идею логично было разделить модель на три части:

Знаю, что в комментариях набегут хейтеры, но не могу не высказаться ибо наболело! А любые переживания, как известно, надо выговаривать. Так что извините, уважаемые Хабровчане, придется вам побыть психотерапевтами. Добровольно конечно :-)

Честно говоря, я не очень понимаю и не разделяю повсеместной озабоченности засильем ИИ контента, страхами перед ИИ, что однажды он нас всех уничтожит. А если сам не уничтожит, то точно оставит без работы и заставит умирать с голоду...

Данная статья была написана для крупнейшего сообщества цифровых управленцев «я‑ИТ‑ы» в рамках внутреннего стрима «Искусственный интеллект». Ее основная цель — дать тем, на чьих плечах сейчас лежит ответственность за выстраивание ИТ‑инфраструктуры компаний, понимание технологического «сегодня» в сфере искусственного интеллекта (ИИ), решений, технологий, которые применяются и уже дают результат. И, что самое важное, обозначить вектор развития для понимания технологического «завтра», чтобы инфраструктура и процессы строились с учетом всех изменений, происходящих в этой весьма динамичной сфере.

Динамику развития технологий ИИ и их внедрения хорошо иллюстрирует свежее исследование группы компаний Б1: российский сегмент программного обеспечения с функциями ИИ ожидает взрывной рост — в среднем более 25% ежегодно до 2032 года. Еще в 2024 году объем этого рынка оценивался в 48 млрд рублей, а к 2032 году прогнозируется рост до 286 млрд. Основными драйверами станут AI‑аналитика, спрос на приложения с AI‑функционалом, автоматизация и переход на SaaS/PaaS‑решения. Российский тренд повторяет глобальный: мировой рынок ПО к 2028 году будет расти быстрее среднерыночных показателей, а AI‑решения станут ключевым фактором этого роста.

Сейчас, в 2025 году внедрение ИИ перестает быть модным экспериментом и превращается в важный инфраструктурный элемент бизнеса. Для современного ИТ‑директора это означает: вы отвечаете не только за «железо» и софт, но и за способность компании адаптироваться к новой динамичной технологической реальности. Если сейчас не начать движение в сторону ИИ, через пару лет догонять будет в разы сложнее. Внедрение ИИ — это не про «купить новый сервер». Это прежде всего адаптация бизнес‑процессов, обучение сотрудников к работе с новыми инструментами, новые метрики эффективности и оценка рисков. Все это осложняется тем, что в этой сфере практически нет готовых, отработанных годами практики, решений. В значительной мере — это освоение Terra Incognito. Как и в любой «хайповой» теме, очень много желающих продать сырые, непроверенные решения, обещания фантастических результатов от внедрения ИИ технологий. Но реальность всегда прозаичнее.

В этой статье хочу рассказать о задаче с которой мы столкнулись и о найденном решении. Надеюсь наш опыт окажется кому-то полезен и натолкнет на решение других подобных задач.

Если вкратце, то в рамках нашей работы по созданию RAG-системы нового поколения перед нами встала фундаментальная задача — необходимость точной временной привязки документов, событий и фактов. В естественном языке временные представления крайне разнообразны: от точных дат до нечетких описаний вроде «в начале прошлого года» или «через пару недель». Для эффективного поиска и анализа было необходимо универсальное решение, способное обрабатывать это многообразие и переводить его в форму, пригодную для машинного использования.

Эта статья — попытка переосмыслить через призму личного опыта и восприятия ту уникальную ситуацию в которой находится наша цивилизация в настоящий момент, попытаться заглянуть «за горизонт», осознав тот путь, по которому мы идем, как цивилизация, риски, которые поджидают нас на этом пути и потенциальные возможности, открывающиеся перед нами.

Мы стоим на пороге величайшего технологического перелома в истории человечества. Впервые за миллионы лет эволюции мы создали инструмент не для тела, а для разума. И этот инструмент готов стать продолжением нас самих.

Я никогда не был писателем, и мыслей таких не было. Хотя опыт написания небольших статей и ведения блога у меня был. Но часто так бывает, что мне в голову приходят разные «книжные» сценарии, которые я обыгрываю в голове по пути на работу или в свободное время. И в какой-то момент я подумал, а что если один из таких сценариев "скормить" языковой модели и попросить написать на его основе рассказ. Мне показалось интересным читать рассказы, написанные по моим собственным идеям, ожидая, что из сухой мысли родится красочный, детальный рассказ, которым можно насладиться в свободное время. Эта идея захватила меня и не откладывая в долгий ящик я решил попробовал это сделать с помощью GPT-4o...

Итак, вам надоели разработчики LLM-систем, потребляющие десятки миллиардов долларов и создающие прожорливых монстров, требующих немыслимых Гигаватт электроэнергии и вы решили, что пора взять всё в свои руки и наконец разработать уже AGI о котором так много говорят, но мало делают. Но вы не знаете с чего начать и у вас нет знакомых китайцев из DeepSeek? Тогда это краткое пособие для вас. В нем, мы затронем базовые аспекты создания AGI, которые позволят любому начинающему разработчику погрузиться в тему и в свободное время создать своего личного «Джарвиса».

Прошло около полугода после последней моей статьи о перспективах развития больших языковых моделей. Чтобы не утомлять долгим чтением, её краткое резюме:
Критика современных больших языковых моделей (БЯМ): они статичны, неэффективны в вычислениях и обучении, что ведет индустрию к технологическому тупику. Главные проблемы связаны с экспоненциальным ростом вычислительных мощностей, дефицитом качественных данных и ограничениями архитектуры.

Итак, можно подвести некоторые итоги, что же мы увидели за прошедшее время.

Возвращаюсь к теме моих любимых больших языковых моделей(LLM, БЯМ). Наблюдения последних месяцев за индустрией, событиями и динамикой явно демонстрируют движение со все возрастающим ускорением прямо в тупик. Финиш может быть фееричным. Откуда такие выводы? Разберем по порядку...

Наверняка все слышали об NFT, большинство даже знают, что это такое. Для тех кто не совсем в теме, NFT (non-fungible token) – невзаимозаменяемый токен. Говоря простым языком, это технология, которая позволяет сделать цифровой объект уникальным. Т.е. она создает свойство, которого изначально у цифрового объекта не было и казалось, что быть не может, т. к. все что в цифре, все можно скопировать.

Мы пережили взлет этой технологии, увидели токены за миллионы долларов и стали свидетелем ее падения. Большинство даже не поняло ее: как это простая картинка может столько стоить? Кто-то кинулся рисовать свои и выкладывать на продажу, рассчитывая хорошо заработать. Но безумный хайп прошел, оставив послевкусие разочарования, об NFT начали забывать, но сама технология никуда не делась. Есть ли у нее шанс? Найдет ли она свое место в нашей жизни?

Обойдемся без долгих вступлений и глубоких философствований о современных тенденциях в развитии генеративных моделей в целом и LLM (большие языковые модели) моделей в частности. Многие об этом знают не понаслышке, а кто не знает — тому ниже сказанное просто не интересно.

Все в трепетном ожидании прорыва. Даже нет, ПРОРЫВА! LLM смогли нас удивить за последний год, даже вошли в нашу жизнь и заняли свое почетное место. На горизонте замаячил AGI (общий искусственный интеллект), который придет, взмахнет волшебной палочкой и изменит всю нашу жизнь...