Семантические сети *

Привет, Хабр!

В последние годы все чаще в разговорах про современные дата-платформы звучит термин «семантический слой». Сама идея семантического слоя не нова: в разные годы под семантикой понимали и витрины данных, и презентационный слой хранилища, и пространства метрик внутри BI-платформ. Но развитие современных дата-платформ и появление AI-агентов заставляют заново переосмыслить этот концепт.

Несмотря на очевидный интерес к теме семантического слоя, чёткого понимания, что именно он из себя представляет, как устроен изнутри и зачем вообще нужен, пока нет. В этой статье мы разберемся, что такое семантический слой, какие задачи он решает, какие архитектурные подходы существуют и почему именно семантический слой может стать ключевым драйвером AI-аналитики.

Семантический слой представляет собой промежуточный логический слой между областью физического хранения данных и каналами потребления данных: аналитическими приложениями, BI-системами, AI-агентами и бизнес-пользователями. В разных источниках его также называют Metrics Layer или Headless BI.

Говоря более строгим языком, семантический слой - это единый исполняемый контракт метрик, измерений,  связей между сущностями и правил доступа для всех каналов потребления данных.

Одинаковый результат обеспечивается не тем, что описание показателя где-то задокументировано, а тем, что логика его расчета централизована и исполняется самим семантическим слоем. В семантической модели задаются бизнес-термины, метрики, измерения, связи между сущностями, правила фильтрации, агрегации и доступа. Когда BI, Excel или AI-агент обращаются к семантическому слою, расчет собирается на основе метаданных модели внутри самого семантического слоя.

Анизотропия эмбеддингов не всегда зло, но «сырой» косинус часто даёт слишком размытый сигнал. Центрирование убирает общий фон и помогает увидеть различия, не разрушая локальные смысловые области. Показываю это на реальных расчётах из Obsidian‑базы.

Юридический домен требует понимания многочисленных связей между сущностями, рассеянными по множеству документов. Поэтому кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний: связи между нормами, прецедентами и понятиями, рассеянными по тысячам документов, наконец-то перестают теряться.

Современные фреймворки обещают построить такой граф автоматически, в пару команд. Но между "запуском из коробки" и рабочей аналитической системой на практике лежит немалая дистанция.

Это первая часть практического эксперимента с LightRAG, одним из самых известных графовых фреймворков. На небольшом корпусе из Гражданского кодекса РФ и судебной практики разбираем, как фреймворк устроен, как его быстро развернуть, и почему граф из "коробки", без оптимизации и тонкой настройки, при всей внешней убедительности, еще не готов к полноценной работе в юридическом домене.

В прошлой статье я рассказывал о своём пути из медицины в IT, о том, как интерес к искусственному интеллекту постепенно привёл меня к созданию собственного проекта и стартапа.

Тогда это была скорее личная история - про обучение, поиск профессиональной идентичности и первые шаги команды. В этой статье хочу подробнее рассказать уже о самом проекте: какую проблему мы решаем, как устроена система DocAI и почему мы считаем это направление перспективным для медицинского образования

DocAI - это deeptech-проект, основанный на передовых научных исследованиях и инновациях в области инженерии знаний и искусственного интеллекта для сфер EdTech и HealthTech создаётся как ответ на ключевые вызовы современного предвузовского, вузовского и послевузовского непрерывного медицинского образования: необходимость гибкого, адаптивного и персонализированного обучения.

Продукт проекта - это образовательная платформа, предоставляющая образовательным организациям и индивидуальным пользователям кроссплатформенный доступ к системе представления и моделирования знаний, включая инструменты отслеживания прогресса, цифровой двойник обучающегося и выстраивание персональной образовательной траектории. Система для дополнительного профессионального образования и раннего вовлечения студентов в научно-исследовательскую и практико-ориентированную деятельность - важного аспекта современной системы непрерывного медицинского образования. Ключевой задачей системы является обеспечение глубокого понимания учебного материала и адаптация содержания под уровень подготовки и цели каждого пользователя.

Началось все с того, что однажды я задумался над последним вопросом заголовка: почему генеративным нейросетям не позволено воспроизводить обнаженное человеческое тело? Ну, понятно, что цензура, и понятно, что в открытом доступе лежит куча моделей, которые развращай обучай как хочешь.  Но откуда взялось само убеждение, что человеческое тело не может быть воспроизведено во всем своем великолепии? Почему его можно показывать в музее и спальне, например, а urbi et orbi друзьям и интернету – нельзя?

Автор: ваш покорный слуга, Head of Digital Marketing (он же маркетолог, он же аналитик, он же копирайтер, он же всё остальное).

Мы прогнали через o4-mini больше 300 вариантов промптов с разными режимами reasoning_effort и обнаружили, что чем «умнее» модель рассуждает, тем хуже она извлекает структуру: начинает «улучшать» схему по своему усмотрению, объединять то, что должно быть раздельным, и ломать детерминизм пайплайна.

Это технический отчёт о том, как мы строили Superagent Memory OS — систему агентной памяти, которая на сегодня удерживает граф из десятков тысяч концептов и почти 2.4 миллиона рёбер поверх ~106.7 миллиона токенов из четырёх разных корпусов. Внутри: переход от flat RAG к Memory OS, парадокс reasoning и слой Semantic Mapper (–48% токенов, качество с 5.2 до 7.11), staging database и сжатие 34 805 сырых mention'ов до 7 339 канонических концептов, иерархический retrieval через UMAP+HDBSCAN+Optuna и 7 220 weighted links, четыре фазы отладки агента на LongMemEval (22+ шагов → 4–6), эксперимент EXP-GARDENER-001 про то, почему Flash-модель плодит ложные связи, bi-temporal модель фактов, MCP как суверенный интерфейс памяти и психологический слой с контролируемым словарём эмоций.

Главный тезис: retrieval не равен памяти.

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями, рассеянными по множеству документов .

Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска.

Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

Статья -  комментарий / возражение к статье Осознанный вайб-кодинг. Осознанный вайб-кодинг наверное лучше не Осознанного, но последний тоже работает.

Введение: Кризис смысла в эпоху больших данных

Начну немножко издалека. Мы живем в парадоксальное время. Искусственный интеллект окружает нас повсюду: он пишет тексты, рисует картины, решает сложные задачи. Но за этим фасадом цифрового всемогущества скрывается фундаментальная, почти метафизическая проблема: наши самые продвинутые модели не понимают ровным счетом ничего. Те, кто сколько-либо погружен в сферу ML, это прекрасно знают. Представьте библиотеку, где каждый книга идеально описана, проиндексирована и взаимосвязана, но нет ни одного читателя, способного понять смысл написанного. Это - точная метафора современного ИИ. GPT-4, Gemini, Claude - это блестящие имитаторы, статистические попугаи, оперирующие символами без малейшего представления об их значении. Они могут рассуждать о физических явлениях, но не понимать их, анализировать метафоры, но не схватывают их суть, генерировать тексты о боли и радости, оставаясь абсолютно пустыми внутри.

Этот разрыв между формой и содержанием, между синтаксисом и семантикой, является последним крупным барьером на пути к настоящему искусственному интеллекту. Но, возможно, есть решение как это обойти. Что если вместо того, чтобы заставлять машины имитировать мышление, создать для них среду, где мышление возникает естественно - как возникают волны в океане или мысли в человеческом мозге?

SemantML: От статистики к семантической нейродинамике

Хочу вас познакомить с проектом под названием SemantML - радикально новый подход к созданию ИИ, который отказывается от парадигмы "обучения на текстах" в пользу "мышления в смыслах". Гипотеза проста и одновременно нова: сознание - это не алгоритм, а динамический процесс в семантическом пространстве, и чтобы создать искусственный разум, нужно сначала создать для него "дом" - среду, где могут рождаться и взаимодействовать смыслы.

Большие языковые модели (LLM) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями, снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных.

Сегодня я хотел бы поговорить об онтологии и сделать это так. Мы возьмём учебный пример - онтологию для пиццерии (Pizza Shop) - и на основе этого примера разберём основные термины, ключевые элементы онтологии и обсудим, чем этот подход отличается от привычных способов моделирования.

Это не руководство по онтологии и не инструкция к визуальному редактору Protege, в котором сделан пример - это набор первых впечатлений человека, который решил разобраться в этой теме.

A lot of articles and guides on how to create an effective UX design for a software product mention “sticking to a user persona” in order not to waste efforts and resources on a non-target audience. What is a user persona, how to define it, and how can it help the UX team in finding the best design solutions for a product? 

Это история о попытке создать новую логику.

О попытке, рожденной в эпоху, когда фракталы Мандельброта казались ключом ко всей природе. Я, логик по образованию, увидел аналогию: если математические "монстры" оказались фракталами, то, может быть, логические парадоксы — это тоже фракталы?

Я построил концепцию, где смысл — не точка, а процесс, бесконечный и самоподобный. Но концепция осталась без семантики.

И тогда я решил устроить суд Божий: я дал свою книгу двум арбитрам — искусственным интеллектам. Я ожидал диалога, но получил войну.

Qwen, стремясь к формализации, строил сложные системы. DeepSeek, как строгий судья, разрушал их одну за другой, обвиняя в "иллюзии формальности" и "магии".

В этой битве не было победы. Но из обломков моей идеи родилось нечто ценное: понимание того, что истина в сложности не в построении новой системы, а в способности видеть старые проблемы по-новому.

Это — отчет с поля боя за семантику.

Предисловие: вот и прошел этап критики и самоопределения после публикации моей первой статьи. Теперь это уже вторая. Хотел бы сказать что первая статья не была научной публикацией и сведением графиков по GPT. Это было исследованием экспериментом таким: если человек не может изобрести AGI, то почему бы не попросить об этом LLM? Вот это как раз сейчас и делается в данной работе. Результат смотрите сами. И да это не очередной RAG как приводилось в комментариях, это становится новой парадигмой.

🧠 От Линейного Преобразования к Живому Мышлению: Критика LLM и Архитектура AGI как Субъекта

Автор: [Твоё имя или псевдоним]
Версия: 1.0 | Июль 2025

Всем привет. В последнее время перевод текстов с одного языка на другой уже не вызывает такой головной боли, как раньше: есть несколько качественных онлайн-переводчиков, есть большие нейросети, которые тоже можно попросить перевести текст, — в общем, варианты есть, их довольно много, и они выдают вполне приемлемый результат. Но у всех них есть одно ограничение: они работают онлайн (удалённо). Для кого-то это ограничение несущественно, а для кого-то может быть критично. Мне же просто захотелось иметь что-то, что сможет переводить тексты на хорошем (современном) уровне офлайн (сугубо на моём компьютере). Ну, люблю я, когда всё, что мне нужно, может работать и локально тоже. В общем, ниже я делюсь с вами тем, что мне удалось в итоге собрать, запустить и даже получить удовлетворяющий меня результат.

Эхо от кряканья лучше всего слышно в ситуации, когда утка и человек находятся рядом со стеной, хорошо отражающей звуки.

Здравствуйте, меня зовут Дмитрий Карловский и я.. придерживаюсь следующей парадигмы мышления: всякое определение должно иметь чёткую границу между тем, что ему соответствует, и тем, что не соответствует.

К сожалению, часто можно встретить споры о пересекающихся определениях, словно они взаимоисключают друг друга. Не менее часто можно встретить ложную дилемму между двумя терминами не покрывающими всё множество сущностей.

Что ж, позвольте внести ясность и предложить вам непротиворечивую классификацию парадигм - подходов к написанию кода, во многом определяющих способ мышления человека по донесению задачи до кремниевого исполнителя.

Статья для тех, кто уже пишет (или хочет начать) и ищет понятную схему монетизации. Без «волшебных кнопок», только практические шаги и личный опыт.

Из поисковиков на Пикабу приходит более 50 миллионов человек в месяц. У онлайн-ритейлера «ВсеИнструменты» — свыше 15 миллионов, причём доля поискового трафика превышает 50%.

Если есть сайт, тогда наверняка слышали термин «SEO». Это поисковая оптимизация, которая помогает сайту быть видимым в Google, «Яндексе» и других поисковых системах. В этой статье разберёмся, зачем она нужна и что в неё входит.