Привет! Я — Игорь Дмитриев, Data Business Partner в Wildberries & Russ. В своей статье на Хабре я рассказываю о том, как мы в компании автоматизируем сопровождение данных, чтобы не делать работу руками. Если вы хотите, чтобы модные ИИ-агенты и LLM выдавали бизнесу реальные инсайты, а не «красивую чушь», данные нужно правильно описать = «прожарить». В этой статье я покажу, на каком уровне зрелости («прожарки») описания данных можно уже подключать LLM, и ИИ-агенты будут меньше галлюцинировать, какой уровень целевой и какой уровень точности между ними. Просим под кат за деталями.

Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктуры под вычисление и хранение соответственно. Если не реализовать такое разделение в крупном проекте, инфраструктура рискует превратиться в «чемодан без ручки» — эффективность использования ресурсов будет низкой, а сложность управления ресурсами и средами будет высока. На примере команды SberData и их корпоративной аналитической платформы я расскажу, когда требуется разделение Compute & Storage и как это реализовать максимально нативно.

Статья подготовлена по мотивам доклада на VK Data Meetup «Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций».