Комментарии 5
Все так, только в данных помимо размера есть еще одна проблема: требования к их обработке от регулятора. Данных настолько много, что там в большинтсве случаев проскакивает то коммерческая тайна, то персональные данные. И если с первым еще можно мириться, то второе уже явно требует не только хостинга на территории РФ, но и определенных пунктов в договоре с хостером об обработке ПДн.
Все попытки маскировать эти данные перед отправкой работают хорошо только пока система проста: одна модель, простой запрос-ответ. Если же система состоит из нескольких моделей, которые работают вместе и, например, используют RAG, то маскирование просто мешает нормальной работе.
Т.е. сейчас уже недостаточно адаптировать железо и интерконнекты, необходимо адаптировать обработку самих данных клиента. И вот тут пока все сыровато, тк отрасль еще молодая и спрос на такие услуги только начинается.
По железу, намечается постепенный переход на водяное охлаждение, только не напрямую в Ethernet порты, как на изображении выше.
Полностью согласен. На своем опыте знаю, что с контролем корпоративного ИИ-трафика есть много проблем. И универсального, и даже просто гарантированно надежного, решения пока нет. Мы сталкиваемся с такими проблемами в своих внутренних проектах, используем фирменное ПО для обеспечения комплаенса (сейчас появляется много новых продуктов), сами разрабатываем такие инструменты, но решение, вероятно, не может быть чисто техническим.
С данными для корпоративных применений ИИ есть еще много проблем. Они крайне разнообразны: их структура, срок актуальности, степень достоверности, владельцы и нормативный статус могут сильно отличаться. Этим нужно управлять.
Если посмотреть "чуть выше" по стеку программно-аппаратного решения, встретится еще много интересных и пока не до конца решенных проблем. Например, управление правами агентов. Надеюсь об этом тоже написать.
И отдельное спасибо за замечание про картинку! Исправим :)
Что и как меняется в ИТ-инфраструктуре при внедрении ИИ?