О отлично! Спасибо за столь оперативный ответ. Подскажите а сколько у вас сейчас более мелких кластеров? Какой объем данных они переваривают? У каждого маленького кластера обязательно должен же быть свой мастер?
Спасибо, еще такоей вопрос, у вас почти у всех билдов в название _b - это значит что это бета версии? Как разделяется релиз цикл? Где посмотреть именно. LTS версии?
А с точки зрения ограничений открытых компонентов на которых вы строите свой продукт? Не будет ли урезания каких-то фунцций которые доступны в открытых(vanilla apache) продуктах? Меня сейчас интересует ваша сборка Hadoop.
Добрый день, спасибо за статью. Подскажите, а где перечислены различия между версиями? В статье вы указали что: "В целом community версия позволяет получить представление о наших продуктах. Однако после изучения решений посредством таких лицензий, наши заказчики переходят на enterprise-лицензии." Немного не понятно в следствии чего они делают такой переход?
Спасибо за интересный продукт. Добавьте пожалуйста хотя бы зачатки управления пользователями. Самой простой ролевой модели будет достаточно на первое время.
Вы сторону delta lake не смотрели? Соглашусь с коллегой, решение кажется технологически перегруженным. Я правильно понимаю что flink вы внедрили ради оконных функций для применения дельт?
О отлично! Спасибо за столь оперативный ответ. Подскажите а сколько у вас сейчас более мелких кластеров? Какой объем данных они переваривают? У каждого маленького кластера обязательно должен же быть свой мастер?
Как сейчас чувствует себя такая система? Я правильно понимаю что elastic proxy cluster это что-то написанное вами?
Спасибо, еще такоей вопрос, у вас почти у всех билдов в название _b - это значит что это бета версии? Как разделяется релиз цикл? Где посмотреть именно. LTS версии?
А с точки зрения ограничений открытых компонентов на которых вы строите свой продукт? Не будет ли урезания каких-то фунцций которые доступны в открытых(vanilla apache) продуктах? Меня сейчас интересует ваша сборка Hadoop.
Добрый день, спасибо за статью. Подскажите, а где перечислены различия между версиями? В статье вы указали что: "В целом community версия позволяет получить представление о наших продуктах. Однако после изучения решений посредством таких лицензий, наши заказчики переходят на enterprise-лицензии." Немного не понятно в следствии чего они делают такой переход?
А можешь дать ссылки на статьи по теме получения структуры текста применительно к задаче RAG? Можно и без если таких нет.
А чем обусловлен выбор именно DataHub? С точки зрения инфраструктуры он довольно громоздкий получается. Сравнивали с другими решениями в том числе: https://open-metadata.org/, https://opendatadiscovery.org/, atlas?
@takagi Посоветуйте пожалуйста (основу) модель для построения RAG на русском языке?
Спасибо за интересный продукт.
Добавьте пожалуйста хотя бы зачатки управления пользователями.
Самой простой ролевой модели будет достаточно на первое время.
Если не секрет какой кластер и какой объем файлов храните? Какая fs?
Так в итоге какое объектное хранилище вы выбрали? Ванильный hdfs?
Спасибо за хорошую статью!
Выложите пожалуйста эту таблицу как демо.
Вы сторону delta lake не смотрели? Соглашусь с коллегой, решение кажется технологически перегруженным. Я правильно понимаю что flink вы внедрили ради оконных функций для применения дельт?
А почему бы не написать о чем этот эксперимент и какая цель ставится перед участниками?
А можно подробнее про причину утечек ByteBuffer?