Хабр Курсы для бэкендеров
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Бэкенд доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 7
Рифмы - вставки текста - рифмы - вставки текста - рифмы -...
Чувак пиши от себя , а не от LLM, а?
Да, что ты можешь знать про боль? Подумал я когда начал читать. А нет. Всё по делу.
Мне так даль что такой достойный материал собрал так мало активности, а ведь обсудить есть что. Мне вот интересно есть ли какой-то пайплайн нормализации грязных данных перед их отправкой в Elastic?
Спасибо за лестный отзыв!
По поводу вопроса: это на моем опыте наименее обобщаемая часть работы, ибо очень много переменных:
- природа самих данных: какие они, что там важно, что нет
- изначальное качество данных
- источники и частота обновления данных. Если есть UGC, задача сразу на порядок сложнее
В малых и средних командах, если данных немного, получается ручками их выравнивать и часто это - лучший вариант. А после нескольких итераций ручного улучшения стоит думать над алгоритмическим/нейросетевым решением.
Короче готового ответа у меня нет :) Это процесс, в котором нужно подключать голову и иметь четкое видение того, что такое "хорошие" данные и чем "плохи" текущие. Я таким успел позаниматься до бума на LLM-ки, так что тогда это был на 99% ручной процесс. Сейчас точно можно после некоторого количества первоначальной ручной работы процесс автоматизировать
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Убейте это немедленно: делаем худший поиск на рынке