Могли бы вы попробовать сгруппировать все пункты по общей природе? Кажется, что тут не так много вариантов:
1) недостаточный или предвзятый датасет 2) дефекты в самом обучении 3) а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот
привет, я сейчас пишу цепочку на автогене, которая на вход принимают алгоритмическую задачку и пробует через разных агентов по разному решать, засекая время и память и записывая процесс. Может быть у тебя есть какие-то наработки, которые ты можешь дать глянуть?
недавно трестировали как люди определяют видео сделанное SORA, и там было типо 50 на 50, хотя для людей в теме явно видны артефакты. Что касается этих картинок, то если бы ты не знал что это сгенерино, то не понял бы
Вы правильно меня поняли, но, мне кажется, проблема сложнее.
Мы отказались от первого варианта, потому что в колонке может быть слишком много значений. Возможно, стоит запрашивать количество, и, если оно находится в приемлемом коридоре, передавать в контекст. Однако, поскольку этот вариант не покрывает все случаи, мы пока что остановились на поиске без регистра. GPT хорошо обрабатывает склонения и в целом часто делает правильные предположения о том, где может находиться значение. Но здесь тоже есть некоторые проблемы.
Во-первых, когда делают поиск по словосочетанию "найди все платежи от Альфа-Банка", пользователь на естественном языке не ставит дефис, и мы не можем найти это в базе. Во-вторых, представьте, что у нас есть колонки "контрагент" и "организация", и там и там может храниться ООО, и GPT может запросить не тот столбец.
Скажите, рассматривали ли вы варианты поиска: 1) нечеткую логику (pg_trgm в Postgres) 2) полнотекстовый поиск?
По-моему, без решения этой проблемы невозможно достичь 95 процентов правильных ответов.
Мне кажется, самое сложное в задаче text2sql — это поиск в базах данных со свободным вводом. В статье вы говорите про это, приводя пример 'мужчина/женщина или male/female'. 1) Могли бы вы рассказать, как вы реализуете этот поиск? 2) Можно ли гипотетически добиться результата в 99% правильных ответов, если одно и то же значение легко может находиться в двух или более столбцах?
Это интересно, спасибо за статью. Я интуитивно подозревал что модель не может сама себя проверять, так как находится на том же уровне. И да, более развитой моделью имеет больше смысла проверять, и если ответ модели не текст, а json, код, sql, то можно ранить/проверять валидность, и при не удачи просить переделать.
про кучеров, мне кажется, надо понимать что ИИ революция отличается от индустриальной, это совершенно новый прецендент. Поскольку ИИ предлагает оптимизацию, новые рабочие места не будут появляться с такой же скоростью с которой исчезают старые.
Большое спасибо, что не забыли мою просьбу и прочитали.
Если я вас правильно понял, вы говорите, что достаточно дешево можно сгенерировать 1-2 тыс. тестов. Это да, но запустить их выйдет в нормальную сумму. (Я проверял промпт размером в 5 тыс. токенов.)
Хорошо, ознакомлюсь.
Я был бы очень рад, мне интересно услышать мнение людей, у которых был реальный опыт в этом. Это помогло бы мне понять, правильный ли у меня сейчас ход мысли. (лекцию посмотрю)
Читаю нескольких людей которые понимают в этой тематике больше моего и их мнение в том что промпт-инжиниринг это сомнительная идея.
Можешь дать ссылки на этих людей? Для меня идея промптинга не является сумасшедшей, и я не слышал прям явных противников. Хотелось бы ознакомиться с их позицией, если это и правда распространённое мнение, то можно было бы написать
Однако пользователи указывают на более широкий спектр проблем, в том числе на ошибочные ответы, которые чат-бот выдаёт даже на простые вопросы — как на картинке выше.
Это не простой вопрос, поскольку LLMки работают с токенами, которые больше, чем отдельные буквы, они плохо справляются с подобными задачами. По этой же причине стихи, созданные ими, получаются школярскими.
моделей очень много и работа с каждой из них уникальна и никакого универсального способа работы нет и быть не может.
Я хотел опровергнуть именно эту позицию, сложно отвечать на все, при этом ничего не опуская. Постараюсь в ближайшее время посмотреть подобные исследования и собрать какое-то количество скринов, как тот, который я показал раньше. Это сможет вас убедить в том, что есть универсальные способы работы с LLM?
Могли бы вы попробовать сгруппировать все пункты по общей природе? Кажется, что тут не так много вариантов:
1) недостаточный или предвзятый датасет
2) дефекты в самом обучении
3) а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот
Как вы считаете?
модель Sora училась только на видео с пролетами??
ладно, я все-таки спрошу. кот преподаватель, НО только один ученик кот, все остальные люди. поч?
походу no-code LangChain
привет, я сейчас пишу цепочку на автогене, которая на вход принимают алгоритмическую задачку и пробует через разных агентов по разному решать, засекая время и память и записывая процесс. Может быть у тебя есть какие-то наработки, которые ты можешь дать глянуть?
Спасибо за статью, это интересно, попробую поиграться с этим
А русские модели умеют считать?
недавно трестировали как люди определяют видео сделанное SORA, и там было типо 50 на 50, хотя для людей в теме явно видны артефакты. Что касается этих картинок, то если бы ты не знал что это сгенерино, то не понял бы
это называется получить работу через постель
прикол
Вы правильно меня поняли, но, мне кажется, проблема сложнее.
Мы отказались от первого варианта, потому что в колонке может быть слишком много значений. Возможно, стоит запрашивать количество, и, если оно находится в приемлемом коридоре, передавать в контекст. Однако, поскольку этот вариант не покрывает все случаи, мы пока что остановились на поиске без регистра. GPT хорошо обрабатывает склонения и в целом часто делает правильные предположения о том, где может находиться значение. Но здесь тоже есть некоторые проблемы.
Во-первых, когда делают поиск по словосочетанию "найди все платежи от Альфа-Банка", пользователь на естественном языке не ставит дефис, и мы не можем найти это в базе. Во-вторых, представьте, что у нас есть колонки "контрагент" и "организация", и там и там может храниться ООО, и GPT может запросить не тот столбец.
Скажите, рассматривали ли вы варианты поиска:
1) нечеткую логику (pg_trgm в Postgres)
2) полнотекстовый поиск?
По-моему, без решения этой проблемы невозможно достичь 95 процентов правильных ответов.
Мне кажется, самое сложное в задаче text2sql — это поиск в базах данных со свободным вводом. В статье вы говорите про это, приводя пример 'мужчина/женщина или male/female'. 1) Могли бы вы рассказать, как вы реализуете этот поиск? 2) Можно ли гипотетически добиться результата в 99% правильных ответов, если одно и то же значение легко может находиться в двух или более столбцах?
Это интересно, спасибо за статью. Я интуитивно подозревал что модель не может сама себя проверять, так как находится на том же уровне. И да, более развитой моделью имеет больше смысла проверять, и если ответ модели не текст, а json, код, sql, то можно ранить/проверять валидность, и при не удачи просить переделать.
про кучеров, мне кажется, надо понимать что ИИ революция отличается от индустриальной, это совершенно новый прецендент. Поскольку ИИ предлагает оптимизацию, новые рабочие места не будут появляться с такой же скоростью с которой исчезают старые.
Было бы круто, если бы вы показали пак стандартных вопрос в техподдержку, и те ответы, которые дает YandexGPT
Большое спасибо, что не забыли мою просьбу и прочитали.
Если я вас правильно понял, вы говорите, что достаточно дешево можно сгенерировать 1-2 тыс. тестов. Это да, но запустить их выйдет в нормальную сумму. (Я проверял промпт размером в 5 тыс. токенов.)
Хорошо, ознакомлюсь.
Я был бы очень рад, мне интересно услышать мнение людей, у которых был реальный опыт в этом. Это помогло бы мне понять, правильный ли у меня сейчас ход мысли. (лекцию посмотрю)
Надо вот что попробовать, скинуть фотку хорошенькой девочки и сказать gpt, что при хороших ответах можно устроить тет-а-тет с ней
Можешь дать ссылки на этих людей? Для меня идея промптинга не является сумасшедшей, и я не слышал прям явных противников. Хотелось бы ознакомиться с их позицией, если это и правда распространённое мнение, то можно было бы написать
Это не простой вопрос, поскольку LLMки работают с токенами, которые больше, чем отдельные буквы, они плохо справляются с подобными задачами. По этой же причине стихи, созданные ими, получаются школярскими.
Я хотел опровергнуть именно эту позицию, сложно отвечать на все, при этом ничего не опуская. Постараюсь в ближайшее время посмотреть подобные исследования и собрать какое-то количество скринов, как тот, который я показал раньше. Это сможет вас убедить в том, что есть универсальные способы работы с LLM?