ChatGPT vs Gemini: выбираем данные из хаоса или ищем иголку в стоге сена
Пост слегка перекликается с серией постов под корявым рабочим названием "Знакомьтесь, это ChatGPT, мой персональный тренер", а также (в меньшей степени) и с постом "Gemini в Google Sheets". С серией – потому что в нем пойдет речь о том, как я анализировал рекомендованный мне моим персональным консультантом ChatGPT дневник с помощью Gemini (2.0 Flash) и того же ChatGPT (4o). С одиноким постом – well, потому что… с помощью Gemini.
Мне, чтобы отвлечься от трудов праведных и при этом не залипнуть в YouTube, Telegram, Block Breaker, захотелось проверить, как LLM (Large Language Models) в их теперешнем состоянии справятся еще с одной из моих приземленных ежедневных задач. Т. е. речь опять пойдет не о подсчете букв r в слове реконструкция, не о писании стихов или музыки. Да и рецепт супа из свиных крылышек меня по-прежнему не интересует, что, конечно, прискорбно и намекает на мои плебейские вкусы, но факт…
Итак, моя приземленная, но новая задача – по совету персонального консультанта ИИ я веду регулярно записки, которые иногда в порыве высокого слога даже именую «летописью». В них в очень произвольной форме записываю, кроме всего прочего, и сколько времени в день провел за работой, а сколько – страдал от фигни. Да, фраза звучит именно так: «страдал от фигни». Знаю, что есть разного рода трекеры времени или можно, не мудрствуя лукаво, записывать данные в таблицу, но ни то, ни другое – не мой путь: веду записки. Но «консультант» требует, чтобы я периодически эти записки просматривал и выявлял, выражаясь его заковыристым языком, паттерны.
У буддистов есть утверждение, что у любого действия, даже мысли, есть последствия, ChatGPT точно тренировался и на буддистских текстах, иначе не настаивал бы так упрямо на выявлении паттернов моего поведения и их суровых (чаще) или радостных (реже) последствиях.
А чтобы эти паттерны выявить неплохо бы получить таблицу вида «дата», «время за работой», «Block Breaker» и так далее.
Выбирать данные из хаоса моей летописи вручную занятие не только неинтересное, но и муторно-долгое: лаконичность – точно не в числе моих недостатков и слов не по делу в записях очень много. Поэтому я и попросил помочь Gemini и ChatGPT: загрузил один и тот же документ, первым делом попросил выбрать те записи, что относятся к нужному периоду:
Прочитай, пожалуйста, файл dictated-notes.docx. В нем мой персональный дневник, где я писал о своих занятиях и эмоциях. Выбери все записи от 29 января 2025 года и позже. Мы будем работать с ними: ты - как мой консультант, не забывай об этом.
Gemini начал (начала, начало) портачить с первого же шага, выбрав даты начиная с самой первой записи. Пришлось поправлять:
Мы говорили о том, что нужны даты, начиная от 29 января.
У ChatGPT такой проблемы не возникло. Далее я попросил обе модели:
Спасибо. Пройди по каждой записи и выбери, сколько времения я провел за работой.
Ага, с ошибкой, с опечаткой «времения», но обе справились достойно: я выборочно проверил. И дал следующее задание:
Спасибо. Теперь давай выберем время, которое я провел, играя в Block Breaker
И на этом шаге у Gemini есть ошибки, правда, сразу я их не заметил. И попросил модели:
Сведи, пожалуйста, в одну таблицу данные по времени "за работой" и "Block Breaker
Таблицу корректного внешнего вида вернули оба «цифровых помощника». А данные верны только у ChatGPT. У Gemini с точностью данных не заладилось, а уточняющие промпты спровоцировали лишь бесполезные с практической точки зрения, но обычные для LLM ответы вроде «Извините за эту ошибку. Я все еще учусь и стараюсь быть более точным в своих ответах.»
Как бывалый юзер со стажем – пользуюсь ChatGPT с момента его появления в широком, для масс доступе и Gemini тоже с самой зари – могу сказать, что во всех моих экспериментах и сравнениях ChatGPT явно выступает лучше. За исключением, конечно, работы с продуктами внутри экосистемы Google вроде Gmail, Google Sheets etc., за пределами этой песочницы ChatGPT остаётся моим фаворитом