Привет, Хабр!
Недавно я выпустил на OZON авторскую коллекцию интеллектуальных вопросов, отобранных из базы ЧГК, квизов и тематических пабликов. Я постарался собрать не просто интересные и «красивые» задачи, а такие, которые можно решить логически — без знания редких фактов.
Со временем мне пришла в голову мысль: а как с такими задачами справятся современные большие языковые модели (LLM)? Особенно те, которые ориентированы не просто на выдачу ответов, а на рассуждение.
Решил устроить мини-эксперимент и проверить!
Условия эксперимента:
60 текстовых вопросов на русском языке.
(Если вопрос представлял собой дуплет/триплет — я добавлял пояснение в промт.)Вопросы подавались в чат-режиме, без дополнительного контекста.
Функция поиска в интернете была отключена, чтобы исключить подглядывание в базу.
Результаты
Модель | Правильных ответов | Доля правильных ответов, % | Место |
OpenAI o3 | 43 | 72 | 1 |
Gemini 2.5 pro | 42 | 70 | 2 |
Claude 3.7 Thinking | 25 | 42 | 3 |
DeepSeek R1 | 22 | 37 | 4 |
YandexGPT 4 pro (+рассуждение) | 21 | 35 | 5 |
Gemini 2.5 Flash | 17 | 28 | 6 |
GIGA CHAT 2 MAX | 16 | 27 | 7 |
P.S. Значения в таблице получены в рамках одного прогона — каждый вопрос задавался модели лишь один раз. Однако стоит учитывать, что у LLM есть параметр temperature, который управляет уровнем случайности в генерации ответа: чем выше значение, тем больше вариативность и «креативность» выдачи. Это напрямую влияет на выбор слов и логику рассуждения.
В идеале, чтобы получить более объективную картину, следовало бы запускать модель несколько раз на каждый вопрос, собирать распределение ответов и уже по нему вычислять, например, среднюю долю правильных решений.
Общие впечатления
🔹 GigaChat 2 MAX: "вспоминающая", но не "рассуждающая"
GigaChat 2 MAX — единственная в списке модель, которую нельзя отнести к классу thinking-LLM. По сути, её ответы чаще всего основаны на прямом «вспоминании» фактов из обучающей выборки, а не на логическом выводе. Это особенно заметно в тех случаях, когда вопрос содержит реальные фамилии или узнаваемые формулировки.
Пример:
"Фридрих Фрёбель называл детей "божьими растениями". Он считается создателем первого... Чего?"
Правильный ответ: Детского сада
Вопрос звучит изящно, но если вы знаете, чем известен Фрёбель, — ответ даётся «в лоб». LLM, очевидно, просто узнала фамилию и сопоставила с известным фактом.
🔹 Thinking-LLM: гипотезы, логика и немного магии
Все остальные протестированные модели можно условно отнести к "thinking-LLM" — они не просто выдают ответ, а проводят рассуждения. Часто можно наблюдать, как модель:
генерирует несколько гипотез;
перебирает их;
отвергает неверные;
находит финальную версию.
Именно эта цепочка делает их особенно интересными: они не только «вспоминают», но и строят вывод. Хотя стоит отметить, что порой встречаются случаи, когда модель угадывает правильный ответ, но объяснение к нему — полностью некорректно. Поэтому важно анализировать не только ответ, но и ход рассуждений.
Thinking-модели хорошо проявляют себя в задачах с нестандартной логикой, «чувством юмора» или зависимыми элементами (дуплеты, триплеты и т.п.).
Пример (юмор):
"Закончите шутку тремя словами: "А наш спонсор — отель «Развитие». Счастлив только тот, кто ...""
Правильный ответ: ... остановился в «Развитии»
На пару вопросов я получил настолько хорошие версии, что это может быть поводом переосмыслить или доработать формулировку вопроса.
Пример:
"ПЕРВЫЕ играют важную роль в экономике юга Чили. В книге чилийской писательницы Исабель Альенде говорится, что множество ПЕРВЫХ на склонах Анд похожи на ВТОРЫЕ, спустившиеся с высот до самой земли. Какие слова, начинающиеся на одну и ту же букву, заменены словами «ПЕРВАЯ» и «ВТОРОЕ»?"
Правильный ответ: овцы, облака (комментарий: пасущиеся на склонах овцы напоминали облака)
Одна из красивых версий от OpenAI o3: виноградники, водопады
При этом на по-настоящему нестандартные вопросы, особенно те, что требуют выйти за рамки обычной логики — модели, в целом, справляются хуже.
Пример (все модели ошиблись):
"Согласно шутке, «Муму» и «Дедушка Мазай и зайцы» — произведения из двух противоположных литературных жанров. Назовите оба этих жанра."
Правильный ответ: утопия и антиутопия
Вопрос требует не только знания произведений, но и нестандартного взгляда на жанры — что оказалось выше порога креативности большинства моделей.
🔹 Повторные прогоны и распределение гипотез
Меня впечатлили результаты OpenAI o3 и Gemini 2.5 Pro — они существенно выделялись по точности и качеству объяснений. Чтобы получить более стабильную картину, я написал Python-скрипт, который по API вызывает Gemini 2.5 Pro:
каждый вопрос прогоняется по 5 раз без сохранения контекста (чтобы ответы были независимыми);
в промте я прошу сгенерировать 5 различных версий ответа, расположенных по убыванию уверенности.
Результаты:
Среднее количество правильных ответов по первым гипотезам: от 35 до 43 из 60.
Если же учитывать все гипотезы (25 на вопрос) и считать вопрос решённым, если среди них есть хотя бы один правильный — общее число правильных ответов выросло до 48 из 60 (80%)!
Подключение и взаимодействие по API с Gemini 2.5 pro
import os
import time
import logging
from typing import List, Tuple, Set
import pandas as pd
from google import genai #python >= 3.8
from google.genai import types
# ------------------------------------------------------------------
# 1. Константы
# ------------------------------------------------------------------
GEMINI_API_KEY = '' #ваш API-key
CSV_IN = "questions.txt" #две колонки: n- номер вопроса, question - текст вопроса
CSV_OUT = "answers_gemini.csv"
N_REPEATS = 5
RATE_LIMIT = 1 # сек между вызовами
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s %(message)s",
datefmt="%H:%M:%S",
)
# ------------------------------------------------------------------
# 2. Инициализация клиента
# ------------------------------------------------------------------
client = genai.Client(api_key=GEMINI_API_KEY)
# ------------------------------------------------------------------
# 3. Запрос к Gemini
# ------------------------------------------------------------------
def ask_llm(q_num: int, q_text: str) -> Tuple[str, int, float]:
system_instruction = (
"Вы — педантичный логик. "
"Придумайте пять разных вариантов ответов на вопрос "
"в порядке убывания степени уверенности в строго заданном формате:"
)
user_prompt = (
f"Вопрос №{q_num}.\n{q_text}\n"
"Формат ответа:\n"
"Гипотеза № <номер гипотезы>.\n"
"ОТВЕТ: <Ваш вывод>\n"
"ОБОСНОВАНИЕ: <2–3 предложения>"
)
t0 = time.perf_counter()
try:
response = client.models.generate_content(
model="gemini-2.5-pro",
config=types.GenerateContentConfig(
temperature=0.7,
#max_output_tokens=2048,
system_instruction=system_instruction
),
contents=[{"role": "user", "parts": [{"text": user_prompt}]}]
)
elapsed = round(time.perf_counter() - t0, 3)
# Извлечение текста
answer_txt = response.candidates[0].content.parts[0].text.strip()
return answer_txt, 0, elapsed
except Exception as e:
raise RuntimeError(f"Gemini error: {e}")
# ------------------------------------------------------------------
# 4. Основной цикл
# ------------------------------------------------------------------
def main() -> None:
df_in = pd.read_csv(CSV_IN, sep="\t", encoding="cp1251").dropna()
done: Set[Tuple[int, int]] = set()
if os.path.isfile(CSV_OUT):
df_done = pd.read_csv(CSV_OUT, encoding="utf-8-sig")
done = set(zip(df_done["N"], df_done["repeat"]))
logging.info("🔄 Найдено %d уже сохранённых ответов → %s", len(done), CSV_OUT)
else:
logging.info("➕ CSV_OUT ещё не создан, начнём с нуля")
first_write = not os.path.isfile(CSV_OUT)
total_q = len(df_in)
for q_idx, row in enumerate(df_in.itertuples(index=False), start=1):
q_num, q_text = int(row.n), str(row.question)
for rep in range(1, N_REPEATS + 1):
if (q_num, rep) in done:
continue
logging.info("▶️ %d/%d | Вопрос №%s | попытка %s", q_idx, total_q, q_num, rep)
try:
ans, tokens, secs = ask_llm(q_num, q_text)
except Exception as exc:
logging.error("❌ Вопрос №%s, попытка %s: %s", q_num, rep, exc)
ans, tokens, secs = f"ERROR: {exc}", 0, 0.0
row_out = {
"N": q_num,
"repeat": rep,
"question": q_text,
"answer": ans,
"out_tokens": tokens,
"elapsed_sec": secs,
}
pd.DataFrame([row_out]).to_csv(
CSV_OUT,
mode="a",
header=first_write,
index=False,
encoding="utf-8-sig",
)
first_write = False
time.sleep(RATE_LIMIT)
logging.info("✅ Готово. Все результаты зафиксированы в %s", CSV_OUT)
if __name__ == "__main__":
main()🔹 Напоследок — идея: модели в связке
Мне кажется интересным следующее направление: запуск моделей в связке — одна генерирует гипотезы, другая их анализирует. Например, модель А предлагает 3 варианта, а модель B выбирает лучший или предлагает свою интерпретацию. Это своего рода имитация командной игры или брейншторма — где один игрок выдвигает идею, а другой уточняет или спорит.
Выводы
Результаты LLM на логических и «квизовых» вопросах — действительно впечатляют. Современные модели умеют не только вспоминать, но и строить рассуждения, формировать альтернативные гипотезы и порой даже предлагать более остроумные или точные формулировки, чем оригинал.
На мой взгляд, LLM уже можно использовать как ассистента при составлении интеллектуальных и логических задач. Вот несколько советов, как извлечь из этого максимум пользы:
Используйте "thinking-LLM" — такие как OpenAI o3 и Gemini 2.5 Pro (актуальные на момент написания статьи). У них лучшие цепочки рассуждений и гибкость мышления.
Читайте объяснения, а не только ответы. Даже если ответ правильный — путь к нему может многое сказать о качестве логики.
Запрашивайте несколько версий ответа. Это поможет найти неожиданные, но достойные альтернативные формулировки, которые могли бы улучшить или разнообразить ваш вопрос.
Задавайте один и тот же вопрос несколько раз. Поведение модели зависит от параметра temperature, который влияет на вариативность ответа. Повтор — это способ оценить устойчивость гипотез.