AI отлично анализирует стартапы, но совершенно не умеет выбирать будущих победителей

Привет! Меня зовут Саша Журавлев. Я венчурный инвестор и основатель фонда Mento vc. Мы инвестируем в стартапы на стадиях Seed / Series A в США, а в своем телеграм-канале рассказываю, как вижу рынок и принимаю инвестиционные решения.

Мы в Mento VC уже давно строим собственную AI-инфраструктуру для поиска и анализа стартапов. И недавно решили проверить, насколько вообще можно доверять современным AI-моделям в задачах венчура.

В итоге сделали и публично выпустили собственный бенчмарк — Startup Agent Benchmark (SAB).

Мы протестировали 14 моделей от OpenAI, Anthropic, Google и других провайдеров на 960 аналитических задачах и 101 задаче по ранжированию стартапов. Использовали в том числе нашу реальную базу из 8,000 компаний.

Несколько интересных выводов:

1. Claude Opus 5.5 — лучший аналитик. Набрал 97.2 балла из 100, хотя разница с ближайшим конкурентом статистически незначима.

2. Все модели галлюцинируют. Даже лучшие в 9-10% случаев придумывали ответы на вопросы, информации для которых не было в предоставленных документах.

3. Разница в стоимости — больше 100 раз. Одна аналитическая задача может стоить от $0.003 до $0.36 в зависимости от модели. При этом дороже далеко не всегда значит лучше.

Самое интересное: все 13 моделей проиграли простейшей эвристике в прогнозировании роста стартапов. Обычная сортировка компаний по историческому росту сотрудников оказалась эффективнее AI-прогнозов на горизонте 90-180 дней.

Получается любопытная ситуация. AI уже отлично справляется с аналитической работой венчурного фонда (быстро и дешево). Но когда дело доходит до прогнозирования будущего роста компаний, все гораздо сложнее.

Для нас это еще одно подтверждение стратегии: максимально автоматизировать поиск и анализ стартапов, но инвестиционные решения пока оставлять на себе.

В общем, получилось интересное исследование с интерактивными графиками, рейтингами моделей и подробной методологией.

Если работаете с AI-агентами, занимаетесь венчуром или просто интересно, насколько хорошо современные LLM справляются с реальными бизнес-задачами, рекомендую посмотреть — https://mento.vc/sab-bench