Очень забавно. Вы взяли молоток, вместо гвоздя ударили по пальцу и сделали вывод, что молоток смертельно опасен. Ну да, как и кирпич. Ничего удивительного.
Пишу как человек, использующий LLM каждый день, в том числе и для генераций Теорий Всего. Для меня подобное - вид развлечения. Очень забавно читать такие галлюцинации LLM и наблюдать, как она все больше и больше сваливается в штопор. Но кроме шуток, иногда попадаются очень здравые фрагменты.
Проблема с LLM в их текущем состоянии в том, что они буквально как маленькие дети, только умеют лопотать на всех известных языках и на любую тему. Если есть более-менее готовая идея и требуется уточнить и доработать детали, то тут LLM резко упрощает жизнь - не надо долго гуглить и копаться в учебниках по малознакомым темам, особенно если оттуда нужна буквально пара фраз.
У меня есть некоторый и довольно успешный опыт работы с нейронками для генерации подобных научных артефактов. Мой пайплайн:
Формулировка начальной идеи. Методология: гегелевский подход с тезисом и антитезисом. Основание: LLM крайне хороши при скрещивании ежа с ужом, но им нужно давать четкие границы, а не отпускать в свободный поиск.
Поиск источников, в которых тезис и антитезис описаны максимально полно - статьи, книги, собственные заметки
Выбор LLM и формулировка первого промпта. Не все LLM галлюцианируют одинаково. По опыту могу сказать, что наиболее стабильно работает ChatGPT последних версий. Сейчас использую ChatGPT 5.1, проблем очень мало. Промпт нужно формулировать крайне тщательно, так, как будто объясняешь что такое дважды два полному идиоту.
Интерактивная генерация теории с помощью LLM. Цель: формулировка технического задания для вычислительного эксперимента на открытых данных или бенчмарках. ТЗ должно быть достаточным для написания полного кода с помощью ИИ (я использую GitHub Copilot с Claude Sonnet 4.5 - он пишет код по ТЗ крайне быстро и довольно качественно, насколько это вообще возможно с помощью LLM). На каждой итерации ключевые выводы проверяются на корректность с помощью любых других нейросетей.
В итоге получается законченный цикл - от идеи до ее экспериментальной проверки с верификацией всех этапов. Я разработал с помощью этого пайплайна довольно много всего с выходом на коммерческие приложения в формате стартапов.
Очень забавно. Вы взяли молоток, вместо гвоздя ударили по пальцу и сделали вывод, что молоток смертельно опасен. Ну да, как и кирпич. Ничего удивительного.
Пишу как человек, использующий LLM каждый день, в том числе и для генераций Теорий Всего. Для меня подобное - вид развлечения. Очень забавно читать такие галлюцинации LLM и наблюдать, как она все больше и больше сваливается в штопор. Но кроме шуток, иногда попадаются очень здравые фрагменты.
Проблема с LLM в их текущем состоянии в том, что они буквально как маленькие дети, только умеют лопотать на всех известных языках и на любую тему. Если есть более-менее готовая идея и требуется уточнить и доработать детали, то тут LLM резко упрощает жизнь - не надо долго гуглить и копаться в учебниках по малознакомым темам, особенно если оттуда нужна буквально пара фраз.
У меня есть некоторый и довольно успешный опыт работы с нейронками для генерации подобных научных артефактов. Мой пайплайн:
Формулировка начальной идеи. Методология: гегелевский подход с тезисом и антитезисом. Основание: LLM крайне хороши при скрещивании ежа с ужом, но им нужно давать четкие границы, а не отпускать в свободный поиск.
Поиск источников, в которых тезис и антитезис описаны максимально полно - статьи, книги, собственные заметки
Выбор LLM и формулировка первого промпта. Не все LLM галлюцианируют одинаково. По опыту могу сказать, что наиболее стабильно работает ChatGPT последних версий. Сейчас использую ChatGPT 5.1, проблем очень мало. Промпт нужно формулировать крайне тщательно, так, как будто объясняешь что такое дважды два полному идиоту.
Интерактивная генерация теории с помощью LLM. Цель: формулировка технического задания для вычислительного эксперимента на открытых данных или бенчмарках. ТЗ должно быть достаточным для написания полного кода с помощью ИИ (я использую GitHub Copilot с Claude Sonnet 4.5 - он пишет код по ТЗ крайне быстро и довольно качественно, насколько это вообще возможно с помощью LLM). На каждой итерации ключевые выводы проверяются на корректность с помощью любых других нейросетей.
В итоге получается законченный цикл - от идеи до ее экспериментальной проверки с верификацией всех этапов. Я разработал с помощью этого пайплайна довольно много всего с выходом на коммерческие приложения в формате стартапов.