Май и июнь - пора защит дипломов во многих ВУЗах. И так уж сошлось, что AI-тема в этом году заиграла интересными красками. И если уж мы на уровне компаний используем AI для рабочих задач, то нетрудно предположить, что многие студенты используют AI в своих дипломных и курсовых работах, но вслух не обсуждают этот интересный момент. Потому что вопрос этичности витает рядом. В этом посте я решился открыто рассказать про свой опыт и как-то подружиться с проблемой этичности, по крайней мере, для себя.
Итак, буквально на днях я успешно защитил свой диплом MBA в Moscow Business School, который писал неприлично долго.
Предисловие или как перфекционист "скатился до LLM"
Дипломные работы MBA изобилируют экспертными оценками. Но причина не в том, что маркетинговые исследования какие-то посредственные. Дело в том, что в маркетинге очень много неопределенности при отсутствии значимой статистики. И тут как ни крути – только экспертное мнение и остается.
В рамках своей дипломной работы я исследовал рынок баз данных – и тут невозможно пройти мимо магического квадранта Гартнера – это аналитические отчеты по различным отраслям, в т.ч. СУБД. Проблема с этим отчетом в том, что, во-первых, он очень дорогой, во-вторых, официально его нельзя купить в России, в-третьих, если и купишь каким-нибудь образом, нельзя или не стоит на него ссылаться в академических работах. В общем, подсмотреть одним глазком я смог в него, а вот сделать свои выводы в дипломной работе со ссылками – не получилось.
Тогда я подумал – чего там сложного то? Две оси ("Ability to execute" и "Completeness of vision") – я же могу сам соорудить что-то подобное. Но если в Gartner привлекают авторитетных экспертов мирового уровня, то мне, простому смертному, этот ресурс недоступен. Даже сузив аналитику до рынка СУБД в России, все равно не найти экспертов. Ну допустим их в России 50 человек. Допустим, до 10 из них я могу дотянуться и что-то там спросить. Но это будет сильно смещенная оценка, а не объективная аналитика. Если постараться можно легко склонить читателя к одной или другой точке зрения, апеллируя к мнениям экспертов. И все будет с виду корректно, только экспертов надо подобрать "правильных". Чувствуете подвох с экспертами? Меня, как представителя строгих наук, это коробило.
Таким образом мой внутренний перфекционист не принял экспертный подход, но и ничего достойного взамен не предложил.
В 2024м году продолжая размышлять как же найти истину, я предположил – раз LLM учится на открытых данных, то получается, что этот LLM является тем самым объективным экспертом, которому можно доверять, потому что он не аффилирован с конкретной СУБД (или вендором), а значит беспристрастен. Более того, LLM знает даже то, что мне не попадалось на глаза за все время изучения матчасти. Кароче, у меня случилось прозрение как заменить группу экспертов со смещенной оценкой на более объективный инструмент – LLM. И даже вынес этот тезис в гипотезы работы:
Генеративная пред-обученная языковая модель равносильна группе экспертов при использовании естественного языка запросов
Вы бы знали как я был горд собой. И да, у меня получилось с помощью LLM построить аналог квадранта Гартнера.
Радость была недолгой, т.к. на следующем витке размышлений я захотел как-то провалидировать результаты от LLM. И был раздосадован, что формальных методов не существует, кроме как проверить на контрольной выборке. Но это не мой случай – я хочу "добывать" знания через LLM, а не аппроксимировать то, что мне и так известно.
Другой подвох с LLM заключался в том, что LLM-ки обучены данными по состоянию на определенную дату. Ну то есть чтобы сделать аналитику баз данных в 2025м году не совсем подходят LLM-ки, обученные в 2023м году, т.к. они не знают как изменился спрос и какие прорывы случились у разных вендоров СУБД в 2024-2025 гг.
Так или иначе, маркетинговая мысль про квадрант Гартнера осталась в одной из предыдущих версий дипломной работы и вообще не вошла в финальный вариант. Это был 2024й год. Но из того опыта я уяснил насколько быстрее LLM-ки позволяют тестировать гипотезы, накидывать варианты – размышлять одним словом. Даже если придется потом выкинуть весь материал. Переболеть всеми этими промежуточными результатами важно с точки зрения развития своего научного труда.
В марте 2025 года у меня случилось очередное озарение и начался период "AI-driven написания диплома". Ниже путь, лайфхаки и уроки из этого подхода.
Часть первая - Как быстро сделать текст работы?
Мой путь - AI-driven. Вайб-кодинг, только про научную работу.
В какой-то момент я стеснялся этого этапа, но потом вообще ничего не осталось от AI - поэтому работа честная. Ниже N пунктов, которые пришлось провернуть или держать в уме, чтобы оно таки состоялось.
Я начал с диалога в LLM "Какие перспективы успешности защиты по теме ТЕМА?". Дальше было N диалогов по уточнению формулировки. Например, какое слово оставить - "коммерциализация", "продвижение", "вывод продукта" и т.п. Эта AI-часть развития маркетинговой/студенческой мысли по сравнению с реальными разговорами с заинтересованными коллегами/экспертами/научным руководителем лучше тем, что на порядок быстрее. Для примера: задаешь коллеге вопрос в пятницу вечером, а он даже не читает телегу до понедельника. А LLM-ка уже через полчаса разрешает все сомнения.
На большую часть возникающих вопросов оказывается можно просто поговорить с AI, начав с "Поразмышляй со мной" и изложив свои сомнения. В процессе поймешь и определишься уже со своим СОБСТВЕННЫМ мнением.
Пользоваться здравым смыслом - очень полезно. Тут никакой AI не поможет. И если есть сомнения на любом этапе и по любому поводу - "поразмышляй" (см. п. 2).
Иногда не хватает собственных знаний, чтобы определиться как правильно в том или ином вопросе. В этом случае я формулировал промпт и закидывал его сразу в несколько LLM (или в арены), чтобы получить как можно более широкий спектр размышлений. Общая непротиворечивая часть всех ответов обычно и есть истина. Это напоминает, как если бы ты свою проблему излагал разным коллегам на кофепойнте и выслушивал мнения, а потом принимал собственное решение. Как говорил мой научный руководитель по кандидатской диссертации - "Слушай всех, прислушивайся к немногим, решай сам".
Когда с темой определился - попросил сгенерить структуру работы (содержание). Не надо тупо копировать выхлоп, а надо осознать чего не хватает, что излишне. На этом этапе уже надо видеть работу ЦЕЛИКОМ со всеми этапами анализ/синтез/анализ (по философии) или обзор/аналитическая часть/проектная часть (по MBA-ному). Очень помогало держать в голове план работы от моего научного руководителя - план общий для всех дипломов, но там точно есть правильная структура работы, правильные методы и фреймворки, которые можно применять у себя. И если в содержании не находится места, например, для PEST-анализа - надо задаться вопросом - почему так? И добавить его. Аналогично 5 сил Портера нет - почему? А нужно ли? Вариант "поразмышляй со мной" (см. п. 2) тут однозначно помогает. Кстате про методы, методики, фреймворки - то, что я проходил во время обучения. Не все из них надо применять у себя. Здравый смысл (п.3) и "поразмышляй со мной" (п.2) помогают определиться насколько оно к месту в твоей конкретной работе. Но были и методы/фреймворки, которые отсутствовали в программе обучения. Например, про BANT-анализ я узнал от опытного коллеги-маркетолога. LLM-ки не выдали что-то по-настоящему интересное и полезное - выдали только наиболее часто применяемые методики и фреймворки, типа PEST/SWOT/5 сил Портера. Но кстате про TAM-SAM-SOM-анализ я узнал от LLM, хоть и не помню с каким промптом заходил. Что-то из методик добавил после финального ревью научного руководителя (типа канву Остервальдера и Пинье или оценку рисков по FERMA).
Дальше когда содержание плюс-минус устраивает - "скормил" его в LLM, чтобы он сгенерировал текст каждой главы, раздела и подраздела. И это мощный старт по сравнению с белым листом. По сути выхлоп LLM - красивая, но не защищабельная чушь. Очень разумно пишет, но как только доберешься до поиска первоисточников - оказывается галлюцинаций там полно - начиная с несуществующих книг, заканчивая несуществующими тезисами и цифрами по тексту. Буквально каждую букву надо перепроверять и самостоятельно находить данные. И, само собой, - см. п. 2 и 3.
Как оформлять список литературы? Сначала просишь LLM выдать список первоисточников по каждой мысли и собираешь список. Потом мучительно перепроверяешь все - там абсолютно все (ну или 90%) – несуществующие источники, хоть и с виду – нормальный библиографический источник, оформленный по ГОСТ 7.0.5 с указанием ISBN (правда, пойдешь искать этот ISBN - или не найдешь его или найдешь что-то другое). В общем, потом идешь по списку и ищешь нормальные источники, находишь, что же там есть в реальности и, возможно, у тебя рождаются еще мысли.
Технические детали
Я делал в гугло-доках и попросил LLM написать скрипт для пересортировки номеров источников в квадртных скобках в порядке их появления в документе. Ну я ж у мамы программист - чуток пришлось дотюнить код, чтобы он нормально заработал. Эта работа не одноразовая, поэтому скриптом я в процессе часто пользовался. Например, переместил раздел/подраздел в другое место ⇒ поплыла нумерация источников ⇒ надо опять переставить их местами и поменять по тексту номера. Сам скрипт тут.
В итоге я работу переписал 7 раз вручную (потому что - см. п.3) по сравнению с вариантом от LLM. Оригинальность - 96% в анти-плагиате.
После того как написал весь текст - я еще 100500 раз мучил LLM уже на предмет проверки что все ок запросами вида:
Ты эксперт аттестационной комиссии. Студент представил работу на защиту. Проведи экспертизу работы с точки зрения соответствия академическим требованиям, полноты, правдивости, логичности и последовательности изложения.
или
Ты вредный рецензент и очень не хочешь писать положительный отзыв. Проведи экспертизу работы и найди самые стрёмные места, чтобы не допустить работу до защиты или завалить студента на защите.
или даже таким
Ты эксперт аттестационной комиссии. Студент представил работу на защиту. Мы знаем, что он читерил и пользовался AI чтобы написать работу - давай найдем все враньё, галюцинации, несоответствия, несвязность изложения, несуществующие источники - в общем выведем его на чистую воду.
Ну а дальше стандартная работа с замечаниями - либо исправлять, либо принимать замечание и иметь заготовленный ответ.
Из прикольного – разные LLM-ки мне указывали на фальсификации с источниками литературы, датированными 2025м годом с аргументацией "этот источник из будущего, а значит некорретный". Это объясняется тем, что LLM-ки обучены на какую-то дату в прошлом, например, 2023й год, поэтому все, что свежее 2023го года – это какая-то ересь с т.з. модели.
Есть рекомендации про время доклада (12 минут для Moscow Business School), про количество страниц основной работы (120 для MBA Professional).
На всех этапах, когда контент не укладывается в требования - стоит ходить в LLM с вопросом "Как бы вот это сократить в X раз чтобы не потерять суть работы?". Ну а дальше - см. п. 3.
Часть контента (если очень жалко) выносим в приложения, часть придется удалить в угоду методическим рекомендациям.
Мой путь - не является единственно-возможным правильным и рекомендованным способом. Но мне это помогло в условиях, когда основную работу никто не отменяет и твои телодвижения MBA никому не интересны, если ты регулярно заваливаешь основную работу. Тщательная работа над дипломом MBA по факту может не только не помочь в карьере, а вообще - лишить тебя работы, т.к. "не справляешь со своими обязанностями". Кароч мне помогло не профакапить то, за что мне платят зарплату.
Часть вторая - Как сделать презу и доклад на защиту?
Содержательно я просто спросил у LLM как представить работу (скормил вордовский файл на 165 страниц) в виде презентации к докладу на 12 минут (с рекомендациями из Moscow Business School - 18 слайдов), попросил выплюнуть результат в формате LaTeX. Как его превратить в PPTX - дело техники. Ответ LLM я взял за основу и сочинил свою презу на 38 слайдов.
Из технических деталей про то, как собрать/нарисовать слайд
LLM-ка пишет что должно быть на слайде текстом. Но как это изобразить???
Тут были разные варианты:
просил LLM сделать плейсхолдеры для рисунков из работы с комментом типа "тут надо вставить рисунок 2.5":
иногда нужно объемный контент представить на 1 слайде. Тут я просил LLM выплюнуть в формате SVG, Mermaid или PlainUML - как это потом отобразить - тут насколько у вас хватит айтишных скиллов. Но примерно для каждого формата есть что-то, что можно найти по запросу в поисковике "online SVG viewer/editor". Смотришь на картинку - рождаются мысли как объемный контент отобразить графически ёмко. Но почти все SVG-шки пришлось нарисовать вручную в google-презах. Потому что как есть эти SVG - кривое/косое. Но как источник вдохновения - очень помогает.
"Сочинил" также с помощью LLM текст доклада на ~12 минут. Получилась хорошая основа, но НЕ пригодилось примерно все. Зато мощный старт по сравнению с белым пустым листом.
Прогонял доклад раз 10, попутно дополняя и вычищая текст и слайды. Пока не уложишься в 12 минут и не расскажешь суть работы и, самое главное, - пока не будешь удовлетворен. Главное пользоваться здравым смыслом - понимать в каждый момент времени помогает ли или вредит ли защите конкретный слайд или предложение в докладе.
Примечание
Когда я пишу LLM - я имею в виду все существующие LLM. Я перепробовал буквально все - GPT (3, 4, 4.1, 4.5), DeepSeek, LLaMA, QwQ, Qwen, YandexGPT, Sonnet, Gemini. Среди всех языковых моделей больше всего пользы и правдивости получил от Antropic Claude Sonnet 3.7 с включенными размышлениями. Сколько то денег на LLM ушло. И чем толще работа, тем дороже запросы.
Выводы и уроки про AI-driven подход к написанию диплома
Люди часто прокрастинируют не потому что плохие и ленивые. Часто задача имеет много неопределенностей. И высокая энтропия вызывает ступор. Поэтому самая большая польза от LLM - быстрый старт с чистого листа. Даже если полная чушь. Это примерно первые 80% пути. Вторые 80% пути нужно делать уже самому.
Этот пункт является следствием первого. LLM-ки всегда, при любой плохой постановке задачи (промпте) выполняют ее максимально хорошо (исходя из своего внутреннего ИИ-шного чувства прекрасного). Но реальные исполнители, прочитав плохое ТЗ, пойдут задавать уточняющие вопросы, чтобы добиться ожидаемых результатов, а не абэ каких. А LLM-ки генерируют чушь. Напоминают армию - для любого приказа задача, в первую очередь, должна быть выполнена. Даже если неправильно, но это незначительные детали. Это бесит. Вместо оголтелого решения в неправильном направлении (и последующего исправления первоначального промпта) - стоило бы распросить меня (оператора ИИ), доуточнить и дальше двигаться. И денег куча улетает из-за этих тупых фрикций и время. Вот этого разумного ИИ капец не хватает.
Иногда очень сложно отделить NDA от не-NDA. Особенно когда мысль/цифра/идея размазана по тексту на 100+ страниц. В этом смысле LLM – просто спасение. Ибо оно ничего не знает секретного и генерит свой контент, исходя из открытой информации. А значит нет рисков разгласить коммерческую тайну. Главное, в процессе ручного причесывания не просочить секретное в текст диплома. И да, тут студенческая фантазия расходится с реальностью - это надо просто принять
LLM-ки конечно хорошо, но здравый смысл должен быть. Свои или не свои фантазии точно стоит “обкашлять” с реальными экспертами/коллегами. Double-check, так сказать.
Очень отрадно видеть, что то, что ты нафантазировал (сам или не сам, но главное - без NDA) в дипломе совпадает с реальностью. У меня тут катарсис случается.
Семь версий текста работы случились за 3+ месяца (вплоть до успешной защиты) - это плотная работа каждый божий день в любое свободное время. Но надо понимать, что перед этим было много времени (год+) погружения в специфику отрасли/продукта/задачи. Иначе невозможно провалидировать выхлоп LLM. Но без AI – хз сколько бы времени ушло (если не выключать своего внутреннего перфекциониста и делать так, чтобы не было стыдно).
Совпадение темы диплома и основной работы - очень помогало оставаться в двух реальностях одновременно. Диплом в моем случае способствует основной работе (руководителя команды) и в каком-то смысле вывело меня на новый уровень. Студенческие размышления помогают переоценить то, чем мы в команде занимаемся, помогают взвешено расставлять приоритеты задачам, фокусироваться на важном. В общем тут я не прогадал (имхо).
Послесловие и послевкусие
Кто-то назовет меня читером - я не соглашусь. Но что AI в процессе было овер-дофига – это правда. Единственное, где не было ни грамма ИИ – это текст вот этой статьи =)))
Мог ли один лишь AI написать мою работу в том же качестве? Однозначно – нет. Мог ли я написать свою работу без AI в том же качестве? Да. Но времени на плотную работу ушло бы в 3-5 раз больше. Мог ли я поступиться качеством ради корочки? Нет. Просто – нет.
Можно ли сказать, что с таким подходом я не шарю в теме? Не разобравшись – конечно можно. Но реальность такова, что в моей теме работы никто лучше меня не разбирается (моя природная скромность тут очень рекомендовала промолчать, но нет – надо расставить все точки над "ü").
Но, самое главное, - я закрыл свой старый гештальт и теперь, надеюсь, у меня освободится парочка хромосом в голове для того, чтобы еще больше перформить. Ну и приятный бонус – можно повыпендриваться очередной корочкой при случае. Хотя ученую степень в моей системе ценностей я ценю выше, чем MBA.
Подводя итог, могу посоветовать – если AI помогает тебе экономить свое время – пользуйся и не стесняйся. Ибо есть куча всего интересного, что AI пока не может делать - уж лучше туда направить свой неуёмный потенциал.
