Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 7
А какие AI инструменты порекомендуете для автоматизации прохождения ваших тестов?
Весьма сомнительный сценарий.
НотебукМЛ хорошо для анализа больших книг в большом количестве, но если серьезно, число потерянных деталей в нём слишком большое даже в сравнении с дипсиком позапрошлой версии. В погоне за лимитами токенов Гугл перекрутил фичу аттеншена.
Возьмете агента. Разлейте книгу на части, напишете один раз навык, применено такой:
Разбить книгу на разделы
Если раздела большие - на более мелкие блоки
Да каждого блока сгенерировать вопросы
Соединить все в один файл
Найти слишком похожие и убрать
(опционально, для разнообразия) На основе вопросов придумать новые схожие с ними
(опционально, для красоты) Для части внесла поменять тип - не только выбор одного или нескольких, но и перетаскивание или нахождение соответствия, заполнение пропусков, …
Финально фактчек всех вопросов строго по одному с поиском правильных ответов в источнике
Превратить в json
(Опционально, если мусье знает толк в извращениях) сделать этот json совместимым с h5p.org
Залить в Гугл таблицы
Навайбкодить страницу на гитхабпейджс для отображения случайных вопросов по категориям/темам (или юзать h5p)
НотебукМЛ для таких задач - очень плохой сценарий. Вместо нормальной работы с контекстом вы получаете весьма сомнительный rag по вашей книге, где факт получения вопросов, которые реально закроют все темы - очень и очень спорный. Скорее всего из-за особенней системы гуглового rag у вас она тема закрыта 100500 вопросами, когда другая вообще выпала.
Но быстро, да 😑… хотя имхо навык писать было бы даже быстрее.
В - внимательно. Она наше все в процессе обучения. Ведь если бы вы внимательно прочитали статью, вряд ли пришлось писать комментарий. Но...
В итоговом варианте NotebookLM используется только в качестве источника. Всем остальным занимается Gemini. Которую настроить (и задать соответствующие промпты) каждый может под собственные нужды. Например, как расписали вы. Однако в статье изначально явно указано, что материал берется не целиком из книги, а именно по темам. Желающие могут разбить еще более детально, тут все по вкусу или по потребностям. Благо все это легко под себя настроить. Насколько потом проверять или перепроверять результат - это тоже по желанию и потребностям. Как я писал, волшебной кнопки сделай мне хорошо пока нет, но упростить работу и сократить потраченное на нее время вполне можно. И даже нужно. Так что вы не сказали ничего нового, чего нет в статье, по сути. Все это без проблем делается согласно предложенному в статье алгоритму.
А что касается именно NotebookLM, то сейчас это уже вполне зрелый инструмент. Тесты, которые в его студии генерируются, нормального качестве (при адекватных источниках и промптах, разумеется). Там проблема лишь в том, что их никуда не вытащишь легко. Ибо они сильно завязаны на интерактиве. Это и плюс и минус одновременно. Если использовать исключительно для себя - плюс. Если для других - минус. А еще там можно делать шикарные презентации в один клик. И много чего еще. Качество даже при обычных промптах более чем приличное. Главное, подобрать качественные источники. А дальше насколько хватит фантазии и умения в промпты.
NotebookLM зрелый и хороший инструмент. Просто для других задач. Тут тоже можно прислонить - можно же гвозди забивать и пассатижами и даже гаечным ключом. И при должном старании - разница заметна не будет. Просто NotebookLM выступает в роли rag для гемини. Что всегда ведёт к непредсказуемым потерям.
Ну и вторая мысль - сейчас у вас получился ручной паплайн, а можно превратить в полностью автоматизированный.
Да, для других в том числе. Но и под тесты он тоже заточен нормально. Не зря в студии есть и тесты и флеш карты. И с ними все ок. У меня уже достаточно богатый опыт работы с этим инструментом, в том числе в контексте создания тестов, так что говорю не понаслышке.
По поводу полностью автоматизированного - я и писал в статье, что дальше нужен агент для окончательной автоматизации, просто такой задачи у меня пока не было. И возни с агентом все же побольше будет.
Ну, у меня нет вопросов, что результат хороший. И инструмент тоже. Хотя и не для того.
Просто когда это будет агент - по сути он заберёт все шаги. И других инструментов будет не надо вообще.
И кстати мороки примерно ноль. Возьмите курсор, установка одним кликом. Создать файлы навыков - 10 минут, при том, что у вас по сути сами инструкции уже написаны. Ну может 30, чтобы он сам на гугл диск заливал.
Если зайдет, но не охота платить - перейдете на zed+ollama (тоже в пару кликов все ставится) или qwen cli, если консоль не вызывает паники. Файлы инструкций не поменяются при этом.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Автоматизация создания тестов: связка NotebookLM + Gemini + Google Apps Script