Comments 27
Последние годы преподавания, распознав появления этих «около ИИ-проблем» (наряду с кучей других), пришел к некоторым эффективным практикам, про что есть статья и короткий доклад.
TLDR:
теоретически: уход от схоластики, «лекций и библиотек», задрачивания тестами (и прочего бихевиоризма c programmed learning), к constructionist learning с виртуальными лабораториями в броузере и интерактивными редактируемыми материалами, и целью учащихся — сделать самим «образовательный контент» в процессе своего понимания.
технически: code-server, программирование в броузере, юпитер-ноутбуки, симуляторы, разборы научных статей. ИИ можно использовать, он только разгрузит преподавателя.
Уверен, это хорошо работает, если речь идёт о программистском образовании, но уже не так уверен, если речь заходит о математике)
Хотя про constructionist learning интересно, думаю, это эффективно адаптируется
С математикой (за пределами вычислительной математики и алгоритмов) там конечно отдельная песня, я размышляю над «эффективной конструктивной визуализацией доказательств», эффективней и дешевле чем Manim-ролики. Пока понял, что заходы через Coq-Idris-Isabelle-доказательство и это все — тупиково для образования ← «понятность важнее строгости».
и целью учащихся — сделать самим «образовательный контент» в процессе своего понимания
Т.е. хирург должен "сделать «образовательный контент» в процессе своего понимания"? Из кого, можно узнать?
Физик-ядерщик?
дистиллированные математические и алгоритмические задачки щелкаются чатгопотой на ура
Задайте гопоте задачку на сравнение трёх чисел между собой и гопоту вычислите через тысячную долю секунды точно также "на ура".
И конечно надо прекратить в ВУЗах заниматься предметами, обучение которым можно тупо автоматизировать еще на уровне школьников даже без ИИ — всякие «основы питона» и прочая элементарщина
Что делать с теми, кто в ВУЗ пришёл без знания данных предметов? Зачем вообще изучать питон? Зачем вообще в представленной Вами парадигме изучать вообще что бы то ни было?
Все определения — прямые ссылки на википедию
Вы же шутите?
если есть нужная книга–статья — должна открываться по клику, или «ненужно»
Про то, что это нереалистичное требование, известно уже даже Википедии.
Фантастична сама идея, что знания современных технологий достоверно оцениваются за час, да еще и на потоке. Тогда бы закрылась HR-индустрия с кучей собеседований, тестовыми заданиями и испытательными сроками.
А ничего, что у оценки знаний в вузе и HR-индустрии цели несколько разные? Ничего. Хорошо.
и студент немало видели и слышали друг друга, хоть не встречались лично и возможно живут в разных часовых поясах или циркадных ритмах
Это как? Допустим, даже самая элементарная ситуация: преподаватель спит с 12:00 до 24:00, студент - с 00:00 до 12:00.
Т.е. хирург должен "сделать «образовательный контент» в процессе своего понимания"? Из кого, можно узнать?
Судя по всему, доклад вы не посмотрели, там демо, кто и что может сделать, там только реальный опыт («никто никому ничего не должен»). Мой опыт про преподавание алгоритмов-вычматов-крипто-терсложности, но я также распространял это на физику, литературу и другое. C физиком-ядерщиком из МГУ я кстати общался, на тему автоматизации их древних ядерно-радиоактивных лабов как раз на python-code-server-jupyter стек.
Про хирургов не знаю ничего, кроме сериала ER, наверно можно подумать на эту тему, но бесплатного времени у меня нет.
Задайте гопоте задачку на сравнение трёх чисел между собой и гопоту вычислите через тысячную долю секунды точно также "на ура".
Это уже давно не так. Проверьте сами. Иначе бы проблемы вообще не было.
Про то, что это нереалистичное требование, известно уже даже Википедии.
Студенты, когда работают в лабе (закрытой снаружи от краулеров), имеют доступ ко всем процитированным книгам. Книги можно найти и предоставить студентам. Речь не про открытую публикацию книг для ссылок из Википедии.
«Все определения — прямые ссылки на википедию — Вы же шутите?»
Ну может чуть преувеличиваю, но нет. Разумеется определения стоит проверить, английские по наукам достаточно хороши точно. Если что-то не ОК — хороший повод поправить прямо в википедии, ну или может русскую статью написать — и сделать мир лучше.
А ничего, что у оценки знаний в вузе и HR-индустрии цели несколько разные?
Несколько — да. Никто с этим не спорит. Но схожести — много, а будет — больше.
Это как? Допустим, даже самая элементарная ситуация: преподаватель спит с 12:00 до 24:00, студент - с 00:00 до 12:00.
Посмотрите доклад или внимательно прочитайте статью. Или хотя бы обратите внимание на «асинхронность» в ее названии. А, ладно — там как раз фишка, что асинхронное общение — чаты и обмен короткими видеороликами снимает проблему необходимости синхронных встреч, лекций-семинаров-созвонов.
C физиком-ядерщиком из МГУ я кстати общался, на тему автоматизации их древних ядерно-радиоактивных лабов как раз на python-code-server-jupyter стек
Речь про какие-то вычислительные лабы? Тут ничего сверхъестественного не вижу, мне интересно как Вы предлагаете "сделать «образовательный контент» в процессе своего понимания" работы какой-нибудь Чернобыльской АЭС в разрезе практического опыта. Так, что ошибся - и пол-Москвы непригодно для проживания.
Проверьте сами.
Да проверял уже несколько раз, но раз уж Вы так настаиваете...
В очередной раз выдаёт решение, по которому сразу видно, что его делала LLM, оно, банально, слишком сложное, при том, что я просил выступить в роли не то, что студента, а первоклассника.
Книги можно найти и предоставить студентам.
Можно. Сделали Вы ссылку на книгу в университетской библиотечной системе, пришёл студент на занятия, а в серверной свет вырубило и дизель-генераторы всю соляру сожгли.
Если что-то не ОК — хороший повод поправить прямо в википедии
Про войны правок Вы никогда не слышали?
Но схожести — много, а будет — больше.
Каким образом появится больше схожести между целью достижения заданного количества выпускников и целью сокращения расходов на персонал, вплоть до уменьшения количества сотрудников до нуля?
там как раз фишка, что асинхронное общение — чаты и обмен короткими видеороликами
Ах вот оно что! Т.е. точно также, как это было.... да вот хотя бы в пандемию?!
Ну это, конечно, всё меняет. Студент совершенно точно не сможет взять своё фото, текст ответа, сгенерированный одной нейросетью, запихнуть в другую и полученный видеоролик с говорящей головой залить в качестве "асинхронного ответа". И асинхронность ему сыграет только на руку, это в режиме реального времени нейросети плохо с deep fake справляются (по крайней мере пока), а в отложенном - очень даже хорошо.
Речь про какие-то вычислительные лабы? Тут ничего сверхъестественного не вижу, мне интересно как Вы предлагаете "сделать «образовательный контент» в процессе своего понимания" работы какой-нибудь Чернобыльской АЭС в разрезе практического опыта.
Как раз симуляторы — есть и делают симуляторы РБМК, еще в нулевых играл в них, изучал Чернобыльскую аварию на уровне глубже отчета INSAG-5 — они дают гораздо глубже понимание, чем чтение текстов, или катание тупо на место.
Но какого фига вы тащите вот это сюда «Так, что ошибся - и пол-Москвы непригодно для проживания», хирургов и т.п., мне непонятно. Считаете, что для какой-то профессии это не подходит — ну не используйте. Профессий в духе «один человек ошибся - и пол-Москвы непригодно для проживания» на самом деле нет, кроме верхушки политики — на ЧАЭС как раз совпадение очень большая серия ошибок, начиная с конструкции, начиная с того, что эти ошибки были известны и не исправлялись... а оффтопик.
В очередной раз выдаёт решение, по которому сразу видно, что его делала LLM
Замечательно, не буду спорить, значит для ваших преподавательных вопросов все отлично, вы отлично отличаете LLM ответ от честного, можете доказать это студенту, или там не зачесть, у вас все хорошо. Оукей, не буду настаивать. Будем считать это моей и моего круга проблемой, где LLMки могут решить проверяющие задания, к тому же, как я обьяснил, цели «не принимать решение» если оно похоже на «LLM-решение» у меня нет.
а в серверной свет вырубило и дизель-генераторы всю соляру сожгли.
… И полМосквы уже кто-то снес… Почти Годвин лоу. Ну как раз при асинхронном обучении никуда ему ездить не надо, подождет когда включят (вопросы бекапов-дублирования и т.п. — элементарны и оффтоп). А если «полМосквы» — ну значит это уже точно будет не главная проблема.
Про войны правок Вы никогда не слышали?
Я в них участвовал. И к википедии (особенно к русской) у меня много претензий в части политики и резкого форсирования правил «ВП:КУ», и вообще «ВП:КЗ», но чтобы было косячное определение чего-то математического-научного — не встречал. А в книгах и статьях — постоянно. Ну если будут косяки в определении чего-то, что я преподаю, да это повод вступить в «войну правок», надеюсь это будет полезно и интересно (может там надо не править, а наоборот, вправить мозги себе).
целью сокращения расходов на персонал, вплоть до уменьшения количества сотрудников до нуля?
У меня нигде не написано про сокращение расходов на персонал (а то вы сюда и дворников притащите, и свет выключите, и полмосквы…).
Еще раз, я просто отметил, что устный экзамен, например в чем-то по математически-алгоритмически-научном, похож на айти- или научный процесс собеседования, которые, уже давно перестали быть «получасовым разговором с вопросами про люки», а превратились в большой процесс (Яндекс — в 8 собеседований например, по опыту знакомого), и разумно убрать театр экзамена — вон ниже тут в комментах «экзамен принимают расспрашивая про чтение рандомного кода» — ну тут можно было совсем убрать театр и просто бросать кубики, ибо это совсем не масштабируется. Если же делать это все в процессе обучения, «выполнять шедевры, обсуждать свой и опенсорс код, набирать очки» — это будет общеполезно, нестрессово, и честно (у меня есть пока экспериментальные индивидуальные задания по изучению опен-сорс проектов, где студент описывает архитектуру и вообще «how it works» в некой системе метаописания, это пока процессе разработки и тестирования, и это тоже долгий процесс).
Т.е. точно также, как это было.... да вот хотя бы в пандемию?!
Нет, так не было. «Пандемия»™ (не является пандемией по определению ВОЗ), как я отметил, дала хороший пинок оффлайну, но тогда все относительно сидели дома, и созвоны как замена семинарам еще были возможны. Но это не идеал, и о проблемах и решениях этого я и говорил в докладе и статье.
Студент совершенно точно не сможет взять своё фото, текст ответа, сгенерированный одной нейросетью, запихнуть в другую и полученный видеоролик с говорящей головой залить в качестве "асинхронного ответа".
У меня нетривиальные задания, которые если сейчас какой-то студент «промптом и дешево» сможет решить через LLM — сгенерив, например, и визуализатор алгоритма, и ролик с собой (или фурри аватаром) — я ему конечно с удовольствием зачту и попрошу научить меня. Если это эволюционирует когда-нибудь что прямо напрягаться не надо, ну буду придумывать что-то другое, всегда пока можно добавить необходимость хелперов-спецмодулей-особенностей решения, которых LLM не знает (LLMки ВСЕГДА будут уязвимы к незнанию редкого и совсем свежего).
Речь про какие-то вычислительные лабы? Тут ничего сверхъестественного не вижу,
Нет конечно, про настоящие лабы c живой радиоактивностью, с автором этого доклада меня поселили в один номер гостиницы, было время на обсуждение. Реальные данные с приборов почти всегда можно закинуть в MODBUS/сеть/базу (совсем древнее наверно можно через opencv смотреть на всякие газоразрядные индикаторы, распознавать… — и слать туда же), подхватить в python-коде и юпитер-ноутбуках, и совместно «смотреть и анализировать физику» в code-server.
Я даже с химиками общался на тему «удаленных опытов», там да, нетривиально, проще всего голосом и видео «управлять лаборантом», но это не для студентов конечно — студентам полезно держать склянки в руках, а скорее чтобы не дергать ведущих сотрудников в офис.
Как раз симуляторы
Вы же понимаете, что на симуляторе невозможно даже на велосипеде научиться ездить?
Но какого фига вы тащите вот это сюда «Так, что ошибся - и пол-Москвы непригодно для проживания», хирургов и т.п., мне непонятно
Человеку с высшим образованием, преподавателю вуза, неизвестен такой простой литературный приём, как гипербола? Можно я не поверю?
Считаете, что для какой-то профессии это не подходит — ну не используйте.
Извините, мне показалось, что Вы предлагаете какую-то новую универсальную парадигму, призванную заменить всю систему образования в эпоху LLM.
Ну если будут косяки в определении чего-то, что я преподаю, да это повод вступить в «войну правок», надеюсь это будет полезно и интересно
Можно, конечно, только порадоваться, что для Вас это и интересно, и полезно. Студентам-то как с этим жить? В понедельник пришла первая подгруппа на занятие - в википедии написано, что 2+2=6, во вторник пришла вторая подгруппа на занятие - в википедии написано, что 2+2=9. Какой подгруппе верить?
это будет общеполезно, нестрессово, и честно
"Большинство этих детей никогда не услышит правду о себе пока им не стукнет третий десяток и их начальник не вызовет их к себе и скажет: "Бобби, очисти дерьмо со своего стола и вали отсюда. Ты неудачник, Бобби.""
Нет, так не было.
У Вас не было. А я вполне себе наблюдал такую работу: преподаватель выкладывает в LMS видео с материалом и заданием, обучающиеся в течение некоторого времени смотрят, записывают свои ролики и тоже грузят в LMS. Преподаватель проверяет.
студентам полезно держать склянки в руках
Ну вот давайте на простом примере склянок и рассмотрим. Правило "лей кислоту в воду", надеюсь, в школе Вам рассказывали в "средневековой" манере?
Теперь расскажите, как это правило должны освоить обучающиеся в предлагаемой Вами модели "сделать самим «образовательный контент» в процессе своего понимания". Выдали каждому в группе по две склянки с кислотой и водой и полгруппы заехало в больничку с ожогами?
даже на велосипеде научиться ездить?
Даже? Вы тащите обучение спортивным и физическим навыкам сюда?
Ну для этого есть спортивные и физические симуляторы, для пилотов, каскадеров, спортсменов, но давайте выкинем уже ваши оффтопы за скобки.
Я дальше буду считать такое риторикой, и пожалуй не буду отвечать.
Даже?
Т.е. Вас не научили кататься на велосипеде в глубоком детстве?
Ну для этого есть спортивные и физические симуляторы, для пилотов, каскадеров, спортсменов
Формула-1 передаёт Вам пламенный привет.
Методологически ближе к constructionist learning, ничего «нового универсального»
Это как? Ведь constructionist learning и претендует на звание нового универсального.
это как раз нафиг никому не нужно, глобально-новое-уникальное
"Отучаемся говорить за всю сеть"
Я не лезу в преподавание химии
Вам непонятна суть вопроса обучения потенциально опасным для жизни и здоровья отраслям человеческой деятельности или Вы просто метод страуса используете, потому что ответа на него не имеете?
мне показалось, что Вы предлагаете какую-то новую универсальную парадигму, призванную заменить всю систему образования в эпоху LLM.
Как я уже отмечал, вы невнимательно читали или смотрели доклад. Там конкретный опыт, в котором предлагается перейти к более интерактивным материалам, более гибким форматам взаимодействия, и более интересной мотивацией, указано примерно в каких темах это пробовалось, что из старого можно выбросить, чтобы получить на время на новое. Методологически ближе к constructionist learning, ничего «нового универсального» (это как раз нафиг никому не нужно, глобально-новое-уникальное), только набор конкретно работающих практик и инструметов с демонстрацией. Больше уже ни слова об этом, исчерпал лимит — по ссылке, доклад, статья, фоловоаппсы с демо и разборами, ТГ-группа для заинтересовавшися, яндекс-кошелек.
неизвестен такой простой литературный приём, как гипербола?
«Плохая метафора подобна котенку с дверцей». Здесь не во всех темах уместна риторика. По крайней мере, я не будут тратить время на то, что мне покажется риторическими вопросами. Поищите кого-нибудь еще для риторической полемики, и лучше где-нибудь еще.
В понедельник пришла первая подгруппа на занятие - в википедии написано, что 2+2=6, во вторник пришла вторая подгруппа на занятие - в википедии написано, что 2+2=9
У вас явно нет опыта редактирования в википедии. Там нетривиальный ворфлоу, «проверенные версии» — вот всего что вы нафантазировали «войн правок и т.п.» в научных областях нет.
Актуальность определений там лучше, чем в российских книгах, или русскоязычных переводах (там косячат чаще), не говоря уже о внутриинститутских методичках, не говоря уже о том, что тут же связь с остальными понятиями, связанными темами и т.п.
У Вас не было. А я вполне себе наблюдал такую работу
Хорошо, кто-то тоже пришел к схожему воркфлоу, хотя надо смотреть насколько там интересные задания, могут ли студенты работать в одной среде, помогать друг другу, могут ли они запросить помощи у преподавателя — у меня не только «обмен роликами», это только мелкая часть процесса.
Надеюсь я ответил на основные ваши вопросы, остальное («а если ожоги-велосипед»), фантазируйте сами. Я не лезу в преподавание химии, хотя там четко можно разделить практические опыты и теорию (а биохимия и молекулярная химия — там вообще опять алгоритмы, красота, информатика, когда-нибудь может доберусь до визуализации всего этого), и мне не надо про «в школе Вам», про свою школу я уже ничего не помню, но у меня не так давно сын всерос по химии взял, что-то пришлось вспоминать, совсем не трогая склянок.
А что если будущее за профессиями физического труда (сварщики, сантехники,...).
А интеллектуальный труд заменит ИИ. Да уже и сейчас во многих областях заменил: генерация текстов, рисунков... (соответственно копирайтеры, художники).
То есть человек будет нужен для какой-то ручной работы, которую не получается автоматизировать.
Тогда и проблемы с использованием ИИ на экзамене/курсовой нет, наоборот можно сказать - студент учится использовать ИИ :)
Делюсь принципом сдачи экзамена.
Экзамен устный. Время на подготовку отсутствует. Студент садится сдавать, ему дается случайный недокументированный текст строк этак на N-цать (обычно от килобайта до 30-и) на компьютере преподавателя без интернета и компиляторов/интерпретаторов, он должен за две минуты с ним ознакомится и ответить на вопросы по коду, которые я ему задам. Времени для ответа на каждый вопрос дается минута.
На последнем экзамене база данных кодов была порядка 300 программ (преподаю IT), выполненных студентами в качестве различных домашних заданий по курсу. Как показывает практика - вполне работоспособный подход.
Может действительно стоит заинтересовать студентов в выполняемой работе. Все видят в ней принудиловку с потенциальными санкциями (в случае несдачи). А вот если бы они увидели те плюшки, которые могут поменять их будущую жизнь к лучшему. Не на абстрактных рассказах, на реальных примерах. мол, выполнил задание, не сделал какую то абстрактную фигню, которая интересна преподавателю с температурой в 40 градусов, а на реальном примере проработал свои навыки. примере, который и в портфолио не стыдно поместить. Тогда может что то и сдвинется. Ведь, в конечном счете, на каждый замочек найдется своя отмычка.
а на реальном примере проработал свои навыки. примере, который и в портфолио не стыдно поместить
Что мешает сделать это с помощью LLM?
Многие навыки, которые прорабатываются в университетах, сложные и абстрактные. Задача многих предметов - формировать общий кругозор в технической области, что на самом деле крайне полезно, но в моменте непонятно зачем. Мне кажется, это то, чем высшее образование отличается от пту - дает широкий контекст предметной области с сильным пониманием причинно-следственных связей, а на практике это можно проследить только через более уверенное владение практическими инструментами, за счет чего создается иллюзия, что все к этим инструментам и сводится. Хотя это не так.
Думаю, заинтересовывать имеет смысл либо через личный пример - вот смотрите, я хорошо учился и стал сео многомиллионной компании или крупным ученым, и вот я такой успешный говорю вам, что учиться полезно - либо через тотальное социальное одобрение с кнутами и пряниками - если не будешь хорошо знать свой предмет, общество через систему институтов репутации, экономической мотивации и т.п. тебя накажет, а если будешь, то наоборот, будешь пользоваться тотальным уважением и социальным одобрением.
Потому что если пытаться показывать, где напрямую пригодится квантовая механика или функциональный анализ или даже операционные системы какие-нибудь, то всегда будет возникать желание осваивать инструменты, а не принципы.
Некоторые мысли о преподавании (и) ИИ