Комментарии 13
Единственным выходом мне видится (и использую) только устный экзамен. Как правильно указанно это занимает большое время, но это если проверять все задание. Можно проверять до первого вопроса на котором студент "поплывет" и расколется в использовании чата (или не расколется но плывет знатно). После этого сразу возвращать работу на доработку. На экзамене можно заранее предупредить о полном обнулении оценки для данного пункта в случае неумения объяснить этапы ответа. Ясно, что это очень драконовая мера. В последнее время я добавил, более гуманное, правило 51 (зона 51), когда оценка не обнуляется, а ставится 51% от возможной максимальной оценки. Привлекать старшекурсников можно, но сначала надо прослушать как этот старшекурсник проводит опрос.
У меня свой метод: я ставлю задачу (но джуну ничего о ней не говорю) , начинаю сам её решать и прошу джуна продолжить мою мысль. Если он в контексте, то продолжит. Не зная задачи он не сможет быстро спросить у модели. Успеть быстро перепечатать все начало решения,тем более устного в промпт нереально. В итоге таким способом я уже набрал в компанию 3 отличных джунов, отсеяв при это 70-80 ковыряльщиков ллм-ок.
Это позволит официально привлекать старших студентов для проверки практических работ у младших курсов.
Добрый день! Работаю в университете и тоже руковожу обучением программистов. Много интересных мыслей, но ко всему подходу один большой вопрос. Подскажите, на каком юридическом основании вы сможете официально привлекать студентов, пусть даже магистрантов, к проверке практических работ? По современным нормативным документам человек без диплома магистра (специалиста) преподавать (ну и, соответственно, проверять какие-либо работы) в высшем образовании не может.
P.S. На младших курсах в дисциплинах формирующих фундаментальные навыки тоже перешли к ручной (устной) проверке работ с просьбами "перепиши при мне руками вот этот вот кусок кода". На старших смотрим уже помягче.
Да, юридический вопрос тут, однозначно присутствует. Согласен. Нормативной базы привлекать "чистых" студентов нет, либо я о ней не знаю. А вот с точки зрения оформления студентов на должность "стажера" на высших школах (кафедрах) - база есть. Причем в рамках стажерских программ в университете (как повышение квалификации, как ДПО), студентам читают курсы о введении в педагогику, они учатся готовить УМК, готовить лабы, тесты и т.д., даже дают возможность пройти тренинг с VR-камерами в виртуальной аудитории. И одна из частей такой программы - выход в реальную аудиторию. Но оформление в штат, даже на позицию "стажера" - это накладные расходы в бюджете. Зато, шанс получить на выходе талантливого молодого преподавателя, который после защиты, закрепится в будущем в штате.
В НИУ ВШЭ у студентов есть роль "ассистент", за нее даже платят около 15к р. за семестр. Студенты-претенденты на эту роль не должны иметь тройки; вакансии формируют преподаватели; количество вакансий на одну дисциплину ограничено.
В этой роли студент принимается на ГПХ и выполняет какую-то работу, например помогает писать методичку или помогает преподавателю принимать (а часто делает это сам) работы у студентов младше курсом.
Так что всякое бывает.
Кстати, чтобы человек мог преподавать по ГПХ, достаточно диплома бакалавра.
После прохождения собеседования руководители компании вернулись с неожиданной обратной связью: оказалось, студент практически не знает JavaScript и не понимает базовых алгоритмов. Как выяснилось позже, при выполнении курсового проекта студент активно использовал LLM-модели и автоматическую генерацию кода на основе естественного описания задач на неформализованном языке.
Я в недоумении - что помешало студенту столь же активно и успешно использовать LLM-модели и автоматическую генерацию кода на основе естественного описания задач на неформализованном языке к вящему и всеобщему удовольствию коллег и начальства?
Я в недоумении - чем отличается код, скопированный из диалога с моделью, равно как и факт его копирования, от таковых с кодом из книги? Ну, использование модели выглядит как увеличение способности находить нужные книги при некотором общем снижении их качества… и как это может принципиально значимо и ужасно быть?
Моё дилетантское мнение таково - как правило, учат не только не так, но и не тому. Вопросом о том, тому ли учим, на моих глазах задавались в советское время в МФТИ, на фоне падения конкурса на одного человека в год. Но можно было и не задаваться - сходило с рук. А модели сделали проблему заметной. Ещё раз - не вызвали проблему, не обострили - высветили.
Таким образом, следует предполагать, что никакой толкотнёй вокруг LLM проблема не решается и мы имеем классическую ситуацию задачи, решение которой без выхода за рамки текущей её постановки - невозможно. Если у образования и, как следствие, Человечества вообще, есть будущее, то нужно забыть о LLM, переосмыслить базовые основы организации образования, вот и придёт счастье само собой, всем и каждому, и никто не уйдёт обиженным.
После прочтения статьи оформилась идея: возможно мы смотрим на проблему не с того конца?
Как сторонний пример, рассмотрим управление автомобилем:
- более полувека назад умение управлять автомобилем подразумевало и хорошее знание механической части (условно-минимально: сам меняешь масло и тормозные колодки).
- сейчас управление автомобилем это (упрощённо) жмёшь педали и едешь. Если что-то не так - отправляешься на сервис.
- сейчас помимо массового пользователя автомобилем всё равно есть мастера/механики. И есть гоночные автомобили со своими мастерами и другие профессионалы. Однако, все эти мастера (в массе своей) начинали знакомство с автомобилем именно в виде: включил передачу/drive и нажал педаль - и оно поехало.
--
К чему этот опус?
Возможно, уровень "студент + LLM умеет писать что-то" принять как за базовый? А уже потом отрывать от сиськи LLM и учить вглубь? Ну не всегда же программированию начинают учить с отладчика?!
Да, Согласен, мысль местами странноватая, но аналогии для такого тоже есть. Не думали в таком направлении?
Под этим углом не рассматривал. Спасибо за идею! Взгляд действительно имеет место на существование!
Есть общее ощущение, что одного и единственно правильного решения проблемы нет. Возможно у разных преподавателей, разных кафедр, разных университетов будет свой собственный подход выработан и реализован. И интересно посмотреть на конечный результат, а потом обменяться опытом, на каком-нибудь "образовательном саммите".
Он не будет понимать всех нюансов и проблем, с которыми сталкиваются инженеры, не осознает технических и прикладных особенностей связи и интеграции различных компонентов системы.
Когда мы были молодыми, то каждый проект у нас начинался с таски "investigate", что означает мы несколько дней читали и входили в контекст поставленной задачи. Сейчас молодёжь этого делать не хочет т. к. уже есть модель, которая уже в контексте, они берут и используют. Но это означает, что они по факту ничему не учатся. В итоге человек, который выполнил задачу может в итоге и не получить никаких навыков.
Запретить нельзя использовать: о проблеме использования LLM при обучении инженеров-программистов