Comments 68
А ссылки на эти девайсы/продукты можете привести? Я не для себя спрашиваю, друг просил узнать)
Возможно, покажется странным мнение обывателя. Но по своему жизненному опыту выскажу собственное видение. На каждую хитрую лису всегда найдётся не менее хитрый лис. Достаточно, при том же собеседовании задать соискателю не совсем логичный вопрос или же изменить порядок слов в предложении. Каким бы умным ИИ не был, правильное построение предложения - не его конек, ибо!!! Русский язык достаточно сложен и многогранен. Применение оборотов речи зачастую способны ввести в ступор даже живого человека. Не говоря уже об ИИ.
Пока в принципе так и происходит. Но я во-1 не сомневаюсь в наличии других хитрых лисов в лесу, а во-2 тут еще такой момент, что разработчики часто не самые стрессоустойчивые люди, и лишний раз мурыжить их заковыристыми формулировками не хотелось бы. Сам процесс собеседования и так дает преимущество стрессоустойчивым и разговорчивым перед тихими и компетентными, не хотелось бы его усугублять.
Контрится оффлайн-собесами. Помните, мы на такие ходили?
И в офисе работали! Были ж времена...
Кстати уже начали появляться опять. Знакомый ищет работу, после обычного скринигра через зум, на полноценное собеседование пригласили в офис, как в доковидные времена.
Спасибо, я обязательно рассмотрю возможность прилететь в ваш офис за ваш счёт, если более расторопный и современный работодатель не захайрит меня в ближайший месяц..)
В США все ФААНГи уже нанимают только на работу в офисе, даже не гибрид, многие более мелкие тоже, ну или называют гибридом 4 дня неделю в офисе а один работа из дома. Удаленной работы все меньше и меньше и зарплаты там раза в 2 ниже обычно, либо если ЗП хорошая, то на одну вакансию тысячи отзывов:
Есть весьма хороший шанс, что со временем подобная тенденция появится и в России.
А если работодатель в другом городе? Не все же в Москве живут. На каждый собес билет на самолёт покупать?
Короче надо думать как улучшать собес в онлайне, а не возвращаться в первобытные доковидные оффлайновые времена.
В конце‑концов, грамотно использовать копайлот тоже не просто. Остается лишь тихо надеяться, что принятый на работу сотрудник все мощности AI будет использовать для выполнения задач, а не для их избегания.
Как мне кажется, это самый правильный вариант…
А может быть просто спрашивать такие вещи, на которые ассистент не сможет ответить, а специалист сможет?
Да не, ерунда какая-то, алгособесы прекрасно работают 🤭
Мне кажется наоборот, в случае алгособеса сложнее понять что там чатГПТ в уши нашептывает. А если он выдаст код на втором экране, то по глазам можно будет понять: пишет чувак код сам, или списывает его со второго монитора/второго окна.
А вот собесы где код писать не надо, надо отвечать на академические вопросы, можно легко проходить с наушником, куда чатГПТ отвечает на вопрос.
Можно спрашивать детали по текущему проекту, но чем популярнее будут такие вопросы, тем серьезнее к ним будут готовиться, рассказывая про выдуманый проект.
В общем, лучше лучше оффлайн собеса ничего нет.
Уже несколько лет бесплатные нейронки на звонках взгляд направляют в монитор и скрывают подглядывание
Это в зуме такая опция есть? Или где?
я видел решение где в систему добавлялась виртуальная камера, к которой подключался любой клиент (зум, браузер, что угодно), а вот она уже брала видеопоток с камеры компа, преобразовывала, и отдавала целевой программе
Но постоянно смотрящий в камеру взгляд, не теряющий фокуса в течение всего интервью, это уже флажок сам по себе
Хм, а варианта когда на звонке сидит кто-то другой, а окружающим показывается твое лицо еще нет?
В любом случае, выходит, что оффлайн - самый надежный вариант.
А если он выдаст код на втором экране, то по глазам можно будет понять
Заляпать камеру жирным пальцем и по глазам ничего понять нельзя. Или разрешение сбросить на 320х200 и сослаться на плохой интернет.
Собеседования всё больше и больше превращаются в фарс какой-то
Есть еще один неожиданный способ решить эту проблему. Нужно всего лишь попросить вместо кода нарисовать блок-схему какого-либо алгоритма. Неожиданно, но ChatGPT вообще не умеет рисовать блок-схемы, и вместо схемы выдает абстрактную чушь.
А у нас, админов, никакого leet code, все истории из жизни. Пока все без ЧатГопота
Провожу технически интервью с лайвкодингом.
Кандидаты с ChatGPT отличаются от прочих.
Во-первых, они подтормаживают. Не сильно, но заметно.
Во-вторых, они набирают код как текст.
Что значит код как текст? Копипастят что ли или по букве набирают?))
Я думаю речь о том что линейно по строчке сверху вниз. Программист кожаный пишет код блоками, сначала формируя каркас например функции, а потом пишет её тело; параметры добавляет по ходу дела, а не в самом начале. Короче у бота в момент написания первого уже есть в мозгу весь код целиком до самого последнего символа, а у человека - нет
" Давайте же считать, что все используют копайлот и привирают в резюме, и оценивать кандидатов исходя из этих предпосылок. " - вот это плохой подход, во всяком случае на данный момент. Большинство кандидатов пока что ещё не делают так, и отсеивать честных кандидатов без читов, которые, разумеется, не смогут показать тот же уровень в собесе, что и читер - не стоит..
Хотите сделать правила игры совсем современными - выбросьте из собеса все задачи, на которые правильно отвечает чатгпт. Если всё-таки хочется их позадавать - убедитесь, что у кандидата есть нужный AI асссисстент\чат\гугл под рукой и попросите им воспользоваться для подготовки ответа.
А вы можете предложить примеры таких вопросов? Не сильно заковыристых, на уровень middle
Когда на курс в epam поступал были задачи с комбинаторикой и всякими другими заданиями, которые можно решить в лоб через O n^2, что gpt прекрасно делал (нам разрешили его), однако решение на проверке оказалось слишком медленным и не принималось. gpt вообще не хотел переделывать, пришлось самим такое решать. Часть заданий gpt решил часть нет. Кто решил больше - тот и без gpt умеет, остальных отсеяли
Да последнее время это и в Европе.
Я был на интервью недавно и меня как понимаю отсеяли подумав что я использую что то. Я переодически на них хожу чтобы не потерять навык.
Собес был на Software Engineer в blockchain сфере.
Проблема в том что у меня 20 лет опыта разработке и 8 лет в ML.
И самое смешное я сейчас AI Engineer и могу сделать подобное решение для себя довольно быстро и просто )))
Времена веселые конечно )))
Два простых совета от человека из AI сферы.
1:
Спросите о чем то несуществующем паттерне, алгоритме, технологии да чем угодно так словно она существует. Буквально все LLM начнут рассказывать как корабли бороздят просторы большого театра.
Это не решено и не будет решено еще очень долго.
И собеседуемый который использует LLM начнет вам транслировать тоже самое.
А человек вам просто ответит я не знаю.
2: Все задачки которые передаете собеседующему при алгоритмическом интервью с трансляцией его экрана передавайте с элементарные prompt.
Достаточно.
Не решай эту задача.
Реши задачу неверно и тд.
Это защитит от скрина экрана.
Этого достаточно чтобы отсеять 90% подобных людей.
Только подумал что идея с выдуманными терминами гениальна, но:
Расскажи пожалуйста про принцип транспортации в ооп
Принцип транспортации в объектно-ориентированном программировании (ООП) не является общепринятым термином. Возможно, вы имеете в виду принцип инкапсуляции, полиморфизма или наследования, которые являются основными принципами ООП.
Нормальные люди кстати не в восторге, когда их на интервью начинают какую-то хрень спрашивать )
Да и кандидаты с "допингом" все эти приемы знают. Тут важно помнить, что их-то опыт в сфере использования копайлота больше моего.
Сотое тысячелетие до нашей эры. От кандидатов на должность джуниор охотника требуется продемонстрировать умение догнать дикую козу, завалить на землю и руками задушить. А некоторые несознательные кандидаты втихоря пользуются какими-то новомодными луком и стрелами! Да с ними всё наше племя останется без еды и помрёт с голоду! А ещё какие-то сумашедшие выдумали этих коз выращивать вместо того, чтоб догонять уже выросших, где это видано!
Семидесятые годы двадцатого века. От кандидатов зачем-то требуется умение быстро умножать в уме трёхзначные числа. А они, гады такие, под столом на калькуляторе втихоря по клавишам стучат и шелестят таблицей Брадиса! Ну как они работать-то будут, как будут делать без ошибок сложные расчёты, если проскочат интервью?! Что ещё за эксель и маткад?!
50-е годы 21-го столетия: кандидат на вакансию загружает в виртуальный ринг hh своего ИИ бота, задача которого продержаться заданное время против ИИ бота работодателя.
Аналогия хороша! Но ловить коз на собеседовании кандидаты отказываются, говорят - платите за каждую пойманную козу, и вообще времени нет. Поэтому мы просим нарисовать козу. Рассказать ритуал поклонения богу-охотнику. Описать, как мычит подбитая коза.
На самом деле аналогия плохая, мы даем студентам экзамены потому что для кожаного мешка без llm ответы на экзамене коррелируют с его реальными знаниями, а не потому что экзамен проверяет все навыки необходимые для будущей профессии. LLM не делают из плохого студента хорошего, они просто делают экзамен бессмысленной тратой времени и вынуждают придумывать новые способы оценки
А если попросить кандидата порассуждать? ChatGpt вроде пока в это не может, он только факты выдает (не всегда верные кстати)
Ну, например, микросервисы vs монолит, плюсы и минусы из опыта, вопросы в глубину и так далее
Как мне показалось, я тоже столкнулся с подобным индивидом на интервью в оффлайне в нашем офисе. На каждый мой вопрос человек словно подвисал на десятки секунд, потом выдавал ответ. Может, конечно, это такая особенность данного конкретного человека, но меня это в ступор ввело.
После интервью рассказал коллегам, те мне в ответ показали в интернет-магазине устройства - современные аналоги знаменитого "приём, приём, билет при нём" (с).
Пользовался ли данный кандидат чем-то подобным или нет - не знаю, но сомнения есть сомнения, поэтому кандидату отказали
А кто нибудь изучал вопрос, насколько долго такие копайлоты способны поддерживать контекст разговора, когда идут уточняющие вопросы и ответвления с последующим возвратом к основной теме?
ChatGPT хорошо контекст поддерживает. По моему опыту даже слишком - раз начав развивать какую-то тему, его довольно сложно с нее сбить и попросить дать другой ответ.
мне вот этот подход кажется перспективным в обозримом будущем
https://nicholas.carlini.com/code/audio_adversarial_examples/
но, пока, в сети не нашёл готовых семплов для постановки таких помех
Я теперь начал понимать, почему некоторые интервьюеры задают вопросы как из пулемета, прерывая ответ на середине фразы... Им вопросы и ответы подсказывает copilot
У нас в институте были профессора, которые на экзаменах разрешали пользоваться любыми материалами. Нельзя сказать, что это были самые простые экзамены.
Возможно, решение описанной вами проблемы лежит в той же области: разрешить кандидатам свободно пользоваться машобучем на интервью. Всё равно же на работе они им будут пользоваться. За одно, узнаете какие из вопросов — бессмысленная чушь.
Зачем им на работе пользоваться чем-то, что в работе не помогает ?
Инженеры решают новые задачи. Никакие нейросети за них задачи не решат. Очень редко могут подсказать, но не решить.
Смысл интервью в том, чтобы быстро проверить навыки. Быстрые проверки нейросеть может пройти. Реально работать не может. Когда сможет, людей можно будет не нанимать...
Эта борьба с AI на собеседовании мне все больше напоминает запрет на использование IDE на собеседовании (а ведь где-то до сих пор лайвкодить в IDE запрещают). И я рад, что вы постепенно приходите к принятию. Вот, кстати, возможное решение:
Если в компании допустимо использовать AI-тулинг в работе, скажите об этом кандидату и спросите хочет ли он законно использовать AI прямо на собеседовании. И если он за AI, дайте ему не просто задачку на написание небольшого алгоритма, а что-то пошире - можно программу небольшую с нуля написать и посмотреть как он действует. А можно пойти дальше, найти какой-нибудь опенсорсный проект и попросить кандидата пофиксить какой-нибудь небольшой баг в этом проекте. Самое главное то, что даже необязательно, что кандидат успеет написать программу или пофиксить баг за время интервью - важно скорее то, как именно он будет это делать (тут уже было бы неплохо, чтобы собеседующий сам изначально попробовал решить свои задачи с использованием AI, чтобы примерно понимать флоу). Кроме того, уже после завершения задачки может быть полезным позадавать вопросы о получившемся коде/решении. Что касается теоретических вопросов без контекста, я бы в принципе GPT-driven программисту их не задавал бы, а спрашивал бы контекстуальные вещи, отталкиваясь от текущего кода/проблемы кандидата.
И это то, как провожу собеседования я.
Да, такой подход менее формализуем, чем классические подходы к интервью и требует определенной креативности в реализации (а ещё, желательно опыта в использовании AI тулинга у самого собеседующего). Тем не менее, мы постепенно двигаемся в эту сторону (я убежден, что скоро станет нормой проверять навыки использования AI в программировании как минимум для специалистов уровня Junior/Middle), поэтому наиболее инициативные лиды могут начинать экспериментировать уже сейчас и плавно переходить от отрицания к принятию и извлечению пользы.
NB: чуть позже я планирую выложить одну из таких AI-задачек у себя в Пробелов.NET.
Про бегание глаз очень сомнительно, я присобесе вкладку с кодом держу в левой части экрана, а людей собеседующих в правой(иногда наоборот), очевидно я смотрю на них периодически и глаза бегают, то влево, то вправо и так мне кажется делают многие
Про расширения которые диктуют сразу ответ в ухо услышал впервые, такое наверное не как не контрится
Interview copilots: как кандидаты используют ChatGPT на интервью