Обновить

Комментарии 69

Идея с живым код-ревью нравится, особенно оценка того, какие вопросы кандидат задаёт до поиска ошибок. Но почему уточнение контекста должно стать существенным препятствием для агента? Можно ведь заранее попросить его выяснять требования, ранжировать риски и предлагать проверки.

Я бы попробовал открыто разрешить ИИ на таком интервью, а затем изменить одно условие задачи и попросить кандидата пересмотреть решение: какие замечания теперь несущественны, что требует исправления и каким тестом это проверить. Отдельно — попросить объяснить, с каким советом модели он не согласен и почему.

Как вы оцениваете результаты код-ревью: по числу найденных проблем или по качеству аргументов и приоритетов? И пробовали ли сравнивать этот формат с разрешённым ИИ и без него?

Как будто бы излишне, особенно с ИИ, не сильно коррелирует с реальной работой

Не проще ли сначала проверять рекомендации, от кого человек пришёл?

Сначала прочекать его прошлый опыт, а потом обсудить работу на вашем месте и как кандидат будет её выполнять

Лучший способ - это пригласить в офис и посадить за комп. Да, будет некоторое волнение и дискомфорт, но тут всё зависит от интервьюера и его умения расположить собеседника к себе.

Я не уверен. Все же это очень сильно ограничивает выбор кандидатов, если есть возможность удалённой работы. Да и в целом, многие не захотят ехать. Поиск работы обычно происходит в рабочее время и одно дело по зуму созвониться на час-другой, а другое - ехать в чужой офис.

Поиск работы обычно происходит в рабочее время

Так и нефиг бежать с подводной лодки.

Да и в целом, многие не захотят ехать.

Значит работа им не нужна. Не берём во внимание собес в другом городе/стране.

Когда сидишь несколько месяцев без работы, то с удовольствием на собес притопаешь ножками.

Значит работа им не нужна.

Это скорее вам работники не нужны, с такими подходами.

С какими подходами? Я как раз нахожусь со стороны ищущих работу и мне не сложно приехать куда надо. Что вас так возмутило не могу понять.

Дак ведь большинство живёт в других городах. Москва - это только 10% всех россиян. При том у этих 10% обычно с работой всё лучше, чем у остальных.

В Москве проживающим и так не просто, мы с деревень на них демпингом цен давим, нам меньше хватает, а там настолько сложно жить, особенно если снимаешь жильё. Так у них хоть одно сильное преимущество есть когда надо могут физически на рабочим месте появится.

Шта?! Берите двойной листочек и ручку, сейчас напишем контрольную по коду. Всё происходит в комнате где стол, два стула и из электрического - выключатель на стене для света)

Контрольную школьники пишут

<sarcasm_on>

Всё происходит в комнате где стол, два стула и из электрического - выключатель на стене для света)

Воу, воу, воу, полегче! А то пойдёт электрификация по плану ГОЭЛРО всего в комнате и сначала один, а потом и оба стула станут... электрическими?

<sarcasm_off>

Именно так, на некоторых собеседованиях, предлагают писать код на листочке.
И это пипец как выбивает из колеи, ведь на листочке нет ни просто автозавершения, ни тем более предложений от ИИ, который по контексту пытается сразу код предложить.

Я не знаю, зачем вам автодополнение и нейронки на таком собеседовании.

Код на бумаге или доске обычно рецензируется с совершенно другой толерантностью к ошибкам — вам сделают скидку на то, что вы можете забыть поставить точку с запятой, неточно записать какую-то конструкцию языка или где-то перепутать имя или порядок аргументов. Можно писать хоть псевдокодом, отдалённо напоминающем целевой язык, а конкретный синтаксис уточнять, только если ревьюер попросит.

Жаль только, что не все те кто проводит интервью так думают.

пгастите, а можно я процедурный код диаграммами напишу?

два стула

Эти что ли?

Спасибо что хоть стул не электрический

на языке ассемблера под x86 или только хардкор, только двоичные коды?

а я помню такое время да)) с бумажками

"в комнате где стол, два стула и из электрического..." лампа направленная тебе в лицо

последнее интервью это live coding в .... Codex, крупная компания в Заливе. Проверяют кругозор, умение концептуально разбираться в том что получилось, собесы проходят уже на уровне оценки общего мышления и коммуникаций, может это и исключение но скорее всего к этому приходит, читайте книжки, качайте не скилы а общий интеллект

Кабан кабанычу из ООО "ЗащеканецСофт" это не понять...

Мне недавно пришлось активно помогать в проекте, основной язык которого я не знаю, совсем, вообще. Пол дня на изучение базового синтаксиса и вперед делать. Конечно же с нейронкой.
Но опыт в разработке у меня уже, наверное, больше 10 лет.

По итогу я IDE за два месяца даже не запускал. Результат - хороший результат. Даже отлично зная язык, я бы не смог добиться того же результата за такие же сжатые сроки. Без шансов. Да, пришлось использовать подписку за 100$...

И соответственно возникает вопрос. Вариант, который предложил автор поста, я бы никогда не прошел. Но прошел бы с агентом на ура. Поэтому live coding в Codex может и не такой уж плохой вариант. Просто идет оценка несколько других навыков, вместо узкоспециализированного знания.

Плохо ли это? Сложно сказать сейчас, будет видно. Но пока я склоняюсь к тому, что не плохо.

зато теперь можно дом строить сверху вниз, как хочет заказчик ''этааа, мне надааа эта нуу.... и завтра что бы все было" -> "ага, вот так изволите?" -> "не ну эта никуда не годится, я же знаю как надо вот тута у нас не так и главное у нас вот здеся вот так всегда было и наш айтишник недоволен у нас все на жаве что ли должно быть" -> "а да конечно, сейчас все переделаем, заодно всю архитектуру и нарисуем как вам удобно, вот пожаласта все с документацией" -> "не ну мы же как в первый раз говорили вот так нада но вот с этими да штуками" -> "а пожалуйста, всегда рады, сейчас все перепишем как хотите" -> "во другое дело совсем" - "вуаля"

Не важно какая эпоха AI не AI, проблема экзаменационных собеседований всегда была одна - к ним нужно готовиться, а это значит, что к ним МОЖНО подготовиться . А если к вашему собеседованию можно подготовиться, это плохое собеседование.

проблема экзаменационных собеседований всегда была одна - к ним нужно готовиться,

Проблема собеседований - что вы ищите при собеседовании?
Когда компьютеры были большими а литературы мало - все свое носили с собой. Это были дорогие знания - алгоритмы, сортировки и прочее нюансы. Профессионалам было о чем поговорить.
Когда цена доступа к знаниям упала,информация доступнее, компьютеров стало больше, появились "свободные" вычислительные ресурсы - можно их было инвестировать в "ускорить железо" и "ускорить бизнес". Но все равно люди понимали как работает железо, зачем всякие трюки с выравниванием размера структур в памяти.
Вспоминаем новость - В Cloudflare сэкономили 100 ТБ оперативной памяти, оптимизировав кэш DNS‑резолвера 1.1.1.1 . У меня другой вопрос - а как их умудрились сожрать ? Одна фраза " инженеры обратили внимание на особенности ... " объясняет. Но их же (команду) кто-то собеседовал ? Лет 20..25 назад если ты не мог в голове прикинуть размер данных в памяти и с учетом этого писать оптимизированный код - ты мог просто не пройти собеседование. Лет 15 назад, когда ты обозначал эти нюансы, на тебя уже смотрели как на блаженного.

а это значит, что к ним МОЖНО подготовиться .


Повторю вопрос - а к чему готовиться ?! .Net пишут 20+ лет, с кучей нюансов. А Вы уверены, что ВЫ поймете объяснение того, КОГО будете собеседовать или ваша реакция будет 'Что он несет ..'? А человек из любопытства разобрался в исходниках.
Собеседование на архитектуру ? Сколько типовых архитектурных решений предлагает AWS и Azure ? Сотни под разные бизнес задачи.
Azure Pattern catalog на текущий момент предлагает 43 Cloud design patterns. Сколько из них за полтора часа собеседования успели обсудить? сколько из них в вашем решении ? Сколько надо времени, что бы разобраться прочитать описание именно того шаблона, что именно есть у вас, если человек не сталкивался ? 5 минут ? А вот полезет ли человек читать и разбираться если не знает - это вопрос.

>А если к вашему собеседованию можно подготовиться, это плохое собеседование.
Вы ищете органический "горячий кэш" набитый последними модным данными ? Или вы ищете механизм эффективной трансформации знаний и опыта в решение вашей бизнес проблемы ?
Судя по собеседованиям 90+% ищут именно "органический горячий кэш набитый последними модными данными" объясняя "Так он же будет три дня подкачивать\выравнивать скил за мой счет ... "

Если собеседование действительно решает задачу поиска нужного сотрудника из кандидатов, а не проводится ради того, чтобы потешить самолюбие интервьюера, и кандидат к собеседованию успешно подготовился - не важно, за свои 20 лет опыта или за ночь перед собеседованием - значит его надо брать, вот и все.

что помешало заполнить эту вакансию еще на одну ночь ранее? если так просто имитировать годного кандидата в работники

90% всего программирования в IT это раскраска кнопок и перекладка JSONов. Чего там иммитировать? А на сеньёр позиции готовятся годами опыта реальной работы. Но таких людей и не на знание кода собеседовать надо.

как разработчик софта для удаления шума с видео и отчасти реверс-инженер, я этим 90 процентам сильно удивился

Да пусть использует AI. Поставить ему задачу, где человек должен прежде чем писать что AI продумать всю архитектуру того что хочет получить и поставить это грамотно AI. Например, пусть кандидат предложит и опишет архитектуру ПО для магазина, или банка. Или чего то еще.

Ну это смотря кто вам нужен.

Fable или даже Opus из подписки за 20$ придумает архитектуру лучше любого Джуна, даже лучше среднего мидла. Они даже не забудут нужные вопросы задать в духе "сколько времени на разработку, какая нагрузка прогнозируется, какой стек у команды/разработчика,требуется ли отказоустойчивость и тд.

А нужен ли вам живой сотрудник, если нейронка сделает все то же самое дешевле и лучше ?

она сделает дешевле и лучше, если это ранее кем-то было и сделано и опубликовано, а её обучали на этом.

а в ином случае для допиливания каркаса всё равно живой сотрудник потребуется.

Проблема рынка труда как раз в том, что в 90% случаев вместо команды живых сотрудников теперь действительно достаточно одного. И он [пока ещё], конечно, должен быть инженером, но вовсе не обязательно программистом. Но статья не об этом.

Обсуждение опыта - это ловушка с положительной обратной связью. Если брать только с хорошим/интересным опытом на самые вкусные вакансии (которые и дадут такой опыт), то люди с "обычным" опытом никогда уже не наберут хороший.

Необязательно брать с опытом, можно брать с "горящими глазами", когда человек дают задачу и он начинает накидывать алгоритм решения как бы он стал ее решать

и он начинает накидывать

Ну он вам потом в работе "такое" накидает))

Вот поэтому и нужен опыт

когда кончатся с опытом что делать будете?

А почему они должны кончиться в эпоху ИИ?

Уже сейчас в айти переизбыток кадров

Вы в этом уверены?

Ну так не только я, люди постоянно пишут что не могут найти работу в IT, не смотря на то что имеют 3-5 лет опыта, проходят кучу собесов...

И это уже сейчас, а дальше ИИ будет развиваться

Это пока. Но сеньёры однажды уйдут на пенсию, а текущим джунам порще уйти из профессии, чем стать сеньёрами.

Вот прямо все одномоментно уйдут и все? И пополнения кадров будет 0.0 все это время?

Ну и к тому же среденму сеньору сейчас сколько - лет 35? Так что 30 лет еще, местами уже до 70 планируют повысить пенсионный. А в индустрии за это время может поменяться еще многое.

ну так если без опыта не будут нанимать, то пополнение кадров будет нулевое, да

Это я знаю, но вы уверенны что причина именно в переизбытка кадров? Может быть в других направлениях такая же история, и проблема в той экономической реальности где мы оказались?

Вот поэтому и нужен опыт

Опыт чего ? Любой спец вам накидает кучу объяснений почему именно такое решение хорошо с его точки зрения, и даже приведет метрики. Любое решение - предпочтение одних метрик другим.

Так просто с опытом(даже конкретно профильным) работодателям тоже часто не нравится. Потомучто опытный это уже сформировавшийся человек и конечно он будет работать в соответствии с своим опытом, как раньше, а ни как нанимаемому хочется.

Нужно что то плохо сочетаемое типа опытный, но готовый учится и впитывать всё как новичок. Кароч сплошные капризы.

Так опыт скорее про насмотренность, и про количество решенных задач в индустрии

А в остальном человек всё равно подстраивается под команду

Нее, как я понимаю там в вакансиях прям точный опыт хотят на уровне совпадения языков программирования, фреймворка, решения таких же задач ранее. Чтоб максимально оперативно взялся вопросы решать специалист, без вот этих вот онбордингов по несколько месяцев. Что возможно, но каждый из таких опытных программистов работал как то по своему раньше. И там не он скорей подстраивается (нельзя 10 лет по одному работать, а потом просто взять и по другому стать это слом уклада) а через совмещение разных подходов опытных сотрудников.

Так опыт скорее про насмотренность, и про количество решенных задач в индустрии

Есть два варианта:

  • ты знаешь как делать правильно и практикуешь. По странному совпадению косяков у тебя мало.
    Ты знаешь правила умножение-деления, и тебе без разницы что считать, ну может чуть медленно. Ты скучный, у тебя всего ... два скила.

  • ты не знаешь как делать правильно, у тебя "богатый опыт" разгребания косяков, хз-устойчивость и т.д..
    Ты выучил таблицу умножения до 100 и быстро "умножаешь" в уме. Ты "умный" и у тебя целая куча "скилов", вместо двух, как в предыдущем пункте.

А в остальном человек всё равно подстраивается под команду

Ты можешь перед пояснением решение предупредить "Очевидно, что после найма и изучения ваших процессов я буду работать по вашим процессам. А сейчас, мое абстрактное решение будет следующее 1 -2-3... потому что 1-2-3...". А в отзыве получить "У нас другие правила, потому вы нам не подходите." Ты должен быть телепатом, что бы угадать "а как у них там..."

Опыт можно получить было бы желание учиться.

Все так

все равно же будет видно, как глаза бегают по тексту, не знаю, для меня всегда видно, когда человек сам отвечает, а когда подглядывает или читает полностью

Вот я тоже не понимаю, даже если суфлируют в наушник, то надо как то синхронно повторять, но тут сложно одновременно осмысливать, а иначе будет задержка, и это тоже видно.

полностью согласен, когда читают сразу видно

Считаю корнем проблемы что на собеседование приходят одни лишь хитрые сказочники сверхзапросики самих работодателей. Ведь что творится в вакансиях? На зарплату мидла накидывают 20 требований к фулстак сеньору. Вызывая закономерную негативную реакцию. Сеньоры хотят за такое з.п. в 2-3 раза больше, а мидлы требований меньше. Но естественно работодатель не хочет слышать недовольные голоса. Когда рядом есть приятные от вайбкодеров джунов сказочников с их "Я все могу, всё решу за эти деньги!" - ну а так как это не так имеем, то что имеем 100 способов надурить проверяющего и раскусить обманщика.

Уверен если бы работодатели сосредотачивались не на дешевых идеальных кандидатах, а на дорогих профессиональных или обычных опытных. Читерства было бы куда меньше.

П.С. что касается самих методов ну такое себе. Первое сами пишите могут попытаться обмануть. И нужно прям самому проверяющему хорошо знать тему чтоб спалить. По второму к лайвкодингу готовятся только лишь в бигтехе. Обычные работяги таким не занимаются. Вот я сам иногда путаюсь по памяти в банальном порядке аргументов какой-нибудь функции. В обычной ситуации я могу просто глянуть в интернете и дальше работать. А тут чё? Всё! и зачем такое?

Я сегодня видел вакансию джуна со списком требований на страницу и опытом от 2 лет. Кажется, работодатели уже совсем слетели с катушек.

О да, я тоже насмотрелся за месяцы на такие смешные вакансии. Хоть папку "Анекдоты" под них заводи. Там было и "Ведущий специалист с з.п. ДО!!! 120 тыщ" и "Джуниор с коммерческим опытом от 2-х лет со своими компонентами и модулями 80 Тыщ" и "Администратор-разработчик сайта который ну ваще все делает от размещение контента и СЕО до фронтенд бэкенд разработки с серверным администрированием в придачу в одну лицо з.п. от 90К т.е. одного линейного". или "Разработчик ОБЯЗАТЕЛЬНО в офис в какую то реальную деревню"

Я без понятия на что они надеются найти, кроме сказочников ))

у появления вакансии обычно больше одной причины

возможно, работодатель готовится выступать перед сотрудниками с призывом подтянуть пояса, и чтобы приглушить ожидаемый ропот, имитирует набор на места возможных недовольных.

с другой стороны, если вакансия содержит объективно дичь в требованиях (нестыковку размера оплаты и навыков в том числе) - возможно, так и задумано, чтобы на неё пока не откликались реальные здравомыслящие соискатели

с другой стороны, если вакансия содержит объективно дичь в требованиях (нестыковку размера оплаты и навыков в том числе) - возможно, так и задумано, чтобы на неё пока не откликались реальные здравомыслящие соискатели

На мой взгляд более частая проблема, это то что люди нужны одним, а запросы на соискателя пишут другие. И связь между ними мягко говоря не прямая.   Я на этом когда искал себе сотрудников пару раз обжёгся.  И теперь строго сам пишу запрос и требую от HR, чтобы при обработке резюме не использовали ИИ. Сначала они конечно ругались, но потом привыкли.

Ведущий специалист с з.п. ДО!!! 120 тыщ

Не, нуачо, 120 тыщ баксов — в принципе, не самая плохая зарплата...

Годнота, спасибо за статью! Особенно понравилась идея с живым код-ревью, так появляется возможность показать, как ты разбираешься в задаче, какие вопросы задаёшь и почему предлагаешь конкретное решение.

И кажется, такой формат полезен ещё и кандидату. По обсуждению кода можно многое понять о будущей команде. Как здесь относятся к чужим решениям, критике, умеют ли объяснять требования, готовы ли обсуждать компромиссы.
Собеседование ведь в обе стороны работает

В целом мысль верная, хоть и не новая - не можешь придумать к теоретическому вопросу практический кейс, значит вопрос лишний, но про live-код-ревью автор как будто забывает, что через полгода его так же уверенно пройдёт вторая нейронка, так что выйгрыш не в новом формате, а в том, что интервьюер наконец-то перестал спрашивать то, чего сам не может показать на сотне строк (а "нейронка на церебрасе" звучит как план на 2049 год, тогда как читер просто держит второй телефон под столом)

Сейчас, в наше время, нейронка дает любой код и проблема в собеседовании не код писать, а проверить способность системного мышления кандидата и наличие просто опыта программирования и работы в команде. Неплохо и узнать какие задачи решал кандидат и на каком уровне. Этого вполне достаточно,имхо.

Я так понимаю, автор говорит о том, что кандидат уже прошел через HR и ему предстоит собеседование уже с руководителем отдела, где он непосредственно будет работать. Или же это прогрессивная компания и HR только находят кандидатов и подбирают их, а собеседование проводят уже руководители отделов.

Просто если брать первый этап с HR, который "царь и бог" и не так давно этот отдел назывался "Отдел кадров", то все рекомендации, предложения, варианты и отличные сарказмы (поржал от души), что здесь уже написали - не имеют ни смысла ни значения.

Если же нет таких HR и "тупых" первичных правил прохождения собеседований, то это отлично, а если сначала HR и прочие топ руководители, то может быть такая картина:

Там на собеседовании из целевого будет максимум "суровый" тест, который HR не просто не понимает, а каждый раз видит как в первый. А всё остальное - вода и личное восприятие HR, как "специалиста".

А еще бывает так, что после HR, эти резюме с комментариями пачкой попалают к директору, а не к тому, кто действительно нуждается в специалистах, и этот директор легкой рукой, отделяет половину резюме всех кандидатов и со словами "зачем нам эти неудачники" кидает пачку в мусор.

У меня так лично было. Мне нужны разработчики, а по регламенту компании отбор проводит сначала HR, потом директор и только потом до меня доходили "самые лучшие и достойные кандидаты" (так они говорили). И после 4-х таких кампаний по подбору кандидатов, я не выбрал ни одного, потому что до меня доходили: "красивые", с 2-3 дипломами, выполнившие тесты на отлично (тесты HR и к разработке не имеющие отношения), лояльные к компании и прочий социальный бутор (я имею ввиду не людей, а качества с точки зрения HR)

Когда я сказал что сам буду собеседовать всех, меня тормознули и сказали что это не моя задача и для этого есть "специальный" отдел, где люди за это получают деньги.

Спустя 2 недели я послал и компанию и директора и уволился. Через 6 месяцев компания прекратила свое существование.

 Через 6 месяцев компания прекратила свое существование.

а это уже не ваша задача, для банкротства компании специальный отдел есть и он получает зарплату.

а если серьезно, число компаний который предпочитают стратегию «Цель — ничто, движение — всё»  продолжает удивлять. Хотя казалось бы, в текущей ситуации можно только прилету инопланетян начать удивляться. Но нет.

Пока сами думаем и смотрим как проводить интервью.

Из рабочего варианта. Даём закачку , просим в общих чертах накинуть идею , алгоритм.

Обсуждаем нюансы.

Далее берём нейронку чем тупее тем лучше вроде бесплатной Gemini.

Просим кандидата вот что там обсудили это же и скормить в чат его же словами.

Ну а далее магия. Модели выдают несусветицу и если кандидат хороший то должен легко найти подвох и исправить.

Звучит легко конечно, скажи модели сделать надо, но, на деле, практика показывает, что работает это не так.

Такой способ интервью оправдал себя уже достаточно много раз, чтобы думать как применять его системно.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации