Обновить

Сделка с совестью на хакатоне или «Как победить с нерабочим кодом?» История одной команды…

Уровень сложностиПростой
Время на прочтение10 мин
Охват и читатели12K
Всего голосов 66: ↑66 и ↓0+81
Комментарии22

Комментарии 22

Спасибо за честный пост. Как человек, сделавший 17 проектов для промышленного и медицинского оборудования, полностью понимаю вашу боль.

Про «красивую картинку vs рабочий код»:
В медтехнике и промышленности «заглушка на фронте» — это не просто нечестно, это опасно. Когда система контроля давления или дозировки препарата показывает анимацию вместо реальных данных — последствия измеряются не в баллах жюри, а в человеческих жизнях.

Поэтому у нас жёсткое правило: прототип ≠ продакшен, и граница между ними должна быть явной. Если показываешь демо — говори, что «это симуляция». Если заявляешь ML-модуль — покажи хотя бы валидацию на hold-out.

Про метрики ML:

«SMAPE 79% у линейной регрессии... Transformer 33%... MAE=0.03 при потреблении в м³»

Это классический red flag. Добавлю из опыта валидации моделей для промышленного прогнозирования:

Масштабирование данных — SMAPE «взрывается» на околонулевых значениях. Всегда проверяйте распределение target'а перед выбором метрики.
Кросс-валидация — сравнивать модели можно только на одинаковых фолдах. Разное число eval_points = невалидное сравнение.
Интерпретируемость — в промышленности часто важнее «почему модель так решила», чем «на 0.1% точнее». Линейная модель с feature importance может быть полезнее чёрного ящика.

Вопрос:
Пробовали ли вы написать формальный отчёт о несоответствии организаторам? В сертифицируемых областях (медицина, авиация, АСУ ТП) есть процедура «non-conformance report» — фиксация расхождения между заявленным и фактическим. Может, стоит адаптировать этот подход для хакатонов?

P.S. Как человек, писавший свой GUI-движок и компилятор: иногда проще сгенерировать минимальный working prototype, чем рисовать 50 экранов с неработающими кнопками. Но это уже вопрос философии разработки 😄

Держитесь. Честных соревнований и адекватных заказчиков вам!

Спасибо за комментарий.

Постоянно вижу на хабре однотивные комментарии от разных пользователей по формуле:

  • Сначала идут благодарности за статью.

  • Затем список из разных терминов, связанных со статьёй.

  • В конце идёт вопрос пользователям или предложенте продолжить дискуссию.

Вопрос: Это нейронка пишет? И кому это нужно?

Достаточно посмотреть всего его 4 комментария, чтобы сомнения отпали. А вот вопрос кому и зачем - остается открытым.

Я вбил запрос в ChatGpt и получил очень похожий по форме ответ. Вполне допускаю, что это пишет просто очень ленивый пользователь.

Скрытый текст

Вы слышали о теории мёртвого интернета? Ну та, которая гласит, что в интернете практически нет живых людей, а вся активность имитируется ботами? А в Disco Elisium играли? Там очень интересная концепция мира: есть обитаемые города, с живыми людьми, а есть пространство между ними - серое "ничто". И это серое "ничто" потихоньку поглощает мир. Вот и со статьями/комментариями так же: потихоньку боты начинают замещать живых людей. Появляются статьи, полностью написанные при помощи ИИ, комментарии, написанные ИИ... Со временем, вы настолько привыкаете к ним, что ваш взгляд замыливается, и вы начинаете воспринимать их, как норму. И серость пожирает очередной ресурс в интернете...

Спасибо за комментарий, ChatGPT.

не каждый знает о «поднаготной» 

*подноготной

нам надо построить временной ряд и сделать прогноз. ЗАЧЕМ использовать линейную регрессию для этой задачи — вопрос открытый.

А что вы использовали в этой задаче?

Вот да. Не вижу препятствий использовать LR для TimeSeries задач, если в данные добавлены time-фичи и сделана правильная кросс-валидация без заглядывания в будущее (хоть тот же TimeSeriesSplit из sklearn).

Года не проходит без хакатон-драм, жаль вас ребят

В момент участия в хакатоне, что вы сами и подтверждаете в статье, жюри уже отмечали решение, которое им по душе, очень часто в хакатонах случается, что красивая картинка побеждает (так как, по мнению жюри больше подходит для рекламы и продвижения сервиса, и т.д). В ЛТЦ сразу чётко говорят эксперты, что по мимо датасета, который они дают, нужно искать и выдумывать свои подходы (так как есть чат с модером, подходы которые хотят жюри, можно спросить у него). Я не буду защищать, не ту, не ту сторону (самой иногда обидно, когда собственное решение или решение колег, кажется многократно лучше чем у победителей), но в вашей статье есть нюанс, что организаторы изначально обозначали что проект победивших конкурентов им почти идеально подходит и второй момент, что лтц, как и фиц, и втб (с ними отдельная песня), и иже с ними, не имеют практики оспаривания победителей, и к этому нужно быть готовыми, (обратная связь изредка дается и в основном только финалистам) как и к тому что не все в ограниченные сроки, могут собрать решение без заглушек, но по наполнению, иногда по прошлым заслугам и функционалу, по мнению жюри, оно подойдёт намного больше (Скорее всего тут в дальнейшем будет финансирование и гос заказ, а лтц идёт как трамплин и красивая история, поэтому ваш обзор получается на недо. демоверсию продукта, возможно даже специально урезанную, чтоб не палить конкурентам все (иногда так специально делают)). Идя на хаки надо понимать, что это большая лотерея, где приз не всегда достается сильнейшим, а часто тому, кто попал в цель или был приготовлен. Обвинять кого-либо в том, что выиграли не честно бессмысленно без всех фактов. Могу только пожелать, крепится и ждать пока и ваш продукт заслужит место под солнцем, унижением конкурентов в наше время, как показывает практика, этого не заслужить.

Так ладно, я открыла сайт ваших конкурентов, и поняла, что вам можно было не мучиться и ничего не расписывать, говорю сейчас за фронт только, посмотрела его краем глаза, это чисто дипсик (сама его местами люблю), но если вы победители лтц, то ради приличия можно заменить эмоджи на свои иконки и вынести в css ( у них это понятно со стартовой страницы, ребят вам можно было не тратиться на столь подробную статью) фото прилагаю

Всем пока 👋

Ваш комментарий был бы куда ценнее и, возможно, заплюсованнее, если бы вы положили картинки в спойлер.

Так картинки не засоряют экран

Оки, спасибо за совет, что-то не подумала

Полностью согласен, что если уж и прототип, то все равно он должен как-то работать, а не быть чисто фронтом.

Но надеяться что вас сейчас выберут победителями, и вообще, все это просто ошибка, недосмотр и недоразумение - ну уж точно нет :)

Я в целом не понимаю хакатонов дольше пятница - вечер воскресенья, но если уж там две недели, то проект должен работать, а не только показывать красивое.

Но, кстати, расскажу еще одну сторону, на которую я попал сам :)

Наши оппоненты пришли с готовым давно работающим проектом, никого там это не смутило, кроме всех остальных команд (первый цифровой прорыв, трек ростелеком).

Так сказать, знал бы что соревнования не будет, я бы и начинать не стал.

Никогда такого не было и вот опять...

Я правильно понял они просто сделали хтмл страничку с мл для галочки?

На счёт камеры и мониторинга. По твоему мнению они должны были ради какого-то конкурса покупать камеру куча датчиков за свои деньги проводить электричество и интернет туда чтобы получать данные? Мне кажется всем понятно что такие проекты попадают в руки разрабов компании заказчика потому что вы какие-то школьники сделали сырую программу. Я уверен они переписываются код либо дополнют ваш и только тогда начинают использовать. А эти камеры эти датчики для мониторинга бэдэшки нужны для того чтобы показать "а вот мы крутые программисты, мы сделали кучу полезных функций дайте нам первое место"

У хакатоны сейчас, к сожалению, такая тенденция. Раньше важнее была техническая часть, делался упор на реализацию mvp. Сейчас меняются как хаки, так и процесс запуска продуктов. Жюри больше ценят идею и подход, нежели теническую организацию. Обидно за разработчиков.

Налицо конфликт интересов.

На сайте организаторов должна быть форма или кнопка для сообщений о фактах коррупции.

В подобных мероприятиях, к сожалению, чаще оценивают презентацию и навыки выступления, чем техническую реализацию. По бритве Окама, больше верится в поверхностные оценки жюри, чем в замысел отдать приз (скорее всего маленький) своим.

Кто-то может сказать — «работать с инструментом надо уметь, и все будет».

Но мне кажется, что даже если мы не гении директа, руки у нас из прямого места. И делаем мы все примерно как и остальные.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации