Сложно говорить просто "спасибо" - вроде поставил плюсик и иди дальше. Вот критиковать "легче" и даже не легче, а кажется более нужным, полезным.
Тут критиковать не хочется, не нужно и статья хорошая - и хотелось бы чтобы МЛ читатели обратили на материал внимание - может комментарий хоть немного да поможет.
Наверно стоит пояснить немного: При первом подходе проблема контроля данных никуда не исчезает, но можно теоретически проигнорировать контроль входных данных и смотреть распределения предсказаний индивидуальных моделей. Если что-то "поехало" можно просто убрать модель из "стекинга" линейной модели и продолжать выдавать "скоринги".
В случае нового варианта единой модели, уже не получится так легко манипулировать "ансамблем" и нужно будет уделять гораздо больше внимания тому, что подается на вход модели. И понятное дело, что у вас были "мониторинги" и до перехода на новую схему, но интересно посмотреть и почитать какая степень контроля данных считается вами достаточной и как это организовано (стек/инструменты/итд).
"инициатива абитуриента и студента нашей программы" - я с трудом могу представить 5-6 разных человек, которые по своей воле и независимо друг от друга "прониклись желанием" писать в одинаковой тематике.
--- Я прошу простить меня, но я не буду участвовать в дальнейшем обсуждении. Спор/дискуссия ради спора с придирками к словам и формулировкам тут совершенно бессмысленны - я не поменяю своего ощущения лицемерия, а вы до последнего будете держать позицию "правильности".
НО вы ещё не стали специалистом, даже «джуном» ещё не стали.
Меня очень смущает агрессивная реклама ИТМО - только за последнюю неделю на хабре вышло 4-5 материала этой «магистратуры», расписанных в «розовых тональностях».
«Популярный» курс не нуждается в таком активном «пиаре», но если цель забить бюджетные места и «оприходовать» деньги, то все сходится.
Мне больно видеть огромное количество посредственных курсов и программ, которые плодят такое огромное количество посредственных выпускников с завышенными ожиданиями. К сожалению, это тренд МЛ, с которым остаётся только смериться.
Соглашусь с «критикой» предыдущих комментаторов - тема очень интересная и «богатая», но само объяснение хромает.
Я зашёл в канал и посмотрел, о чем пишет автор - мне понравилась фраза «должно быть зафиксировано в статье» - жаль, что это самоцель (написать статью) - лучше бы было «должно быть зафиксировано в мозгу», но, к сожалению, в статье нет ничего, что в мозгу останется после прочтения.
«Ваша модель, со всеми регрессиями, градиентами, возможно прекрасна среди программистов»
К сожалению, с этой стороны тоже нечем восхищаться - подход очень базовый и больше похож на «Титаник».
Выбор метрики и Лосс функции (стремящейся к среднему), «брутфорс» генерация признаков без нормальной «селекции», не показана работа с пропусками и грязными данными, нет разбора дрифта значений и разбросов от типа оборудования.
Это бейзлайн «студента», которому два года до продакшена.
Реклама канала сомнительна, если «это» подаётся за МЛ прорыв и экспертизу.
Можно работать ради денег, а можно работать ради идеи (и денег).
То что вы описали - это первый вариант, а им нужны вторые - те, которые поверят, что их строчки кода меняют мир к лучшему, которые будут ночевать на работе, которые будут «креативить» по зову сердца, вот именно для таких и было написано письмо.
В тексте все хорошо, может слишком обобщенно, но это мелочи. Я бы рекомендовал прочитать книгу, которую вы упоминали в статье «designing ml systems».
Я не критикую переведённые утверждения - они настолько «базовые» что сложно накосячить, а про детали он не пишет так как сам не умеет и не пробовал.
Я критикую самого автора оригинала и пытаюсь «предупредить» не доверять слепое всему тому, что он пишет.
По мелочам -
«не начинай разрабатывать пока не продумаете как деплоить»
Красиво звучит, но если придираться, то ещё надо добавить «не начинайте пока с юристами не договоритесь, какие признаки можно использовать», «не начинаете пока не утвердите метрику успеха». «Не начинайте пока не подготовите а/б Фреймворк» итд…
Конечно можно строить модель в любой момент времени - главное понимать, чем это грозит, в чем цель и какой «тех долг» плодят разные подходы.
Дамиен не работает в Мета. Дамиен «плывет» в формулировках и терминах и часто пишет «отсебятину» - это сложно увидеть по переработанным перепечаткам материалов, но когда он «вываливает» свои мысли - такие пробелы очень сильно заметны.
Человек поставил самопиар и «стезю инфлюенсера» выше систематических знаний и DS/ml развития. Удачи ему, конечно, но я бы 5 раз перепроверял за ним, даже если тексты выглядят «разумными».
Ребята все хорошо написали. Я рекомендую вам прочитать про permutation importance - очень правильный подход с стд на разных сидах.
Нельзя просто выкидывать признаки - точнее можно, конечно, если понимать очень глубоко связи между ними. В реальной жизни часто бывают «связанные» признаки с нелинейными зависимостями / признаки с высокой корреляцией / сид сплита / другие варианты - при удалении одного из признаков часто сложно понять точное влияние на метрику - снижение или повышение метрики может быть просто рандомным фактором.
К сожалению (или к счастью) я не читаю VC, но это конечно же не повод тащить на Хабр весь новостной шум.
«Мемчики» разбавлены причинно следственным анализом, который хоть и подаётся в юморизированной форме, но вполне интересен.
Я вижу много материалов из одного параграфа, материалы-курсовые, «ментальные высеры» (простите другого слова не нашёл), поверхностные и неточные статьи, тысячи «смотрите чатгпт». И мне приятнее читать финансовый анализ с юмором, чем то, что я привёл в качестве примера плохого контента.
Хабы/теги в статье выбраны корректно и люди, которым тематики не интересна могут просто проигнорировать материал.
Позвольте с вами не согласиться. Да, это не тех. статьи и подача с «мемчиками» многих отталкивает, но есть и те кому нравится.
Например мне, хотя я сам двумя руками за сложные, развёрнутые технические материалы.
У автора данной еженедельной подборки очень своеобразный стиль на грани, и пожалуй чуть за гранью, приличия. Но стиль сдобренный большой долей личного мнения (и кажется основанном на большом опыте в фин. сфере?). Это мнение за всеми «гагами» интересно читать и читать не ежедневно, а именно в недельном формате, когда шуточная часть не вызывает сильного отторжения.
Чужое, качественное, обоснованное мнение вообще всегда интересно читать/слушать - можно не соглашаться с ним и с подачей, но своё мнение становится таким редким событием сейчас, что можно смириться с небольшими негативными нюансами.
Спасибо, очень хорошая статья. (Как старый дед побрюзжу - это случается все реже и реже - не только на Хабре, но и на других ресурсах тоже)
Спасибо. хорошая статья.
Сложно говорить просто "спасибо" - вроде поставил плюсик и иди дальше. Вот критиковать "легче" и даже не легче, а кажется более нужным, полезным.
Тут критиковать не хочется, не нужно и статья хорошая - и хотелось бы чтобы МЛ читатели обратили на материал внимание - может комментарий хоть немного да поможет.
Наверно стоит пояснить немного:
При первом подходе проблема контроля данных никуда не исчезает, но можно теоретически проигнорировать контроль входных данных и смотреть распределения предсказаний индивидуальных моделей. Если что-то "поехало" можно просто убрать модель из "стекинга" линейной модели и продолжать выдавать "скоринги".
В случае нового варианта единой модели, уже не получится так легко манипулировать "ансамблем" и нужно будет уделять гораздо больше внимания тому, что подается на вход модели. И понятное дело, что у вас были "мониторинги" и до перехода на новую схему, но интересно посмотреть и почитать какая степень контроля данных считается вами достаточной и как это организовано (стек/инструменты/итд).
И там и там есть свои плюсы и минусы (что очевидно)), но приятно видеть реальное развитие МЛ и "продакшен" МЛ).
Я бы с радостью почитал, как вы решали проблему жесткого "оверфитинга" "стеккинга" прошлого решения.
А по новому решению я бы с такой же радостью почитал про контроль качества данных, трансформации , "фичер стор" итд.
Дорогой дневничок, на улице лето, жарко. Прочитал дневник какого-то чувака - смысла мало, эмоций много - не понравилось.
Пошел есть мороженое. Завтра отпишусь как увеличение клетчатки и холодная лактоза влияют на стул - возможно будет много восклицательных знаков…
https://habr.com/ru/companies/aitalenthub/articles/747066/
https://habr.com/ru/companies/spbifmo/articles/745598/
https://habr.com/ru/companies/aitalenthub/articles/745516/
https://habr.com/ru/companies/spbifmo/news/745458/
https://habr.com/ru/companies/T1Holding/articles/741780/
https://habr.com/ru/companies/aitalenthub/articles/739832/
"инициатива абитуриента и студента нашей программы" - я с трудом могу представить 5-6 разных человек, которые по своей воле и независимо друг от друга "прониклись желанием" писать в одинаковой тематике.
---
Я прошу простить меня, но я не буду участвовать в дальнейшем обсуждении. Спор/дискуссия ради спора с придирками к словам и формулировкам тут совершенно бессмысленны - я не поменяю своего ощущения лицемерия, а вы до последнего будете держать позицию "правильности".
Удачи вам, вашим учащимся, выпускникам.
Любое образование это хорошо, удачи вам.
НО вы ещё не стали специалистом, даже «джуном» ещё не стали.
Меня очень смущает агрессивная реклама ИТМО - только за последнюю неделю на хабре вышло 4-5 материала этой «магистратуры», расписанных в «розовых тональностях».
«Популярный» курс не нуждается в таком активном «пиаре», но если цель забить бюджетные места и «оприходовать» деньги, то все сходится.
Мне больно видеть огромное количество посредственных курсов и программ, которые плодят такое огромное количество посредственных выпускников с завышенными ожиданиями. К сожалению, это тренд МЛ, с которым остаётся только смериться.
Причём здесь «биг дата»?
Бигдаты на каггле нет и нет возможность учиться работать с большим объемом данных - 15-200гб датасеты это не бигдата, хотя резюме все стерпит.
Удивительно, как потерялся питон
—
Правка: и нет, речь не про ДС и МЛ.
Мне всегда казалось, что python django и backend это «синонимы»)))
“Разница должна быть зафиксирована текстом» - точная цитата (время редактирования прошло)
Соглашусь с «критикой» предыдущих комментаторов - тема очень интересная и «богатая», но само объяснение хромает.
Я зашёл в канал и посмотрел, о чем пишет автор - мне понравилась фраза «должно быть зафиксировано в статье» - жаль, что это самоцель (написать статью) - лучше бы было «должно быть зафиксировано в мозгу», но, к сожалению, в статье нет ничего, что в мозгу останется после прочтения.
«Ваша модель, со всеми регрессиями, градиентами, возможно прекрасна среди программистов»
К сожалению, с этой стороны тоже нечем восхищаться - подход очень базовый и больше похож на «Титаник».
Выбор метрики и Лосс функции (стремящейся к среднему), «брутфорс» генерация признаков без нормальной «селекции», не показана работа с пропусками и грязными данными, нет разбора дрифта значений и разбросов от типа оборудования.
Это бейзлайн «студента», которому два года до продакшена.
Реклама канала сомнительна, если «это» подаётся за МЛ прорыв и экспертизу.
Можно работать ради денег, а можно работать ради идеи (и денег).
То что вы описали - это первый вариант, а им нужны вторые - те, которые поверят, что их строчки кода меняют мир к лучшему, которые будут ночевать на работе, которые будут «креативить» по зову сердца, вот именно для таких и было написано письмо.
В тексте все хорошо, может слишком обобщенно, но это мелочи. Я бы рекомендовал прочитать книгу, которую вы упоминали в статье «designing ml systems».
Я не критикую переведённые утверждения - они настолько «базовые» что сложно накосячить, а про детали он не пишет так как сам не умеет и не пробовал.
Я критикую самого автора оригинала и пытаюсь «предупредить» не доверять слепое всему тому, что он пишет.
По мелочам -
«не начинай разрабатывать пока не продумаете как деплоить»
Красиво звучит, но если придираться, то ещё надо добавить «не начинайте пока с юристами не договоритесь, какие признаки можно использовать», «не начинаете пока не утвердите метрику успеха». «Не начинайте пока не подготовите а/б Фреймворк» итд…
Конечно можно строить модель в любой момент времени - главное понимать, чем это грозит, в чем цель и какой «тех долг» плодят разные подходы.
Дамиен не работает в Мета. Дамиен «плывет» в формулировках и терминах и часто пишет «отсебятину» - это сложно увидеть по переработанным перепечаткам материалов, но когда он «вываливает» свои мысли - такие пробелы очень сильно заметны.
Человек поставил самопиар и «стезю инфлюенсера» выше систематических знаний и DS/ml развития. Удачи ему, конечно, но я бы 5 раз перепроверял за ним, даже если тексты выглядят «разумными».
Ребята все хорошо написали. Я рекомендую вам прочитать про permutation importance - очень правильный подход с стд на разных сидах.
Нельзя просто выкидывать признаки - точнее можно, конечно, если понимать очень глубоко связи между ними. В реальной жизни часто бывают «связанные» признаки с нелинейными зависимостями / признаки с высокой корреляцией / сид сплита / другие варианты - при удалении одного из признаков часто сложно понять точное влияние на метрику - снижение или повышение метрики может быть просто рандомным фактором.
ДатаСаенс, который мы заслужили.
Стань саентологом за 3 дня, Чатгпт напишет код за меня, будешь сидеть на работе без дела полгода, а получать денег много.
К сожалению (или к счастью) я не читаю VC, но это конечно же не повод тащить на Хабр весь новостной шум.
«Мемчики» разбавлены причинно следственным анализом, который хоть и подаётся в юморизированной форме, но вполне интересен.
Я вижу много материалов из одного параграфа, материалы-курсовые, «ментальные высеры» (простите другого слова не нашёл), поверхностные и неточные статьи, тысячи «смотрите чатгпт». И мне приятнее читать финансовый анализ с юмором, чем то, что я привёл в качестве примера плохого контента.
Хабы/теги в статье выбраны корректно и люди, которым тематики не интересна могут просто проигнорировать материал.
Позвольте с вами не согласиться. Да, это не тех. статьи и подача с «мемчиками» многих отталкивает, но есть и те кому нравится.
Например мне, хотя я сам двумя руками за сложные, развёрнутые технические материалы.
У автора данной еженедельной подборки очень своеобразный стиль на грани, и пожалуй чуть за гранью, приличия. Но стиль сдобренный большой долей личного мнения (и кажется основанном на большом опыте в фин. сфере?). Это мнение за всеми «гагами» интересно читать и читать не ежедневно, а именно в недельном формате, когда шуточная часть не вызывает сильного отторжения.
Чужое, качественное, обоснованное мнение вообще всегда интересно читать/слушать - можно не соглашаться с ним и с подачей, но своё мнение становится таким редким событием сейчас, что можно смириться с небольшими негативными нюансами.
Выбор даты говорит о хорошем чувстве юмора в ЦБ.