Измерение скорости здесь присутствует только для демонстрации ускорения в Pytorch 2.0. Да, это может вводить в заблуждение. По сути у статьи 2 цели - туториал для запуска и демонстрация ускорения.
Скорее всего вы почти во всем разобрались, что вам нужно для запуска) В 3 пункте главное - это Trainer. Он запускает обучение. Все, что после в 3 пункте - это уже не часть туториал, ее не надо повторять.
4 пункт здесь самый простой. Он своего рода hello world. Там нет обучения, его можно отдельно запустить для любой модели и получить предсказание.
Спасибо, что поделились соображениями насчет автора оригинала. Действительно, правильнее написать, что он раньше работал в Meta.
На счет других его текстов не могу сказать, только конкретно про этот, который переводила. Поскольку сама ML-инженер текст конечно проверила, здесь не вижу никаких проблем: конкретно в этом тексте сухие факты, которые также можно прочитать в других книгах по ML System Design.
OpenAI пошли по стандартному пути. Обратились к компании Sama, с которой уже сотрудничали Meta, Google и тд для разметки токсичности своего контента.
У Sama все работники заняты в "бедных" странах, типа Кении, Индии, Уганды.
Разметка большого количества данных - это дорого, поэтому они используют самую дешёвую рабочую силу.
Плюс к тому, к сожалению, условия труда сотрудников из таких стран мало кого волнуют. А им приходится просматривать очень жёсткий контент с насилием, например. Чтобы потом мы получили этичный ИИ. Об этом как раз статья в Time.
Но он способен обрабатывать чисто человеческие запросы, типа "объясни, как работает этот код", "перепиши мой текст более понятным языком" и в принципе научен, как общаться с людьми, чтобы отвечать, как ожидают люди.
Эти вещи очень сложно формализовать для алгоритма, для просты это можно называть имитацией "человечности".
Конечно, речь совсем не про то, что он обладает человеческими качествами.
Спасибо, сама не пользовалась, но выглядит действительно удобным инструментом для автоматизации деплоя моделей!
С другой стороны, изучение и понимание процесса создания приложений самому имеет ряд преимуществ. Например, существует много проектов, для которых не подходят автоматические инструменты. Где-то это дает больше гибкости и контроля за кодом. В целом, написание собственного приложения дает понимание, как работают разные инструменты.
Пузыри они фактически и описали, это их SimClusters, которые оказались очень полезны по метрикам. Хоть они показали только "ванильные" примеры кластеров вроде поп-звезд, но конечно, там есть и политические кластеры и что-то более жуткое по-любому.
Насчет Илона, все может быть, практика залезания сверху в процесс рекомендаций распространена. Типа, я вижу не то, что хочу, значит у вас ошибка в алгоритме - поправьте. А править алгоритм неясно где и непонятно зачем - он же оптимизирует глобальные метрики. Тогда, могли сделать и просто косметическую доработку с флагом.
Они утверждают, что используют эти флаги только для мониторинга) Формально опровержений в коде рекомендаций никто не нашел. Но в опенсурсе далеко не весь их код, конечно.
Маск вроде тоже не знал про это и сказал удалить этот флаг и флаги пользователей "республиканцев"/"демократов".
Согласно их алгоритму отдельно подмешивается только реклама. Как формируется реклама мы не знаем, так как это не опенсорс (пока по крайней мере).
В остальном, хоть у них это явно не сказано, рекомендательная система будет больше предпочтения отдавать "вирусному" контенту, то есть где много реакций.
Реализовали то решение, которое описано в пункте "Переходим к постановке задачи". На базе разметки обучили модель, сейчас она скорит все звонки. Все то, что планировали, модель сейчас умеет делать, например, мы: понимаем, сколько раз клиент уже отказывался от продукта (когда пора перестать предлагать), оцениваем работу менеджера в каждом звонке, определяем скилы продаж у сотрудников.
На этапе аналитики задачи мы использовали бинарные вопросы для проверки гипотез, и они очень помогли.
Непосредственно модель мы обучали end-to-end на текстах, то есть прям внутри звонка модель анализирует каждую фразу и предсказывает, например, сейчас мы говорим про этот продукт или нет (бинарный таргет).
Да, все верно. В одном звонке могут обсуждаться несколько продуктов и также несколько других тем, не связанных с продажами. Чтобы модель смогла обучиться, нужно явное выделение интервалов.
Такое происходит, если сотрудники заполняют данные в перерыве между своей основной работой. Например, после того, как поговорили с клиентом, проставляют метки в этом звонке.
Мы же используем другой подход. Разметчики - это специально выделенная группа сотрудников, которые на время разметки занимаются только нашей задачей. Их несколько человек, поэтому мы постоянно на связи со всеми и просим переделать, если что-то не так. Стоит сказать, что они действительно ответственно подходят к разметке, за что мы им очень благодарны.
Измерение скорости здесь присутствует только для демонстрации ускорения в Pytorch 2.0. Да, это может вводить в заблуждение. По сути у статьи 2 цели - туториал для запуска и демонстрация ускорения.
Скорее всего вы почти во всем разобрались, что вам нужно для запуска) В 3 пункте главное - это Trainer. Он запускает обучение. Все, что после в 3 пункте - это уже не часть туториал, ее не надо повторять.
4 пункт здесь самый простой. Он своего рода hello world. Там нет обучения, его можно отдельно запустить для любой модели и получить предсказание.
Спасибо, что поделились соображениями насчет автора оригинала. Действительно, правильнее написать, что он раньше работал в Meta.
На счет других его текстов не могу сказать, только конкретно про этот, который переводила. Поскольку сама ML-инженер текст конечно проверила, здесь не вижу никаких проблем: конкретно в этом тексте сухие факты, которые также можно прочитать в других книгах по ML System Design.
Если здесь видите ошибку, можете указать.
Спасибо за ссылку, раньше не читала, очень интересно)
Получается так)
Да, действительно, gpt-4 гораздо лучше.
Ошибки прошлых версий модели - это источник новых данных для дообучения их модели. Поэтому косяков все меньше.
OpenAI пошли по стандартному пути. Обратились к компании Sama, с которой уже сотрудничали Meta, Google и тд для разметки токсичности своего контента.
У Sama все работники заняты в "бедных" странах, типа Кении, Индии, Уганды.
Разметка большого количества данных - это дорого, поэтому они используют самую дешёвую рабочую силу.
Плюс к тому, к сожалению, условия труда сотрудников из таких стран мало кого волнуют. А им приходится просматривать очень жёсткий контент с насилием, например. Чтобы потом мы получили этичный ИИ. Об этом как раз статья в Time.
Все верно)
Но он способен обрабатывать чисто человеческие запросы, типа "объясни, как работает этот код", "перепиши мой текст более понятным языком" и в принципе научен, как общаться с людьми, чтобы отвечать, как ожидают люди.
Эти вещи очень сложно формализовать для алгоритма, для просты это можно называть имитацией "человечности".
Конечно, речь совсем не про то, что он обладает человеческими качествами.
Спасибо, сама не пользовалась, но выглядит действительно удобным инструментом для автоматизации деплоя моделей!
С другой стороны, изучение и понимание процесса создания приложений самому имеет ряд преимуществ. Например, существует много проектов, для которых не подходят автоматические инструменты. Где-то это дает больше гибкости и контроля за кодом. В целом, написание собственного приложения дает понимание, как работают разные инструменты.
Спасибо за отзыв! Рада, что статья была полезной)
Пузыри они фактически и описали, это их SimClusters, которые оказались очень полезны по метрикам. Хоть они показали только "ванильные" примеры кластеров вроде поп-звезд, но конечно, там есть и политические кластеры и что-то более жуткое по-любому.
Насчет Илона, все может быть, практика залезания сверху в процесс рекомендаций распространена. Типа, я вижу не то, что хочу, значит у вас ошибка в алгоритме - поправьте. А править алгоритм неясно где и непонятно зачем - он же оптимизирует глобальные метрики. Тогда, могли сделать и просто косметическую доработку с флагом.
Они утверждают, что используют эти флаги только для мониторинга) Формально опровержений в коде рекомендаций никто не нашел. Но в опенсурсе далеко не весь их код, конечно.
Маск вроде тоже не знал про это и сказал удалить этот флаг и флаги пользователей "республиканцев"/"демократов".
Согласно их алгоритму отдельно подмешивается только реклама. Как формируется реклама мы не знаем, так как это не опенсорс (пока по крайней мере).
В остальном, хоть у них это явно не сказано, рекомендательная система будет больше предпочтения отдавать "вирусному" контенту, то есть где много реакций.
Реализовали то решение, которое описано в пункте "Переходим к постановке задачи". На базе разметки обучили модель, сейчас она скорит все звонки. Все то, что планировали, модель сейчас умеет делать, например, мы: понимаем, сколько раз клиент уже отказывался от продукта (когда пора перестать предлагать), оцениваем работу менеджера в каждом звонке, определяем скилы продаж у сотрудников.
Смотря, что вы имеете в виду :)
На этапе аналитики задачи мы использовали бинарные вопросы для проверки гипотез, и они очень помогли.
Непосредственно модель мы обучали end-to-end на текстах, то есть прям внутри звонка модель анализирует каждую фразу и предсказывает, например, сейчас мы говорим про этот продукт или нет (бинарный таргет).
Да, все верно. В одном звонке могут обсуждаться несколько продуктов и также несколько других тем, не связанных с продажами. Чтобы модель смогла обучиться, нужно явное выделение интервалов.
Такое происходит, если сотрудники заполняют данные в перерыве между своей основной работой. Например, после того, как поговорили с клиентом, проставляют метки в этом звонке.
Мы же используем другой подход. Разметчики - это специально выделенная группа сотрудников, которые на время разметки занимаются только нашей задачей. Их несколько человек, поэтому мы постоянно на связи со всеми и просим переделать, если что-то не так. Стоит сказать, что они действительно ответственно подходят к разметке, за что мы им очень благодарны.