В целом, разбавление эмбеддинга дополнительными фичами дает значительный прирост. Для некоторых продуктовых команд, хорошо увеличило точность добавление в оценку определенных командой же ключевых слов. Для других, наличие или отсутствие цифр и чисел давало буст. Тут, на старте обучения просто консультация с командой - и дальше обученная модель работает так как этого ожидает команда :) И в процессе, это можно просто и удобно корректировать
Спасибо за вопрос! Отвечу подробнее и по порядку. Наше внутреннее решение с приватной частью дает точность на тестовой выборке 82%.
Важно следующее, наш подход работает для любой команды и всегда привязана к экспертности команды (дизайнеры, бекенд, фронтенд и другие)
Что это значит: мы взяли 2000 уже выполненных, описанных и оцененных задач из беклога определенной команды, разделили на train и test часть (обычно это 70/30% в совокупности). Обучили модель на train части с фиче развесовкой на наши корпоративные особенности и особенности определенной команды.
Далее, взяли модель и попытались предсказать оценку на test части. Вот наш accuracy 0.82% для тестовой выборки.
В боевом режиме, команда соглашается с оценкой задач на приблизительно в 60% случаев. Но важно, здесь то - что сами встречи стали короче и спокойнее :)
Судя по цифрам с бенчмарка - очень быстро, но и структуры, надо признать, небольшие. Читерства, как такового нет, это заметно на ASM коде. Вся магия скорости рассеивается, когда осознаешь принципы локальности, в особенности пространственную.
Не именно книгой, но да, спасибо что заметили. Множество талантливых работ Тейвы, на мой взгляд, недооценены и многими не рассматриваются всерьез с точки зрения практического применения.
Мы реализовали на практике — нам очень понравилось и попробовали разобраться почему
На самом деле, есть кейсы когда jwt токены люди генерируют и руками копируют еще на этапе тестирования public api. И уже этот кейс может складывать у пользователей начальное впечатление - вот тут и клиентоцентричность.
В частности для jwt, или еще как пример, для поля имя пользователя или пароль - из моей практики, люди часто копируют лишние символы (особенно если хранят их в блокноте или копируют из почты вместе с переносом строки).
А когда парольные политики изначально не подразумевают перенос строки и табуляцию в пароле - зачем пользователю кидать ошибку? Пользователь сталкивается с непониманием. Статья, скорее об этом. А интерцепторы - как способ.
Абсолютно согласен, что такой подход не работает для всех полей - именно поэтому в статье, в коде реализации, даем право выбрать имя поля которое собираемся модифицировать.
Тут можно много примеров за и против привести. Но важно, то - что у если прямо сейчас в проекте 100 контроллеров которые кидают эту бессмысленную ошибку при валидации uuid - в разы проще написать интерцептор (с привязкой к конкретному полю, если нужно), чем править логику 100 контроллеров - об этом описано во «втором способе»
Триминг - здесь в статье один из примеров (логика, на самом деле может быть сложнее), что поля на самом деле можно санитизировать в одном едином месте и для тех данных, где точно никогда не будет пробелов и других посторонних символов.
сорян, но они же заявляли что версии до 2022.2.6 блокировать не будут, даже с expired лицензией - активно пользуюсь продуктами до версии 2022.2.6 со старой лицензией, особых трудностей не испытываю, все работает
Как-то грустно написали, ведь есть и рабочие, живые и не менее интересные Российские конструкторы - например, Знаток (Бахметьева). Не реклама, но старшему очень интересно
Ждем в следующей истории разработки станции v3, исследования про отзывы, в стиле: протер пыль - прибавил громкость?) В остальном, игра светом топ! Но смотреть лежа с дивана намного удобнее на смайлики станции мини, чем пытаться разглядеть светодиоды новой версии (или исследования показали, что человек чаще взаимодействует со станцией всегда стоя над ней?)
В целом, разбавление эмбеддинга дополнительными фичами дает значительный прирост. Для некоторых продуктовых команд, хорошо увеличило точность добавление в оценку определенных командой же ключевых слов. Для других, наличие или отсутствие цифр и чисел давало буст. Тут, на старте обучения просто консультация с командой - и дальше обученная модель работает так как этого ожидает команда :) И в процессе, это можно просто и удобно корректировать
Спасибо за вопрос! Отвечу подробнее и по порядку. Наше внутреннее решение с приватной частью дает точность на тестовой выборке 82%.
Важно следующее, наш подход работает для любой команды и всегда привязана к экспертности команды (дизайнеры, бекенд, фронтенд и другие)
Что это значит: мы взяли 2000 уже выполненных, описанных и оцененных задач из беклога определенной команды, разделили на train и test часть (обычно это 70/30% в совокупности). Обучили модель на train части с фиче развесовкой на наши корпоративные особенности и особенности определенной команды.
Далее, взяли модель и попытались предсказать оценку на test части. Вот наш accuracy 0.82% для тестовой выборки.
В боевом режиме, команда соглашается с оценкой задач на приблизительно в 60% случаев. Но важно, здесь то - что сами встречи стали короче и спокойнее :)
действительно, спасибо! картинку заменил
Судя по цифрам с бенчмарка - очень быстро, но и структуры, надо признать, небольшие. Читерства, как такового нет, это заметно на ASM коде. Вся магия скорости рассеивается, когда осознаешь принципы локальности, в особенности пространственную.
Не именно книгой, но да, спасибо что заметили. Множество талантливых работ Тейвы, на мой взгляд, недооценены и многими не рассматриваются всерьез с точки зрения практического применения.
Мы реализовали на практике — нам очень понравилось и попробовали разобраться почему
Спасибо за комментарий, постарался подробно ответить чуть выше.
Минусы добавить пару строк в тот же обработчик описаны во «втором способе» статьи.
Спасибо за комментарий.
На самом деле, есть кейсы когда jwt токены люди генерируют и руками копируют еще на этапе тестирования public api. И уже этот кейс может складывать у пользователей начальное впечатление - вот тут и клиентоцентричность.
В частности для jwt, или еще как пример, для поля имя пользователя или пароль - из моей практики, люди часто копируют лишние символы (особенно если хранят их в блокноте или копируют из почты вместе с переносом строки).
А когда парольные политики изначально не подразумевают перенос строки и табуляцию в пароле - зачем пользователю кидать ошибку? Пользователь сталкивается с непониманием. Статья, скорее об этом. А интерцепторы - как способ.
Абсолютно согласен, что такой подход не работает для всех полей - именно поэтому в статье, в коде реализации, даем право выбрать имя поля которое собираемся модифицировать.
Тут можно много примеров за и против привести. Но важно, то - что у если прямо сейчас в проекте 100 контроллеров которые кидают эту бессмысленную ошибку при валидации uuid - в разы проще написать интерцептор (с привязкой к конкретному полю, если нужно), чем править логику 100 контроллеров - об этом описано во «втором способе»
Триминг - здесь в статье один из примеров (логика, на самом деле может быть сложнее), что поля на самом деле можно санитизировать в одном едином месте и для тех данных, где точно никогда не будет пробелов и других посторонних символов.
Если это строка (см функцию
handleField)А тут в
handleFields- если снова структура, значит лезем внутрьсорян, но они же заявляли что версии до 2022.2.6 блокировать не будут, даже с expired лицензией - активно пользуюсь продуктами до версии 2022.2.6 со старой лицензией, особых трудностей не испытываю, все работает
из опыта, не работает СБП в некоторых популярных сервисах
Неплохой такой способ баг хантинга
Круто!
Как-то грустно написали, ведь есть и рабочие, живые и не менее интересные Российские конструкторы - например, Знаток (Бахметьева). Не реклама, но старшему очень интересно
а куда? они все же брать стали
Неплохой гайд, если не считать что
To ensure and maintain high quality of ad content, a minimum advance payment of €2,000,000 is required to launch ads on the Telegram Ad Platform.
Поправьте меня, но, кажется, если хочешь свой сервер он платный. И активация только используя демо ключ. До каких он пор вообще не ясно
оно все есть в описании продукта, там и видео с картинками, и примеры работы светодиодов.
Ждем в следующей истории разработки станции v3, исследования про отзывы, в стиле: протер пыль - прибавил громкость?) В остальном, игра светом топ!
Но смотреть лежа с дивана намного удобнее на смайлики станции мини, чем пытаться разглядеть светодиоды новой версии (или исследования показали, что человек чаще взаимодействует со станцией всегда стоя над ней?)
Gerrit, кстати, тоже неплохо подходит для организации ревью