Жалоб со стороны авторов объявлений не было. Во время подбора порога классификации учитывалось потенциальное недовольство авторов объявлений, поэтому подобранный порог обеспечивает точность в 95% для "бабушкиного" ремонта. На практике в оставшиеся 5% попадают только спорные варианты. Но из-за высокой точности проседает полнота, поэтому часть объектов с "бабушкиным" ремонтом попадают в "хороший".
Первые версии датасета размечали без использования Толоки, это действительно недолго. Но большая доля датасета оказалась спорной, внутри команды расходились мнения на счет класса этих фотографий, даже используя уже формализованные критерии. Толока позволила не тратить время на такие фотографии, классы для них определяли по наиболее популярному ответу толокистов.
Мы учли желание пользователей видеть как можно больше релевантных объектов, поэтому большинство спорных квартир относим к "хорошему" ремонту, повышая полноту этого класса.
Смотрели через GradCAM, важными для сетки оказываются несколько областей на фотографии. Полностью предметы не выделяются, только отдельные кусочки мебели, стен, ковров. Часто сетка реагирует на пёстрые области, например, шторы или обои с цветами, полки, где много разных вещей находятся близко друг к другу.
При подборе критериев для бабушкиного ремонта мы ориентировались на стандартные признаки, которые помогут однозначно определить вид ремонта и которые легко определить по фотографиям пользователей. Идея с розетками интересная, но это все же не основной признак.
Жалоб со стороны авторов объявлений не было. Во время подбора порога классификации учитывалось потенциальное недовольство авторов объявлений, поэтому подобранный порог обеспечивает точность в 95% для "бабушкиного" ремонта. На практике в оставшиеся 5% попадают только спорные варианты. Но из-за высокой точности проседает полнота, поэтому часть объектов с "бабушкиным" ремонтом попадают в "хороший".
Первые версии датасета размечали без использования Толоки, это действительно недолго. Но большая доля датасета оказалась спорной, внутри команды расходились мнения на счет класса этих фотографий, даже используя уже формализованные критерии. Толока позволила не тратить время на такие фотографии, классы для них определяли по наиболее популярному ответу толокистов.
В Циан можно выбрать сразу всю ветку, поставив галочку напротив ее названия в приложении или нажав на номер ветки на сайте.
Мы учли желание пользователей видеть как можно больше релевантных объектов, поэтому большинство спорных квартир относим к "хорошему" ремонту, повышая полноту этого класса.
Смотрели через GradCAM, важными для сетки оказываются несколько областей на фотографии. Полностью предметы не выделяются, только отдельные кусочки мебели, стен, ковров. Часто сетка реагирует на пёстрые области, например, шторы или обои с цветами, полки, где много разных вещей находятся близко друг к другу.
При подборе критериев для бабушкиного ремонта мы ориентировались на стандартные признаки, которые помогут однозначно определить вид ремонта и которые легко определить по фотографиям пользователей. Идея с розетками интересная, но это все же не основной признак.