В сообществе машинного обучения есть проблема токсичности

Автор оригинала: Yusuf Bengio
  • Перевод
Токсичность везде.

Во-первых, нарушен процесс независимой экспертизы (peer review). Четверть работ с конференции NeurIPS выкладывается на arXiv. В DeepMind есть исследователи, которые публично преследуют рецензентов, критикующих их представление ICLR. Кроме того, статьи известных институтов с arXiv принимаются на ведущих конференциях, даже если рецензенты решают отклонить работу. И наоборот, некоторые статьи с большинством положительных отзывов отклоняются (не хочу называть никаких имён, просто взгляните на страницу openreview ICRL этого года).

Во-вторых, существует кризис воспроизводимости. Видимо, настройка гиперпараметров на тестовом наборе стала стандартной практикой в настоящее время. У статей, которые не превосходят лучший на сегодняшний день метод, нулевые шансы быть принятыми на хорошей конференции. В результате гиперпараметры настраиваются тонкими трюками, чтобы получить прирост производительности там, где его нет.

В-третьих, существует проблема поклонения. Каждая статья, имеющая отношение к Стэнфорду или DeepMind, превозносится как прорыв. Например, у BERT цитирований в семь раз больше, чем у ULMfit. Принадлежность к Google придаёт статье очень много доверия и известности. На каждой конференции ICML перед каждым плакатом DeepMind стоит толпа людей, независимо от содержания работы. Та же история с Zoom-встречами на виртуальной конференции ICLR 2020. Более того, NeurIPS 2020 собрала в два раза больше заявок, чем ICML, хотя обе конференции высшего уровня. Почему? Почему слово «нейронный» так превозносится? Далее, Бенгио, Хинтон и ЛеКун [лауреаты премии Тьюринга 2018 года за исследования в области ИИ — прим. пер] действительно являются пионерами глубокого обучения, но называть их «крёстными отцами ИИ» — безумие. Это уже становится культом.

В-четвёртых, Ян ЛеКун довольно мягко высказался о темах предвзятости и справедливости. Однако в ответ получил совершенно неадекватную токсичность и отрицательную реакцию. Избавиться от ЛеКуна и заткнуть человеку рот — это не решение.

В-пятых, у машинного обучения и информатики в целом огромная проблема неравенства (diversity). На нашем факультете CS только 30% студентов и 15% профессоров — женщины. Уход в отпуск по уходу за ребёнком во время аспирантуры или докторантуры обычно означает конец академической карьеры. Однако этим неравенством часто злоупотребляют как предлогом, чтобы оградить некоторых людей от любой формы критики. Сведение каждого негативного комментария в научной дискуссии к расе и полу создаёт токсичную среду. Люди боятся участвовать в дискуссиях, чтобы их не назвали расистами или сексистами, что, в свою очередь, усиливает проблему неравенства.

В-шестых, мораль и этика устанавливаются произвольно. В любой дискуссии доминирует внутренняя политика США. В этот самый момент тысячи уйгуров попадают в концентрационные лагеря, основанные на алгоритмах компьютерного зрения, изобретённых этим сообществом, и никому, кажется, вообще нет дела до этого. Добавление раздела «Более широкое воздействие» в конце каждой работы не решит эту проблему. Поднимаются кучи дерьма, когда какой-то исследователь не упомянут в статье. Между тем африканский континент с населением в 1 миллиард человек практически исключён из любого значимого обсуждения ML (кроме нескольких семинаров Indaba).

В-седьмых, распространена ментальность типа «публикуйся или умри». Если ты не публикуешь 5+ статей в год на конференциях NeurIPS/ICML, ты неудачник. Исследовательские группы стали настолько большими, что научный руководитель даже не помнит имён всех аспирантов. Некоторые подают на NeurIPS более 50 работ в год. Единственной целью написания статьи стало добавление ещё одной статьи NeurIPS в резюме. Качество вторично; основной целью стало прохождение стадии предварительного просмотра.

Наконец, дискуссии стали неуважительными. Лауреат приза Гельмгольца от Международного общества нейронных сетей Юрген Шмидхубер обзывает вором члена Лондонского королевского общества Джеффри Хинтона, Эфиопско-американский и содиректор группы Ethical Artificial Intelligence Team в Google Тимнит Гебру обзывает белым супрематистом «крёстного отца ИИ» Яна ЛеКуна, Профессор Калтеха и директор исследований ИИ в Nvidia Анима Анандкумар обзывает сексистом исполнительного директора Geometric Intelligence и автора книг Гари Маркуса. Все подвергаются нападкам, но ничего не улучшается.

Альберт Эйнштейн выступал против квантовой механики. Пожалуйста, можно прекратить демонизировать тех, кто не разделяет наши взгляды в точности? Давайте позволим людям не соглашаться, не перерезая им глотки.

В тот момент, когда мы затыкаем людям рот из-за их мнения, научный и общественный прогресс просто умирает.

См. также:

Средняя зарплата в IT

113 000 ₽/мес.
Средняя зарплата по всем IT-специализациям на основании 5 444 анкет, за 2-ое пол. 2020 года Узнать свою зарплату
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама

Комментарии 33

    +12

    А можно было как-то более коротко: в ML сейчас так много денег, что учёные и "учёные" превратились в брокеров, так-как не знают, когда пузырь финансирования лопнет, но знают точно, что это произойдёт.

      +22

      О, как интересно — статья пропагандирует то… с чем борется !


      То про качество работ и про необоснованные обвинения в сексизме и сразу про процент женщин и про уйгуров в лагерях — неужели автор двойные стандарты свои не видит в упор? :)

        +18
        В-пятых, у машинного обучения и информатики в целом огромная проблема неравенства (diversity). На нашем факультете CS только 30% студентов и 15% профессоров — женщины.

        Проблема в том, что кто-то видит нормальный ход вещей как проблему
          +11
          Я так понял, что автор говорит что эти 15% используют свое меньшинство, что бы оградиться от критики типа — «это всё по тому что я женщина/черный?». Если их разбавить, то на это можно ответить «нет, по тому что твой результат не очень, вон у других черных/женщин» всё норм.

          Вопрос всегда в том, как разбавить. Я видел только положительную дискриминацию, от которой еще больше проблем, чем от наличия меньшинств.
            –1
            Я не то чтобы говорю, что это позиция автора, чисто мысли вслух
            0
            What Happened To Womes In Computer Science
            Ситуация, на самом деле, не вполне нормальная. Мне кажется перелом произошёл когда массовыми стали персональные компьютеры. Моё предположение такое: Дети мужского пола видимо более склонны играться в программирование, даже когда оно не даёт непосредственно денег и социального признания, так что когда технология попадает в коммерческий оборот есть уже много гиков, баловавшихся с ней последние лет пять, и ставшие худо бедно специалистами. Массовые персональные компьютеры, на которых можно баловаться появились в 1977-78 годах и через 5 лет вся гендерное соотношение в CS пошла по другому тренду.
              +1
              Тут играют роль разные факторы. Разумеется есть и стереотипы, но биология встает на первое место.

              Во-первых мужчины более склонны иметь интерес к неодушевленным вещам. Это экспериментальный факт. Даже эксперименты с безгендерными детьми обнаруживают различие в предпочтениях.

              Во-вторых, имея одинаковый средний интеллект, мужчины обладают большей вариативностью. То есть на две женщины с iq условно 90 и 110 приходится два мужчины с 80 и 120. В среднем и там и там 100. Доходит до того, что даже имея лучшую чувствительность нервной системы в среднем, женщины все равно проигрывают как топовые дегустаторы — так как они индивидуумы намного больше среднего. А мужчины более вариативны из-за y хромосомы, которая почти не содержит генов, и любое повреждение X хромосомы вызывает мутацию, тогда как у женщин набор XX, и нужно одновременно повредить два гена. То есть у мужчин больше разброс от среднего.

              Мне кажется рост числа женщин растет не из-за дайверсити программ или борьбы со стереотипами, а с банальным падением порога вхождения
                0
                Ну дивёрсити программы это вообще глупость, о них мы тут не говорим. Но внимательно посмотрите на график, который я привел. Внимание вопрос, какое из упоминавшихся вами объяснений работало начиная с 1985-ого года, но не работало до 1985-ого? :)
                Доля женщин среди компьютерщиков росла даже быстрее, чем среди физиков. В теоретической физике всё о чём вы говорили на много важнее, поверьте физику, но там доля женщин упрямо продолжала расти. И поверьте, о-го-го каких женщин. Со мной на курсе училась одна-две таких которые способны были знаменитую фразу из учебника Ландау-Лифшица «путём несложных преобразований» расшифровать на бумажке без посторонней помощи. На весь наш курс универа повторить этот фокус смогли бы максимум один-два десятка парней. Ну и тётя моя тоже ничё так программист была на большущих советских компьютерах, ещё СМ-ах.

                Тут интересно что именно поменялось в окрестностях 85-ого года, что их доля начала так драматически падать.
                  0
                  Внимание вопрос, какое из упоминавшихся вами объяснений работало начиная с 1985-ого года, но не работало до 1985-ого? :)

                  Падает порог вхождения. Если у нас две женщины с iq 90 и 110, и два мужчины с iq 80 и 120, а порог вхождения, скажем, 115, то мужчин будет 100 процентов, а женщин 0. Опускаем порог до 110 и вуаля.

                  Понятно что iq это не интеллект и все такое, но это как пример метрики. Со временем в IT растет число позиций где нужна скорее монотонная работа, чем исследовательская деятельность.

                  Ну и сравнение с физиками как раз это подтверждает — физика это всегда наука на грани и там рост будет всегда медленнее (так как не-исследовательская физика это уже скорее инженерное дело)

                  Ну и тётя моя тоже ничё так программист была на большущих советских компьютерах, ещё СМ-ах


                  Ну смотря как и что делали, у меня тоже родственница на ЭВМ по перфокартам работала, но большой науки там не было.
                    +1
                    В теоретической физике всё о чём вы говорили на много важнее, поверьте физику, но там доля женщин упрямо продолжала расти

                    Я закончил физтех и вижу, что доля женщин выросла за счет факультетов типа БМ (слово био их привлекает независимо от содержания программы) и на факультетах с низким проходным баллом. Ну и так как на физтехе при прочих равных имеется уникальное право выбирать абитуриентов по собеседованию, предпочтение отдается девочкам (знаю непосредственно от принимающей стороны), что не является показателем конкурентной борьбы. Хотя, конечно, раньше девочек вообще не физтех не брали и побежденные стереотипы тоже роль сыграли, но это было давно.

                    Так же статистика говорит, что например в США на биологов учится больше женщин, но после master degree занимаются наукой больше мужчин (хотя выпустилось их меньше), то есть им более интересно образование как возможность проявить себя, чем как получить бумажку. Разница незначительная, но она есть.

                    Я вполне в курсе что есть замечательные женщины — физики и женщины-программистки, моя подруга такой программист, что всем мужчинам в пример. Но их количество всегда будет меньше, так как экстремально умных/быстрых/красивых/вкусных мужчин всегда будет больше из-за мутабельности, как и преступников/больных чем-то
                      0
                      Извиняюсь, я не заметил что на вашем графике падение, а не рост. Рост, конечно, происходит только в ближайшие несколько лет. До этого есть разные гипотезы о причинах падения, не знаю какая верна
                        0
                        Вот мой, собственно, исходный пост об этом. Если бы основную роль играл падающий порог вхождения (а он сильно падает), то мы видели бы нарастающее выравнивание. Если судить по игрострою в котором я сейчас работаю, в тестировании, 3d ьщвудинге и левелдизайне доля девушек стремительно увеличиваться и кое где перешкаливает за половину. В Этом явно сыграл роль порог вхождения, но если верно моё предположение о влиянии социализации на выбор девушками профессии, то сыграло роль ещё и превращение игростроя из игрушечек в серьёзную уважаемую профессию, которой учат. А программирование остаётся профессией, которой первые несколько лет балуются. Это же объясняет почему девушек не так много в геймдизайне если посчитать внимательно, хотя там порог вхождения ещё ниже.
                    0
                    Мне кажется перелом произошёл когда массовыми стали персональные компьютеры

                    Ну да, до этого в ВЦ работало много женщин лаборантов — перфокарты там набивали, ленты магнитные меняли итд.
                  +6
                  Люди боятся участвовать в дискуссиях, чтобы их не назвали расистами или сексистами вернее чтобы не похерить всю карьеру и не быть уволенными

                  Проблема токсичности в основном в денежных сферах, где психи проталкивают идею навязывания равенства, которого банально не должно даже быть. Прессование несогласных это норма текущих дней так как отвественности за свои слова и заявления банально ни у кого нет.
                    0

                    Ничего не понял но очень интересно.

                      +1
                      Дык, это не только к ML относится, а к любой сфере.
                        +2

                        Мое имхо в таким проблемам: "let them fall" А то повсюду поддерживают вещи, которые в нормальной ситуации бы пришли к норме или разрушили бы сами себя. Но нет, все усиленно поддерживают вот это все. Не нравится — меняй сферу науки и делай все в более благородной среде. Хочется заниматься именно этим- задумайся, ведь именно "ты" отбирал рабочие места у фермеров и рабочих алгоритмами МЛи предлагал им адаптироваться к новой реальности, вот и пришло "твое" время адаптироваться. Капитализм он такой, пережевывает и выплёвывает все и вся.

                          +1

                          Наверное, точнее будет в научном сообществе. Или инженеров в МЛ нет?

                            +13
                            Автор оригинальной статьи какой-то оторванный от реальности эльф-SJW. Если заменить в статье Машинное обучение на генетику, а Гугл на Колд Спринг Харбор (Стэнфорд менять даже не надо) — будет то же самое.

                            >> Во-первых, нарушен процесс независимой экспертизы (peer review). Четверть работ с конференции NeurIPS выкладывается на arXiv.

                            Статьи на архиве это общая практика, пир ревью конференционных статей обычно либо отсутствует либо формально.

                            >> Во-вторых, существует кризис воспроизводимости.

                            Системное явление связанное с отсутсвием публикаций отрицательных результатов. В области исследований рака у человека фарм компания Байер смогла воспроизвести результаты 25% «основополагающих» работ в области, компания Amgen в своем исследовании смогла воспроизвести 11%, и об этом пишут не на реддитовском заборе а в Nature

                            >> В-третьих, существует проблема поклонения.

                            Повсеместное явление.

                            >> В-четвёртых,

                            Какой-то специфический срач. Ну как отмена всей конференции по PHP из-за недостатка женщин докладчиков, или массовый отказ физиков ехать на конференцию по ускорителям в Австрию после победы на тамошних выборах ультраправых.

                            >> В-пятых, у машинного обучения и информатики в целом огромная проблема неравенства (diversity).

                            Для установления равенства срочно нужно запретить студентам китайского происхождения учиться на CS и прочем инжиниринге, пусть как все идут на танцы и филологию. По статистике которую я видел для немецких университетов самое плохое соотношение по полу студентов и профессоров было вообще-то в медицине (среди студентов процентов 40, среди профессоров менее 5). Во многом объясняется тем, что в терминах ROI пытаться стать профессором это одно из худших вложений своих сил.

                            >> В-шестых, мораль и этика устанавливаются произвольно.

                            Миллиард жителей Африки и в дискуссиях по вопросам астрономии не участвует. Или там новых подходов в решении энергетических проблем. В обсуждении вопросов участвуют те, кому есть что предложить.

                            >> В-седьмых, распространена ментальность типа «публикуйся или умри».

                            Открытие! Примерно вся современная наука работает именно так последние лет минимум 20. Кроме особо джентельменских областей, где дикая конкуренция ограничена, типа астрономы делят один телескоп, между собой у них все по джентельменски, а конкуренты с телеском с али-экспресс им не конкуренты.

                            >> Наконец, дискуссии стали неуважительными.

                            Ну хоть там у них есть изюминка, у остальных несколько скучнее.

                            В общем помимо некоторой повышенной д'Артаньяновости ( в изложении поручика Ржевского) обычный набор жалоб на современную академию как она есть в странах первого мира.

                              0
                              В обсуждении вопросов участвуют те, кому есть что предложить.

                              Да, но нет. Решает инфраструктура участия. У нас в России её не очень есть в результате по тому же компьютерному зрению [ODS] одно время брала половину мест в топе Kaggle, но при этом не только не публиковалась, но и даже не выступала. То же с Китайцами, которые в пресловутом машинном распознавании корейца съели и уже делают оплату в метро лицом не снимая медицинской маски, но при этом доля китайских докладов на NeurIPS чуть меньше чем им есть что сказать.

                              Воспроизводится ситуация времён холодной войны, когда по физике у нас и американцев в общем-то паритет, но по нобелевским премиям соотношение 1:10
                                0
                                Частично согласен. Надо дополнить фразу «В обсуждении вопросов участвуют те, кому есть что предложить» следующим образом — «В обсуждении вопросов участвуют те кому интересно обсуждени и есть что предложить».

                                Про нобелевки ситуация неоднозначна. Паритет был в 60-х, он был в реале — и там и там шло бурное развитие авиации, космонавтики, ядерных и полупроводниковых технологий. Тут нобелевка по лазерам выданная совместно — яркий пример. В те годы при паритете и нобелевок было неплохо — 1958 -Черенков/Франк/Тамм 1962 — Ландау, 1964 Басов/Прохоров/Таунс. Да, некоторый перекос был, поэтому никого из крутых ускорительщиков как то Векслер/Наумов/Будкер не отметили (хотя кучу сравнимых инструментальных западных работ — наградили), равно и Завойского за ЭПР, термоядерный синтез не взлетел, а так то там не на одну премию было бы. Но даже неудавшиеся номинации тоже приходились на 50-е и 60-е. Некоторых выдвигали почти по 10 раз. Потом такого мощного вала уже не было, а те кто получали тоже удостаивались за работы тех лет, Алферовский лазер на гетеропереходе это 60-е, сверхпроводимость и сверхтекучесть Гинзбурга и Абрикосова — 50-е. Капицу наградили за работы 30-х. В общем просто это было время реального взлета нашей науки, ни до, ни после мы такой большой роли в мировом масштабе не играли.
                              +2
                              Юсуф недоволен arxiv-ом. Странным образом, я согласен в этом с Юсуфом. С некоторых пор на arxiv ввели анонимную цензуру (твою статью отклоняет неизвестно кто неизвестно почему), притом в списке модераторов нет ни одного известного мне математика (кроме лично шапочно знакомого Шурика Кириллова). Но уже скоро вместо еврейской модерации будет негритянская, вместо Шурика Кирилова будет Бубба Мапиндози, вот тогда и заживём.
                                +5
                                Статья будто написана как иллюстрация диссоциативного мышления.
                                В практически соседних предложениях автор ругает аргумент перехода на личности (апелляция к качествам, которые не имеют отношения к сути вопроса, например — расе или полу) и тут же сам говорит, что, мол, несчастная Африка «исключена» из дискуссии (то есть, соглашается с существованием некоего мирового расистского заговора).
                                Выглядит довольно иллюстративно, потому что с базовыми аксиомами современной левой идеологии автор не спорит, но спорит с поведением, которое вызвано ровно наполовину следованием этим аксиомам.
                                В этом смысле, употребление термина «токсичность» ужасно показательно, потому что единственный смысл его существования — это placeholder для обозначения любого поведения, которое говорящий считает негативным, но которое нельзя называть своими именами, чтобы либо не опровергнуть свои же слова, либо не заклеймить случайно какое-то неприкосновенное явление. Например, когда безграмотный исследователь женского пола валит все свои ошибки на заговор злых мужиков, это можно назвать «токсичностью» (если ты с ней не согласен), но никак нельзя назвать своим именем — «современный феминизм», потому что у такого заявления могут быть существенные последствия.
                                  +5
                                  Честно говоря, когда вижу слово «токсичность» не в контексте вопросов химии, меня начинает уже трясти и хочется, на полном серьезе, дать кому-нибудь по лицу. Вот на полном серьезе утверждаю, что нужно разрешить дуэли, а победителя освобождать от уголовного преследования.
                                  Вижу как-то так:
                                  — Ты расист и сексист!
                                  — Да? Ну, тогда в 6 часов в ближайшем парке на пистолетах или ты балабол/балаболка(а что такое — равноправие же!)?

                                  Именно элементарная, не знаю как назвать, феминизация, что ли, общества и породила поколение истеричек, смелых и дерзких на слова, ведь они точно знают, что ответить за эти слова не придется. Поэтому можно смело орать на других людей, оскорблять их, затыкать им рот и для этого ведь даже не нужно свои заявления подкреплять реальными фактами — это же так удобно и безопасно сейчас!
                                  То ли дело когда есть не иллюзорная вероятность в ответ на истерику получить по зубам кулаком, не правда ли?
                                  А уж за компьютером какие сейчас все смелые…
                                    +2
                                    Чотко стелишь, братюнь. Душевно!
                                      0
                                      ведь они точно знают, что ответить за эти слова не придется

                                      Может быть стоит начать подавать в суд за оскорбление чести и достоинства? Через некоторое время наберется просто база прецедентов (по крайней мере в странах с англо-саксонским правом).


                                      Ведь в журналистике ровно такие же правила — за откровенно необоснованные претензии могут быть приняты ответные меры. Как пример — суд между Альфа Банком и газетой Коммерсант.

                                        0
                                        Занятно, что вы упоминаете англо-саксонское право, но иск предлагаете подавать с чисто российской формулировкой. Скажем, в американской правовой системе такой формулировки нет, есть defamation (slander и libel), при этом важным фактором в квалификации действий является намерение, которое предельно сложно доказать.
                                          0

                                          Это тоже интересно. Я нашёл закон (один из последних по этой части), который относится к вопросы оскорблений.


                                          Итак, фраза не является оскорблением, если:


                                          • Requirement of serious harm: нет серьезного ущерба репутации. То есть, если обосновать, что обвинения в расизме могут спровоцировать уход с работы, то их не должно быть.
                                          • Truth: заявление, по сути, правда.
                                          • Honest opinion: заявление является просто мнением, а не способом заработать именно на клевете. Тут есть юридические тонкости, мне недоступные, однако если окажется, что кого-то обвинили в расизме после того, как не взяли на работу, то это уже не просто частное мнение по общим вопросам. Это манипуляция и так далее (хотя я до конца не уверен).
                                          • Public interest: еще более тонкая материя (для меня, по крайней мере). Однако пункт относится к людям, которые более-менее популярны (то есть журналист сможет им воспользоваться). Если в интересах общества (что бы это ни значило) стоит оставить публикацию или не доказывать "правду", то обвинить в клевете не получится.
                                          • Peer-reviewed statement in scientific or academic journal: твиттер явно не научный журнал.

                                          Как мне сейчас кажется из прочитанного, компании могут довольно эффективно воевать с атаками из Твиттера и пр. Да и люди тоже. И потому возвращаемся к прошлому вопросу: почему они так не делают? Что я упустил? Почему не идут в суд на каждое подобное обвинение?

                                            0

                                            Идти в суд по каждому чиху, для начала, просто невозможно и достаточно дорого. Особенно, учитывая наличие препятствий для удовлетворения иска в виде требования намерения (в практике США) или возможности сослаться на "honest opinion" в британской практике.
                                            Множество обстоятельств в делах о defamation — предельно субъективны. Суды не выигрываются по принципу "кто первый обвинил, тот и выиграл".

                                              0

                                              Впрочем, это всё не означает, что компании не могут иметь ложное инертное представление о том, что лучшая стратегия — дистанцироваться от всего этого безобразия. Если дойдет до того, что такие фокусы начнут использовать в конкурентной борьбе, придется пошевелиться, потому что увольнять ключевых сотрудников по первому требованию каких-то совершенно непонятных людей без всякого расследования обстоятельств — может быть, в итоге, очень накладно.

                                            0
                                            Может быть стоит начать подавать в суд за оскорбление чести и достоинства? Через некоторое время наберется просто база прецедентов (по крайней мере в странах с англо-саксонским правом).

                                            Поверьте — удар по наглой роже личику куда эффективнее вставляет мозг на место. Более того, что я очень сомневаюсь в перспективе таких судов на западе, поскольку там есть свобода слова. Недавно какой-то суд в США постановил, что гражданин имеет полное право обзывать полицейского, поскольку таким образом реализует свое право на свободу мнений.
                                          +4
                                          Будущее.
                                          Существует общество учёных. Оно относительно анонимно и является главным авторитетом в мире науке планеты Земля. Чтобы войти в общество необходимо предоставить научную работу, небольшие компьютерные мощности на поддержание системы, а также своё время в будущем на участие в событиях. Система занимается переводом статей на все языки. Статья подаётся в систему анонимно, т.е. рецензенты не знают кто автор. Рецензирование состоит из максимум четырёх этапов: первичная проверка на научность и уникальность (также проверка на корректность цитирования), проверка на научность членами общества специализирующимися в области, дискуссия в случае противоречий, оценка обществом вклада статьи в область знаний. Система работающая на предоставляемый мощностях честно распределяет роли рецензентов, в том числе учитывает предыдущее кол-во случаев рецензирования обоих видов, участия в дискуссиях, рейтинг члена, принадлежность к области знаний, принадлежность к определённой школе научного знания и другим. Также система является платформой для проведения дискуссий. При проведении рецензирования существует интерфейс, где есть строго заданные «доводы» для критики, а также инструмент для построение логических цепочек при критике статьи с выделением цитат из статьи. Обзоры затем сравниваются системой для выявления сходства и различия среди разных рецезентов. Если необходимо назначается дополнительное рецензирование, проводится оценка качества рецензий другими членами общества или проводится дискуссия.
                                          В системе есть несколько видов рейтинга: у статей есть рейтинг на основании оценки сообщества, по уровню цитирования, а также по уникальности вопроса. У членов все рейтинги делятся на две категории: общий и недавний. Существуют рейтинги на основе среднего и суммарного рейтинга статей, качества рецензий (и в целом участия в процессе) по версии системы и по версии проверяющих рецензии, рейтинг участия в дискуссиях. Рейтинг на основе оценки членов друг друга (у него не очень сильное влияние).
                                          Кумулятивный рейтинг члена общества влияет на то, какой приоритет у ваших статей при рецензировании и на вес члена общества при его участии в рецензировании. Весы частей рейтинга в кумулятивном постоянно медленно меняются – система пытается через него оптимизировать кол-во качественных статей. Любая следующая статья от одного и того же члена за заданный период времени получает понижение в приоритете рассмотрения. Результаты поиска по статьям в системе определяются суммарным рейтингом статьи и члена её написавшего.
                                          Оценки статей, а также друг друга членами общества, а также паттерны рецензирования, позволяют системе определить кластеры интерпретации научного знания (школы, последователей теорий) и назначать рецензентов из различных кластеров для объективности.
                                            0
                                            Зачем я вообще открыл эту ссылку?.. Бесполезность, возведенная в абсолют.

                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                            Самое читаемое