Привет! Я тут активно пытаюсь охватить разные области в сфере Data Science и решила, что было бы классно покопаться c обработкой естественного языка (NLP) на примере комментариев YouTube. Так как после работы я часто смотрю видео Саши Сулим, я задалась вопросом: "Интересно, а есть ли различия в оценке зрителями видео про маньяков в зависимости от пола!? Или нам не важно, кто был убийцей - мужчина/женщина?"

Так я пришла к тому, что могу взять задачку классификации комментариев по оценке их негативности в качестве pet-проекта. То, насколько это получилось, предлагаю оценить вам.

Техника тренировки модели на основе обратной связи от людей (RLHF) была предложена как один из способов повысить согласованность модели. Люди, при том что являются основным источником предвзятостей в данных, одновременно являются своего рода высшим авторитетом в оценке текстов на соответствие каким либо ценностям.

В серии статей мы разберем каждую часть и внутренние детали пайплайна RLHF отдельно и поймем, как сообщество пришло к этой идее. Сделаем мы через через исторический обзор подвыборки статей по теме, каждая из которых опиралась на результаты предыдущих и приносила что то важное и новое в формирование общего пайплайна.

Это первая статья цикла о LLM, Предобучении и KL‑контроле.

Привет! Меня зовут Илларион, я аспирант ИТМО и член команды, которая занимается предсказанием временных рядов, порожденных графовыми структурами, и другими исследованиями. Однако в разработке новых методов для прогнозирования есть существенное препятствие — нехватка открытых данных для обучения и тестирования моделей.

Для решения проблемы мы создали открытый инструмент Time Series Generator. Я рассказал о нем на митапе, посвященном open source-разработке для научных задач. Под катом делюсь особенностями разработанного решения и рассматриваю реализуемые им задачи.

Когда речь заходит о законах сохранения, первым на ум приходит закон сохранения энергии. Менее известны законы сохранения заряда, импульса, момента импульса и чётности. Но что такое закон сохранения информации, зачастую не могут понятно объяснить даже сами физики. О нём мало пишут в научно-популярной литературе, потому что тема запутанная и нагружена математикой. А потом популяризаторов заводят в тупик, когда спрашивают, почему информация должна сохранятся в чёрных дырах или при квантовом измерении. Рассказать об этом не на математическом, а на естественном языке практически невозможно, но я всё же попробую, используя понятийный аппарат квантовой механики и аналогии с классической информацией. Мы выясним, что такое квантовая информация, сохраняется ли она при любых операциях с частицами, или есть исключения, которые приводят к потере информации, и как это связано с фундаментальной симметрией физических процессов.

Информация – одно из самых неоднозначных и неопределённых понятий в науке и философии. Для гуманитария это любые сведения, которые можно запомнить и передать в устной или письменной форме. Для математика это абстрактная сущность, сохраняющаяся при вычислительном изоморфизме. Для физика-теоретика это набор квантовых чисел, характеризующих состояние элементарной частицы. Для программиста это цифровые данные, которые можно представить в двоичном коде и измерить в битах. Для философа-материалиста это отражение многообразия окружающего мира с помощью знаков и сигналов. Для философа-идеалиста это нематериальная, неизмеримая и нелокальная сущность, что-то связанное с духом или сознанием. Для эзотериков это некая метафизическая субстанция или информационное поле. Что же такое информация на самом деле? В данной лекции я покажу, что информация – физическая, объективная, измеряемая величина, в которой нет ничего субъективного и мистического. Заодно мы разберёмся, что такое энтропия по Шеннону, насколько избыточен естественный язык, в чём заключается принцип Ландауэра и обладает ли информация массой.

Одна из страниц его биографии известна чуть менее широко. Связана она с решением поистине чудовищно сложного для тех времен алгебраического уравнения 45-ой степени!

Сегодня я хочу рассказать Вам про известное утверждение из математического анализа, которое носит имя сразу трех знаменитых математиков 19 и 20 веков: Эмиля Бореля, Анри Лебега и Эдуарда Гейне.

Эффект наблюдателя является краеугольным камнем квантового мистицизма – популярного нынче направления эзотерики, маскирующегося под науку и распространяющего искажённые интерпретации квантовой механики. Он покушается на святое – принцип реализма, согласно которому существует объективная, независимая от сознания наблюдателя реальность. Поэтому его очень любят философы-идеалисты, экстрасенсы, мистики и представители культуры нью-эйдж. Ведь было бы так замечательно, если бы наука экспериментальным путём доказала способность человека влиять на вещественный мир силой мысли! Это сильно воодушевляет тех, кто верит в нематериальную природу сознания, управление реальностью, «секрет притяжения», телекинез и прочую магию. Ссылки на теоретическую физику придают их словам больше убедительности. Мол, официальная наука признала, что каждый из нас своими мыслями создаёт окружающую действительность. Вот только сами физики почти единогласно открещиваются от такой трактовки и наотрез отказываются признавать первичность сознания по отношению к материи. Почему же эффект наблюдателя вызывает столько противоречий: из-за его неверного понимания некоторыми популяризаторами или по причине нежелания учёных-материалистов отказываться от старой парадигмы? Давайте разберёмся.

Анимированные графики помогают представить информацию более красиво и наглядно. Matlab позволяет их создавать с помощью всего пары функций. Как это сделать, читайте в данной статье.

Я объясняю экспериментальные результаты проверки теоремы Белла супердетерминизмом. Далее я показываю, как такая Вселенная может возникнуть и быть совместимой с субъективным опытом свободы воли.

Сегодня я хочу рассказать Вам о замечательном популяризаторе математики Чарльзе Говарде Хинтоне - человеке, внесшем просто огромный вклад в дело изучения объектов четырехмерного мира.

В конце февраля 2023 года уважаемый @SLY_G опубликовал очень интересную статью, в которой обобщил некоторые нестыковки в современной фундаментальной модели Вселенной. В особенности меня заинтересовало, что, по приведённым в статье данным, не удаётся согласовать те значения скорости расширения Вселенной, которые получаются при измерениях с учётом космологической постоянной и с учётом объективного расстояния до стандартных свеч. Я обратил внимание на следующую аномалию: данные, полученные в 2001 году от космического телескопа WMAP (телескоп составлял подробную карту реликтового излучения) свидетельствовали, что реликтовый микроволновый фон не полностью изотропен, то есть, что Вселенная в инфляционную эпоху расширялась не вполне равномерно. Некоторые участки Вселенной явно «теплее» других на несколько милликельвинов – эту знаменитую тепловую карту я поставил под катом. Со временем факты в пользу такой аномалии продолжали накапливаться, пока не были в 2013 году убедительно подтверждены по наблюдениям космического телескопа «Планк», запущенного Европейским космическим агентством в 2009 году. В 2018 году группа учёных под руководством Джозефа Силка из Манчестерского университета закончила многолетний анализ данных «Планка», и по результатам этой работы было с 99%-й вероятностью установлено, что Вселенная не плоская, а обладает кривизной. Давайте рассмотрим, какие изменения в картине мира возникнут, если Вселенная не просто немного изогнута, а обладает седловидной, шарообразной или более экзотической формой.

Продолжаю знакомить вас с наработками к занятиям математического кружка. В этой статье собраны два сюжета, связанные друг с другом одной темой: математика углов и тригонометрия. Каким образом обосновываются угловые меры? Какие из них для чего более пригодны? Почему значения тригонометрических функций от рациональных долей окружности почти все иррациональны и, наоборот, почему в рациональной тригонометрии только восемь рациональных углов и те, по большей части тривиальны? Материал рассчитан на школьников, но он приоткрывает двери в большую математику, поэтому здесь появятся элементы теории чисел, теории алгебраических полей и полиномы Чебышёва.

Привет! Я Максим Рязанцев, DevOps-специалист в AGIMA. На днях GitLab выкатил новую версию — версию 15.8. Мы с коллегами внимательно ее изучили, разобрались, что нового. И теперь решили поделиться списком улучшений. Тем более, что список внушительный. Правда, самые заметные изменения в касаются только облачной Ultimate-версии. Но мы-то знает, что со временем фичи с облака мигрируют в Self-Managed-версию. Так что коротко расскажем обо всех новинках.

Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а Microsoft планирует интеграцию в поисковик Bing - чем, кстати, безумно обеспокоен СЕО Alphabet (Google) Сундар Пичаи. Настолько обеспокоен, что в своём письме-обращении к сотрудникам объявляет "Code Red" ситуацию. В то же время Сэм Альтман, CEO OpenAI - компании, разработавшей эту модель - заявляет, что полагаться на ответы ChatGPT пока не стоит.

Насколько мы действительно близки к внедрению продвинутых чат-ботов в поисковые системы, как может выглядеть новый интерфейс взаимодействия, и какие основные проблемы есть на пути интеграции? Могут ли модели сёрфить интернет бок о бок с традиционными поисковиками? На эти и многие другие вопросы постараемся ответить под катом.

Поиск решения алгебраических уравнений оказал колоссальное влияние на развитие математики. Формула решения общего кубического уравнения впервые была получена итальянскими математиками 16-го века. Это событие ставшее первопричиной рассмотрения комплексных чисел, считается одним из поворотных моментов в истории математики. Судьбы Джероламо Кардано, Никколо Тартальи, Сципиона дель Ферро и их поисков решения кубического уравнения заслуживают отдельного романа со своими интригами, скандалами и расследованиями. Столь яркие истории достаточно редки в математике. 

Начиная с 19-го века поиск формул для решения уравнений произвольных степеней положил начало теории групп и абстрактной алгебре, которые преобразили практически все разделы современной математики. Думаю, многие, кто интересовался историей и развитием алгебры, знают, что формулы для решения общего алгебраического уравнения степени выше четвертой не существует. Как сообщается, первое доказательство этого факта было дано итальянским математиком Паоло Руффини в самом конце восемнадцатого века, оно составляло около 500 страниц и все же содержало некоторые пробелы. Хотя отдельные математики, как Огюстен Коши, и признавали данное доказательство, но ввиду столь большого объема и сложности изложения, оно так и не было принято математическим сообществом. Считается, что первое полное доказательство дано норвежским математиком Нильсом Абелем и содержалось в двух работах, изданных в 1824 и 1826 годах. С тех пор оно носит название теоремы Абеля или теоремы Абеля-Руффини.