Search
Write a publication
Pull to refresh
-28
0.2

Интересуюсь природой вещей

Send message

Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда

Level of difficultyEasy
Reading time30 min
Views505K

В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!

Погнали →

На что мы обращаем внимание при расчете статистической значимости A/B-теста

Reading time11 min
Views30K
В Учи.ру мы стараемся даже небольшие улучшения выкатывать A/B-тестом, только за этот учебный год их было больше 250. A/B-тест — мощнейший инструмент тестирования изменений, без которого сложно представить нормальное развитие интернет-продукта. В то же время, несмотря на кажущуюся простоту, при проведении A/B-теста можно допустить серьёзные ошибки как на этапе дизайна эксперимента, так и при подведении итогов. В этой статье я расскажу о некоторых технических моментах проведения теста: как мы определяем срок тестирования, подводим итоги и как избегаем ошибочных результатов при досрочном завершении тестов и при тестировании сразу нескольких гипотез.

Читать дальше →

Тесты на статистическую значимость — это чудовищно ущербный инструмент

Reading time6 min
Views9.9K

Когда я участвовал в продуктовой разработке, меня страшно бесили прагматичные дизайнеры — те, что все пытались делать только на основе статистических исследований. 

Вот мне хочется, чтобы кнопка была зеленой, просто потому что мне так больше нравится. А дизайнер говорит — «неважно, АБ-тесты показали, что на кнопку поносного цвета кликают на 0,2% чаще». Господи, дружище, ты десять лет прокачивал свой вкус и опыт, чтобы что? Чтобы наш продукт напоминал птичью какашку? Но бизнес говорит — раз есть цифры, значит мы обмажем этим все.

Я понимаю, люди хотят заработать денег. Они не хотят доверять своей вкусовщине, когда речь идет про удовлетворение толпы. Но теперь я знаю, что проблема может быть не в цифрах, а в людях, которые не умеют пользоваться статистическими тестами.

На прошлой неделе у нас в подкасте был Андрей Акиньшин, кандидат физ-мат наук и специалист в области перформанс-анализа. Он рассказал нам, почему у него тоже бомбит от современной математической статистики.

Читать дальше →

Погружаемся в статистику вместе с Python. Часть 3. Тестов много, принцип один

Reading time18 min
Views32K

Доброго времени суток, уважаемые хабрадамы и хабрагоспода. В этой статье мы задраим люки нашего батискафа как можно плотнее, добавим оборотов нашему питоновскому движку и погрузимся в пучины статистики, на ту глубину, в которую уже практически не проникает солнечный свет. На этой глубине мы встретим очень много самых разных статистических тестов, проплывающих мимо нас в виде причудливых формул. Сначала нам покажется, что все они устроены по-разному, но мы попробуем докопаться до самой главной движущей силы всех этих странных существ.

О чем мне следует вас предупредить перед погружением на такую глубину? Во-первых, я предполагаю, что вы уже почитали книгу Сары Бослаф "Статистика для всех", а еще покопались в официальной документации модуля stats библиотеки SciPy. Уж простите меня за мое следующее предположение, но мне кажется, что вы скорее всего были немного ошарашены огромным количеством тестов, которые там имеются, и были ошарашены еще больше, когда поняли, что это на самом деле только верхушка айсберга. Ну, а если вы еще не столкнулись со всеми прелестями этого чудесного "пубертатного периода", то рекомендую раздобыть книгу Александра Ивановича Кобзаря "Прикладная математическая статистика. Для инженеров и научных работников". Ну, а если вы "в теме", то все равно загляните под кат, почему? Потому что изложение и интерпретация фактов порой важнее и интереснее самих фактов.

Ну что, погружаемся еще глубже?

Расчет нулевой гипотезы, на примере анализа зарплат украинских программистов

Reading time5 min
Views20K
Решил поделиться, да бы и самому не забывать, как можно использовать простые статистические инструменты для анализа данных. В качестве примера использовался анонимный опрос относительно зарплат, стажа и позиций украинских программистов за 2014 и 2019 год. (1)

Этапы анализа


  • Препроцессинг данных и предварительный анализ (кому интересно код тут)
  • Графическое представление данных. Функция плотности распределения.
  • Формулируем нулевую гипотезу (H0) (2)
  • Выбираем метрику для анализа
  • Используем метод bootstraping для формирования нового массива данных
  • Рассчитываем p-value (3) для подтверждения или опровержения гипотезы

Препроцессинг данных


После некоторых манипуляций (код тут), приводим данные в следующий вид:

# Строка здесь это отдельный результат опроса, колонки переменные.

display(data_14_1.head(), data_19_1.head())
print('Всего опрошенных программистов: \n \
      {} чел. в 14 году и {} в 19 году'.format(len(data_14_1), len(data_19_1)))


Читать дальше →

Стратификация. Как разбиение выборки повышает чувствительность A/B теста

Reading time15 min
Views50K

Всем привет! На связи команда ad-hoc аналитики X5 Tech.

Сегодня подробно обсудим применение стратификации для повышения чувствительности оценки AB экспериментов.

Читать далее

Бутстреп и А/Б тестирование

Reading time10 min
Views74K

Привет, Хабр! В этой статье разберёмся, как с помощью бутстрепа оценивать стандартное отклонение, строить доверительные интервалы и проверять гипотезы. Узнаем, когда бутстреп незаменим, и в чём его недостатки. 

Читать далее

Больше Linux-устройств, хороших и разных: портативный «наладонник» из Китая, док-станция для Librem 5 и кое-что еще

Reading time4 min
Views15K


Linux продолжает развиваться, эта ОС каждый год становится все более востребованной. Чаще всего разные дистрибутивы Linux работают в корпоративной среде, но есть, конечно, и пользовательские устройства. Их не так мало, хотя и гораздо меньше, чем девайсов на Windows, Android, iOS и т.п.

Тем не менее, производители из разных стран стараются выпускать новые модели Linux-систем для обычных пользователей. Сегодня как раз и поговорим о паре новинок, которые заслуживают внимания.
Читать дальше →

Как и где выращивают крупнейшие в мире алмазы

Reading time8 min
Views52K
Самые крупные и качественные искусственные алмазы выращивают сегодня в окрестностях Сестрорецка, по соседству с Санкт-Петербургом. О российской компании NDT и о том, как рождаются на свет лучшие друзья девушек мы расскажем в нашей сегодняшней публикации.

image
Подробнее

Создаём собственный программный 3D-движок

Reading time32 min
Views56K
image

Часть 1: точки, векторы и базовые принципы


Современные трёхмерные игровые движки, используемые в крупнейших проектах — это тонкая смесь математики и программирования. Многие программисты игр признают, что всецело понять их очень непросто. Если вам не хватает опыта (или профессионального образования, как мне), эта задача становится ещё более сложной. Я хочу познакомить вас с основами графических систем 3D-движков.

В этой части мы рассмотрим точки и векторы, а также всё интересное, что с ними связано. Если вы владеете основами алгебры (переменные и математика переменных) и информатики (основы любого объектно-ориентированного языка), то сможете разобраться в этой статье. Но учтите, некоторые из тем будут довольно сложными.
Читать дальше →

Доверять Джини или нет: вот в чем вопрос

Reading time5 min
Views7K

Коэффициент Джини (или индекс Джини), кривая Лоренца, TPR (true positive rate) и FPR (false positive rate) – одни из самых популярных атрибутов экономических задач, решаемых с помощью машинного обучения. Все они используются для оценки качества модели и, так или иначе, связаны друг с другом. Предлагаю вспомнить, как они рассчитываются.

Читать далее

Телевизоры для комфортного гейминга: 10 интересных моделей зимы 2021-2022

Reading time12 min
Views32K

Современные игры становятся всё более совершенными с точки зрения передачи качества картинки, спецэффектов и режимов отображения 3D. Однако для полного погружения в процесс свежей версии тайтлов и приставки нового поколения недостаточно. Важно, чтобы топовые настройки графики обеспечивал ещё и телевизор. Наша команда изучила актуальные модели ТВ-панелей, оценила их игровые возможности и составила подборку 10 наиболее интересных моделей.

Читать далее

Разработка игры на Unity с нуля до релиза

Level of difficultyEasy
Reading time3 min
Views18K

Приветствую, Хабр! ?

«Разработка игры с нуля до релиза» - это серии статей, где я покажу, как создать свою игру с самого нуля до публикации в Google Play и Itch.io на GNU\Linux ?

Читать далее

Первые в мире серийные лампы с солнечным спектром

Reading time4 min
Views147K
В январе 2020 года в продаже появились первые светодиодные лампы, в которых используются светодиоды Sunlike, обеспечивающие равномерный спектр без пиков и идеальную цветопередачу.



Читать дальше →

Игра мечты, которую я делаю вместе с женой (Часть 0)

Reading time3 min
Views34K

Всем привет, я инди-разработчик с относительно небольшим стажем, и я хочу рассказать вам о дебютной игре мечты, которую делаю со своей женой вот уже почти четыре месяца, а чтобы было интереснее, то начну чуть издалека...

Читать далее

9 причин использовать dataclasses в Python

Reading time8 min
Views52K

Начиная с версии 3.7 в Python представлены dataclasses (см. PEP 557), новый функционал, определяющий классы, содержащие и инкапсулирующие данные.

Недавно я начал использовать этот модуль в нескольких Data Science-проектах, и мне понравилось. Навскидку этому есть две причины:

Меньше шаблонного кода;

Лучшая читабельность и более простая поддержка кода.

Читать далее

Ярлыки, мотивы и манипуляции

Reading time4 min
Views3.3K

Программист, которому нужно всё разжевывать, который привык работать только по подробным ТЗ, кодер, не любит вникать, не участвует в процессе, не самостоятельный, неправильный код пишет, наворотил…

Консультант по какой-либо функциональности не знает бизнес и процессы, формальный подход, не способен принять решение, за него нужно всё додумывать…

Меркантильный, не болеет за проект, не любит задерживаться, не в коллективе, сам себе на уме, не дотягивает, нельзя доверить серьёзное дело…

Плохой или хороший…

Интересно посмотреть на того, кто это говорит и в каких ситуациях.

Читать далее

Как вырастить тупого ребёнка (научно обоснованные вредные советы)

Reading time7 min
Views269K

Brain of someone described as an «idiot»

Пока мир движется к занимательной евгенике и разному биохакингу, в народе о влиянии на умственное развитие ребёнка известно примерно следующее: хорошо бы найти умного партнёра, хорошо бы не бухать до и во время беременности, а потом надо отдать ребёнка во все развивашки района.

Попробуем разобрать эти верования с точки зрения доказательной медицины и пойдём от обратного.

Что мы подразумеваем под умственным развитием


Интеллект (ум) – это способность учиться, делать выводы и решать проблемы. Эти способности закладываются генетически, но развиваются благодаря внешним факторам с момента зачатия до конца жизни.

Набор генов не только определяет ваши свойства, а ещё, сильно упрощая, задаёт возможный диапазон их развития. То есть мы не можем по ДНК отличить гения от среднего, не очень умного человека, но можем влиять на развитие потенциала ребёнка посредством воздействия на генетику эпигенетическими механизмами.

Итак, начнём растить не очень умного ребёнка, пользуясь достижениями современной науки.
Читать дальше →

Как работают криптовалюты. С картинками

Reading time6 min
Views32K

Добрый день, меня зовут Павел Поляков, я Principal Engineer в каршеринг компании SHARE NOW, в Гамбурге в ?? Германии. А еще я автор телеграм канала Хороший разработчик знает, где рассказываю обо всем, что обычно знает хороший разработчик.

Сегодня я хочу поговорить про блокчейн и криптовалюты. Мы слышим про это везде, но понимаем ли мы базовые принципы их работы? Давайте разберемся. Это перевод оригинальной статьи.

Читать далее

Information

Rating
4,339-th
Location
Москва, Москва и Московская обл., Россия
Registered
Activity