Как стать автором
Обновить
45
0
Игорь Асонов @iasonov

Data-driven подходы и решения в образовании

Отправить сообщение

Как организовать процесс А/В тестирования на коленке

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров4K

Привет, Хабр!

Меня зовут Максим Шевченко и последние два года я занимаюсь развитием платформы экспериментов в Okko, одном из ведущих онлайн-кинотеатров в России. Наша команда разрабатывает инструменты, которые позволяют продуктовым командам самостоятельно проводить А/В тесты и анализировать их результаты. Мы отвечаем за весь цикл экспериментов – от помощи в дизайне и выдаче пользователям разного опыта до предоставления рекомендаций по принятию решений.

Когда речь заходит об А/В-тестах, первыми в голову приходят статистические методы: различные параметрические или непараметрические критерии и многое другое. Но если взглянуть шире, становится понятно, что статистика – лишь часть экспериментов. Довольно важная часть, но не единственная. В контролируемых онлайн-экспериментах также важны сплитование трафика, удобное управление изменениями пользовательского опыта, обработка данных, дашборды, система мониторинга и многое другое.

В этой статье я поделюсь опытом и результатами организации процесса экспериментов в компании, где нет собственной платформы для экспериментов или она только начинает развиваться. Если в вашей компании есть собственная платформа экспериментов и вы собаку съели на A/B-тестах, я вряд ли смогу вас удивить. Всех остальных интересующихся темой милости прошу под кат.

Читать далее
Всего голосов 18: ↑17 и ↓1+21
Комментарии0

Введение в MLflow

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров5.9K

MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

Читать далее
Всего голосов 12: ↑12 и ↓0+18
Комментарии4

В 48 собесах от оффера в Гугл

Уровень сложностиСредний
Время на прочтение21 мин
Количество просмотров15K

Здравствуй, хабр! Что-то я давно не писал, отбился от рук, а ведь когда-то мы целый курс машинного обучения на Хабре вели. Расскажу про свой недавний заход по собесам, что спрашивали, какие выводы сделал. Контекст: Applied Machine Learning science (в том числе этот ваш Generative AI), Нидерланды, уровень синьор+. Я долго получал отказы, старался не унывать и в конце таки нашил лычку Staff GenAI Field Solutions Architect в Google Cloud. Тут поделюсь статистикой собесов, полезными ресурсами и, конечно, всякими советами.

Читать далее
Всего голосов 54: ↑53 и ↓1+66
Комментарии32

ChatGPT + YandexGPT API = ЛЮБОФ. Часть 1

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров16K

Сказ о том, как мы, дата-сайентист и аналитик данных, на троих с ChatGPT, без программиста и девопса, создали сервис пересказа новостей TechMix с текстом и озвучкой. ChatGPT писал код, а мы ему только поддакивали.

Авторы: Эдуард Ланчев, Илья Кузнецов, ChatGPT

Читать далее
Всего голосов 21: ↑17 и ↓4+16
Комментарии37

Лазерный DIY или как с помощью дешевого гравера делать качественные платы

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров37K


Привет, Хабр!

В этой статье хочу поделиться своей историей, как спонтанная покупка на местном маркетплейсе упростила процесс изготовления прототипов печатных плат в домашних условиях, сэкономив время, при этом повысив качество. Интересно? Тогда добро пожаловать под кат!
Читать дальше →
Всего голосов 69: ↑68 и ↓1+91
Комментарии94

А слабо сделать нормального чат-бота для банка? — challenge accepted

Время на прочтение9 мин
Количество просмотров7.5K


Сначала оказалось, что простые эвристики не работают. Ну вот совсем. То есть тупой чат-бот, который умеет распознавать с десяток жёстких тематик или показывать клавиатуру вроде «Нажмите 1, чтобы узнать свой баланс», несильно экономит время контакт-центру. Люди как не читали инструкции, так и не читают, а при виде такого сразу стремятся выйти на живого оператора.

То есть бот должен быть реально полезным. Таким, чтобы пользователь чувствовал, что диалог с ним — это не конкурс «обойти железного идиота», а что-то всё же даёт.

Здесь ждут следующие грабли: предположим, вы собрали всю базу диалогов контакт-центра с 2002 года. Разметили её и даже обучили на ней бота. Дальше произойдёт следующее:

  1. Либо актуальность этого обучения будет падать, и так же будет падать процент автоматизации. С каждым месяцем меняются тематики и запросы.
  2. Либо же вы можете переобучить модели слишком подробными выборками, которые имеют пересечения по категориям.

Речь идёт про то, что если обучать базу на всех диалогах без исключения так, как это подразумевает философия полной автоматизации, то очень быстро база начнёт забиваться откровенным мусором, снижающим точность классификации. Про это вендоры вам не скажут, но нужно либо постоянно что-то подкручивать, либо чистить выборку для обучения, либо обучать не на всех диалогах, которые закончились каким-то удовлетворительным ответом. Иначе очень быстро у вас перепутаются ответы для кредитных и дебетовых карт, например, потому, что клиенты либо путают их в своих стартовых запросах тоже, либо вообще не видят между ними разницы.

Ниже я хочу рассказать про те не совсем очевидные вещи в поддержке чат-бота, которые могут очень сильно уронить качество его работы. Ну или не дать до этого качества дорасти вообще, если архитектура не совсем правильная.
Читать дальше →
Всего голосов 28: ↑27 и ↓1+34
Комментарии31

Что может чат-бот

Время на прочтение6 мин
Количество просмотров156K
Сначала мы выделили основные офисные процессы. Про чат-бота мы даже не говорили. Вот, например, заказ командировок. Сейчас я должна написать сотруднику службы деловых поездок в почту: «Я собираюсь в командировку в Сургут 5-го числа на три дня», а он: «Такой-то самолет и такая-то гостиница — всё подходит?», а я: «Да, давай». Дальше он пойдет согласовывать с руководством, забронирует сам билеты, спустя какое-то пришлёт мне подтверждение, что все Ок. Всё то же самое может делать бот.

Или если нужна справка для визы, то бот постучит в шину, шина постучит в кадровую подсистему и заберёт PDF, дальше отправит его на принтер отдела кадров и напишет письмо, что туда нужна печать. Затем уведомит меня, что можно подойти через пару часов. Если нужно оформить пропуск на гостя или забронировать переговорку для встречи, то достаточно поручить боту эту задачу, и он её выполнит.



Теперь давайте покажу пример чуть посложнее.

Читать дальше →
Всего голосов 113: ↑107 и ↓6+101
Комментарии102

Паттерны взаимодействия с ботами в Telegram: неочевидные практики на Python и баг в мессенджере

Время на прочтение7 мин
Количество просмотров22K

Я часто взаимодействую с ботами в Telegram. Чаще как пользователь, но создать собственного бота или потрогать чужого я не боюсь. При разработке собственного решения чувствуется, что бот не похож на GUI- или веб-приложение, но программисты тщательно превозмогают это чувство и делают так, как проще с точки зрения программирования.

В этой статье я расскажу про некоторые способы взаимодействия человека и бота в личных сообщениях и группах. Текст рассчитан на тех, кто только начинает изучать тему создания ботов, но, возможно, будет полезен и профессионалам.
Читать дальше →
Всего голосов 41: ↑38 и ↓3+44
Комментарии6

С новым годом: GPT в 500 строках на SQL

Время на прочтение42 мин
Количество просмотров39K

В минувшем году все только и говорили об ИИ и о том, как он может всё за вас сделать.

Мне нравится, когда кто-то или что-то работает за меня. Поэтому решил: попрошу-ка ChatGPT написать за меня новогодний пост:

«Эй, ChatGPT. А ты можешь реализовать большую языковую модель на SQL?»
«Нет, SQL не подходит для реализации больших языковых моделей. Язык SQL предназначен для выполнения запросов к данным, хранящимся в РСУБД и для управления этими запросами. Для реализации большой языковой модели требуются сложные алгоритмы, обширные датасеты, а зачастую — и фреймворки для глубокого обучения. SQL всеми этими возможностями не обладает.»

Что ж, лишний раз убеждаешься, что, если хочешь что‑то сделать хорошо – сделай это сам.

Давайте же воодушевимся этим оптимистическим планом и реализуем большую языковую модель на языке SQL.

Читать далее
Всего голосов 179: ↑175 и ↓4+205
Комментарии21

Ультимативное сравнение embedded платформ для AI

Время на прочтение22 мин
Количество просмотров25K
Нейронные сеточки захватывают мир. Они считают посетителей, контролируют качество, ведут статистику и оценивают безопасность. Куча стартапов, использование в промышленности.
Замечательные фреймворки. Что PyTorch, что второй TensorFlow. Всё становиться удобнее и удобнее, проще и проще…
Но есть одна тёмная сторона. Про неё стараются молчать. Там нет ничего радостного, только тьма и отчаяние. Каждый раз когда видишь позитивную статью — грустно вздыхаешь, так как понимаешь что просто человек что-то не понял. Или скрыл.
Давайте поговорим про продакшн на embedded-устройствах.

Всего голосов 43: ↑43 и ↓0+43
Комментарии57

Оконные функции SQL простым языком с примерами

Время на прочтение4 мин
Количество просмотров526K

Привет всем!

Сразу хочется отметить, что данная статья написана исключительно для людей, начинающих свое путь в изучении SQL и оконных функций. Здесь могут быть не разобраны сложные применения функций и могут не использоваться сложные формулировки определений - все написано максимально простым языком для базового понимания. 

P.S. Если автор что-то не разобрал и не написал, значит он посчитал это не обязательным в рамках этой статьи))) 

Для примеров будем использовать небольшую таблицу, которая показывает оценки учеников по разным предметам. В БД табличка выглядит следующим образом

Читать далее
Всего голосов 49: ↑46 и ↓3+58
Комментарии16

Когда стоит заменить A/B-тестирование сэмплированием Томпсона

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.9K

Какую рекламу показать пользователю, красную или синюю?

Представьте, что вам нужно выбрать один из двух баннеров: красный или синий. Разумеется, вам бы хотелось показывать пользователю рекламу с наибольшим откликом.

Но как узнать, какой из баннеров имеет наибольший уровень кликабельности?

Чаще всего для ответа на этот вопрос используется A/B-тестирование. Группа пользователей разделяется пополам, и первой части показывают один баннер, а второй — другой. После этого можно вычислить уровень кликабельности и выбрать лучший из вариантов.

Предположим, что в конце A/B-тестирования у вас получились следующие результаты:

Читать далее
Всего голосов 8: ↑7 и ↓1+10
Комментарии2

Подробности о платформе Genuino 101

Время на прочтение5 мин
Количество просмотров23K
Если вы занимаетесь разработкой для интернета вещей, очень важно выбрать платформу, которая наилучшим образом соответствовала бы нуждам проекта. Для того, чтобы это сделать, нужно знать о возможностях и особенностях различных платформ. Сегодня мы раскроем некоторые важные подробности о плате Genuino 101. Сначала сравним её с Arduino UNO, задав, таким образом, отправную точку для анализа возможностей Genuino 101. А затем подробнее рассмотрим особенности Genuino 101.

Сравнение Genuino 101 и Arduino UNO


В Arduino UNO применяется модуль Atmel ATmega328P, Genuino 101 использует экономичный модуль Intel Curie с Intel Quark SE SoC. UNO питается от 5 В, а Genuino 101 – от 3.3 В, хотя устройство нормально переносит напряжение 5 В на разъёмах ввода-вывода. В Genuino 101 имеется встроенный модуль Bluetooth Low Energy и 6-осевой комбинированный датчик с акселерометром и гироскопом. У Arduino UNO таких встроенных компонентов нет. Платы обеих платформ аналогичны по размерам и схеме расположения выводов.


Платы Genuino 101 и Arduino UNO

В таблице ниже приведено сопоставление ключевых характеристик рассматриваемых платформ.
Читать дальше →
Всего голосов 19: ↑15 и ↓4+11
Комментарии30

Самый роскошный радиоконструктор с Али

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров61K


Вы бы хотели собрать своими руками девятидиапазонный супергетеродинный радиоприёмник с верньером, в прочном красивом корпусе с решёткой громкоговорителя из перфолиста, с отсеками для пальчиковых батареек AA и литиевого аккумулятора BL-5C и даже с функцией неплохого светодиодного фонарика?

Если вы имеете минимальный опыт пайки электронных компонентов поверхностного монтажа, то этот радиоконструктор на основе легендарной микросхемы 2003 вас очень порадует.

Вы спросите, разве на усилителе мощности звуковой частоты TDA2003 или UTC2003 можно построить серьёзный радиоприёмник? Или, может быть, на ULN2003, которую многие привыкли называть «драйвером шагового двигателя», тогда как на самом деле это сборка из семи дарлингтоновых пар?

Сегодня пойдёт речь и о них, и о CD2003 (TA2003) — одной из самых удачных аналоговых микросхем для АМ/ЧМ радио.
Читать дальше →
Всего голосов 31: ↑28 и ↓3+35
Комментарии53

Я бы не жил в Сочи в этих местах…

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров30K

В этот раз спустимся южнее, в городской округ Сочи и Сириус! Найдем места где могут быть проблемы из-за близости к жилью не самых лучших мест для уютной жизни на побережье Черного Моря и в горах у Красной Поляны.

Курортный город на побережье Черного моря, который известен своим уникальным сочетанием природных красот и мягкого климата. Также город известен некоторыми риэлторами, пытающимися впарить втридорога неликвид. С тысячами мемов про них в соцсетях.

Читать далее
Всего голосов 33: ↑31 и ↓2+39
Комментарии78

Каким способом я оцениваю себя на рынке труда как разработчика?

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров5.6K

Привет, я разработчик со стажем 6+ лет. Я успел поработать в 5 разных компаниях, как разработчиком, так и тимлидом (менеджером?), а также пробовал создать свою компанию с небольшим количеством разработчиков. В этой статье я бы хотел поделиться с вами мыслями о своем субъективном опыте формирования зарплатных ожиданий, какие ресурсы с информацией я использую для оценки, а также попробовать ответить на вопрос: “Так сколько же мне в итоге просить денег?!”

Читать далее
Всего голосов 16: ↑8 и ↓8+4
Комментарии23

Сколько стоит умный дом? Рассказываю, как строил свой и что получилось за 1000 руб./м²

Уровень сложностиПростой
Время на прочтение25 мин
Количество просмотров98K

Подробный рассказ о том, как я свой дом и сад сделал умными. С фото, техническими деталями, стоимостями и выводами на будущее.

Читать
Всего голосов 246: ↑244 и ↓2+296
Комментарии296

Вы не умеете играть в Героев 3: 13 карт S-размера, которые вы не пройдете за вечер

Время на прочтение11 мин
Количество просмотров62K

Впервые Герои появились в моей жизни лет в 7. Как сейчас помню, зимние каникулы, тётя, старше меня на 16 лет (невероятно взрослая и крутая, слушает Металлику, у нее даже есть косуха), запускает с диска «Герои Меча и Магии III: Полное собрание». Я в предвкушении устраиваюсь сзади на диване, впереди лучшие часы для нас двоих. Для меня Геройский стрим (поиграть меня пустят только через пару лет), а для неё — несколько часов тишины.

За последние 15 лет моя игра в «Герои» не сильно менялась. Ну, сложность повыше, ну, компов побольше. Те же автосгенерированные карты, только сбоку. Если нападать, то на армию не сильно больше моей. Если магия, то жахнуть от души «Цепью молний», на крайний случай «Армагеддон», (если Черные Драконы есть). Но смысл один: строим Ратушу, захватываем Лесопилку, подбираем сундучок, скупаем прирост, отвоёвываем замок у компа. Приелось.

Сразу скачивать карту XXL-убийцу самооценки было стрёмно, а узнать, как играют тру-пацаны — интересно. Оказалось, некоторые картоделы давно уже создают карты-пазлы, с боями на подумать знание поведения ИИ, с использованием багов игры или просто на хитрую логистику. Таких карт-загадок меньше и они не очень популярны, но я нашла 13 шедевров Heroes Might and Magic III S-размера. (Будет очень много скриншотов).

Я веду ламповый Telegram-канал GameDEVils и блог на Substack . Заглядывайте в гости, я делюсь там материалами про геймдизайн, разработку и историю игр ^__^
Читать дальше →
Всего голосов 187: ↑178 и ↓9+220
Комментарии106

Большой список научно-фантастических сериалов

Время на прочтение20 мин
Количество просмотров435K
image
Кадр из заставки сериала «Грань»

Предисловие

На Geektimes и Habrahabr уже были статьи со списком Sci-Fi сериалов (Фантастические сериалы — обзор от фаната, Фантастические сериалы и др.). Но все они либо содержали достаточно мало сериалов и/или поверхностную информацию о них самих, либо были предвзяты в отношении тех или иных сериалов.

В данной публикации я постараюсь предоставить большой список научно-фантастических сериалов. А благодаря голосованию — узнать какие сериалы на самом деле нравятся пользователям Geektimes.
Читать дальше →
Всего голосов 58: ↑47 и ↓11+36
Комментарии189

Разработка под Flipper Zero: быстрый старт и первое приложение

Время на прочтение19 мин
Количество просмотров30K

Итак, это случилось. Я добыл Flipper Zero в бою (ну, на самом деле мне его выдали на хакатоне), и естественно, что интереснее всего не играть в него, используя уже сделанные кем-то функции, а писать что-то новое. Примерно так же я развлекался с Pebble. Тут, кстати, все очень похоже — МК, RTOS, небольшой монохромный экранчик, си.

Поэтому давайте попробуем что-нибудь под него написать. Для начала, что-то совсем простое, чтобы освоиться с SDK, не закапываясь в отладку и сложности RTOS, но функциональное. Есть кнопки, есть экранчик, давайте напишем счетчик-кликер. Нажимаете кнопку — число увеличивается. Подойдет считать посетителей, круги на стадионе, взломанные домофоны или сообщения в чате русскоязычного комьюнити флиппера (по утрам, в особенно активное время там их бывает до 2к, так что я бы на вашем месте подумал, прежде чем нажимать кнопку Join).

Читать далее
Всего голосов 88: ↑85 и ↓3+112
Комментарии74
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность