Pull to refresh
0
0
Алексей Савчик @ggJa

User

Send message

1. Теория информации + ML. Энтропия

Reading time9 min
Views16K

Теория Информации и Machine Learning мне видятся как интересная пара областей, глубокая связь которых часто неизвестна ML инженерам, и синергия которых раскрыта ещё не в полной мере.

Начнём с базовых понятий Энтропии, Информации в сообщении, Mutual Information, пропускной способности канала. Далее будут материалы про схожесть задач максимизации Mutual Information и минимизации Loss-а в регрессионных задачах. Затем будет часть про метрику Фишера, геодезические и градиентные методы, и их связь с гауссовскими процессами.

Читать далее
Total votes 14: ↑14 and ↓0+14
Comments1

3. Теория информации и ML. Прогноз

Reading time31 min
Views7.2K

Понятие Mutual Information (MI) связано с задачей прогноза. Собственно, задачу прогноза можно рассматривать как задачу извлечения информации о сигнале из факторов. Какая-то часть информации о сигнале содержится в факторах. И если вы напишите функцию, которая по факторам вычисляет число близкое к сигналу, то это и будет демонстрацией того, что вы смогли извлечь MI между сигналом и факторами.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments0

Сложный опыт: как мы наняли 50 человек с завода в ИТ-поддержку и по каким граблям прошлись

Reading time7 min
Views27K

Крупное производство с несколькими заводами на разных участках. Техпроцесс зависит от работы систем связи, а на них АСУ ТП и промышленное видеонаблюдение за станками и опасными участками. Если хотя бы одна рация на участке не работает — работать нельзя. Работать с СКС/ЛВС в колодцах, погружаясь на большую глубину, ремонтировать системы видеонаблюдения в строительных люльках на высоте выше 10 метров, работать под напряжением до 1000 В — всё это на заводе рутина.

На производстве есть своя команда из 50 человек, разбитая по площадкам. Условно, на каждой площадке есть несколько ролей, и они работают сменами с покрытием 24/7, то есть каждый инженер работает только процентов 10–15 времени, а остальное время дежурит удалённо и «плюёт в потолок» осуществляет проактивный мониторинг. Производство решает перейти от модели постоянных дежурств к профилактике и быстрым выездам: по их расчёту, тогда будут незакрыты только риски массовых аварий на разных площадках, а всё остальное окупается за счёт экономии при большей утилизации времени команды.

Это всё планируется отдать в аутсорсное управление интегратору, потому что сам завод умеет отлично делать свои изделия, но не является сервисной ИТ-компанией. Играется тендер, одно из условий которого — принять на 3-летний контракт старую команду, которая уже этим занималась по местам.

Мы побеждаем, принимаем старую команду, нам передают дела — и начинается жесть.

Сейчас прошло два года, и я уже могу более-менее рассказывать, почему вам никогда не стоит повторять такие незабываемые приключения.

Читать далее
Total votes 61: ↑55 and ↓6+49
Comments149

Антиматерия и бариогенезис. Три причины, почему нет антивещества, но есть мы

Reading time13 min
Views13K

Изучая окружающий мир мы пришли к выводу, что вещество состоит из частиц, которые можно описать с помощью некоторой теории. Но с помощью этой же теории можно предсказать частицы с совершенно противоположными свойствами, и они должны существовать в нашем мире. Но почему мы не видим их? Потому что их нет. В статье я расскажу о трёх причинах, почему это так.

Читать далее
Total votes 37: ↑37 and ↓0+37
Comments12

Как правильно имитировать Agile?

Reading time15 min
Views35K

Подобная статья должна была появиться раньше, лет десять или пятнадцать назад, когда Agile только начинал внедряться в ИТ-компаниях. Сколько можно бы было избежать ошибок, проблем, конфликтов, , если бы менеджеры сразу подходили к вопросу правильно, не отвлекаясь на лишние действия …

Зато за это время накопился опыт "внедрений" Agile в разных условиях, в разных компаниях, который следует обобщить и повсеместно распространять.

Читать далее
Total votes 92: ↑89 and ↓3+86
Comments40

Пять лучших киберпанк-аниме

Reading time7 min
Views80K

Очень скоро киберпанк как жанр отметит своё сорокалетие. Почему он появился именно в США начала 80-х, и почему при этом с первых дней стал настолько «японским» – мы уже говорили . Как он породил целую группу жанров, и сам понемногу из актуальных размышлений о будущем стал формой ретрофутуризма – тоже.

И всё же в обоих этих статьях огромный массив японского киберпанка лишь упоминался. А ведь он во многих отношениях даже больше и значимее, чем на родине жанра, в США. Киберпанк не просто так получил массу японских черт ещё у американских авторов. Сами японцы уже в 80-е буквально влюбились в новый жанр, и принялись в нём активно работать. Однако если киберпанк в США – это преимущественно фильмы и книги, то в стране Восходящего Солнца его основными воплощениями стали манга и аниме, комиксы и мультипликация с японской спецификой.


За сорок прошедших с начала 80-х лет японцы сделали десятки, если не сотни, аниме-произведений в жанре киберпанка. И некоторые из них прочно вошли в золотой фонд жанра. Списков топ-10 и так далее в сети хватает – но многие из них крайне поверхностны, кратки и написаны «для галочки» без особого вникания в предмет.
Так что почему бы не попробовать сделать свой вариант, копнув чуть глубже?
Total votes 90: ↑83 and ↓7+76
Comments126

New IP — следующий этап развития Интернета или ужесточение контроля над пользователями

Reading time10 min
Views54K
image

В Китае жизнь превратилась в компьютерную игру. Или даже в эпизод «Черного зеркала». Там с 01.01.2021 принят новый гражданский кодекс, официально узаконивший «Систему социального кредита». Теперь каждому гражданину присваивается стартовый рейтинг в 1000 баллов. Благодаря вездесущим камерам видеонаблюдения, Единый информационный центр анализирует каждого по 160 тысячам различных параметров из 142 учреждений. Если рейтинг больше 1050 баллов, то это образцовый гражданин и маркируется индексом ААА. С 1000 баллов можно рассчитывать на А+, а с 900 – на B. Если рейтинг упал ниже 849 – это уже «мутная личность» из категории C, кого запросто могут уволить из государственных и муниципальных структур. Те, у кого меньше 600 баллов попадают в группу D, это сравнимо с «чёрной меткой». Люди с рейтингом D не могут устроиться на нормальную работу, им не дают кредиты, не продают билеты на транспорт и даже могут отказать в аренде велосипеда. Для сравнения, человеку с рейтингом А+ велосипед в аренду дадут бесплатно и еще разрешат полчаса кататься на нем без единого юаня. Человек со средним рейтингом С велосипед дадут только под залог в 200 юаней.

В Китае аналогичный принцип ранжирования людей применяют и в Интернете. А компания Huawei решила пойти дальше и разработала новый стек протоколов, с которым провайдеры могут блокировать доступ в Сеть любого пользователя с низким рейтингом.

Читать дальше →
Total votes 58: ↑51 and ↓7+44
Comments129

Вышли обновления ML.NET и Model Builder: что нового

Reading time2 min
Views3K
Мы рады сообщить о выходе обновлений Model Builder и ML.NET. ML.NET — это кроссплатформенная среда машинного обучения с открытым исходным кодом (Windows, Linux, macOS) для разработчиков .NET.

ML.NET предлагает Model Builder (простой инструмент пользовательского интерфейса) и интерфейс командной строки, созданные для того, чтобы упростить создание пользовательских моделей ML с использованием AutoML.

Используя ML.NET, разработчики могут задействовать свои существующие инструменты и наборы навыков для разработки и внедрения ИИ в приложения, создавая пользовательские модели машинного обучения для распространенных сценариев, таких как анализ тональности текста, рекомендации, классификация изображений и многое другое!

Читать дальше →
Total votes 5: ↑5 and ↓0+5
Comments1

Git, я хочу все отменить! Команды исправления допущенных ошибок

Reading time4 min
Views47K
image

Git — удобная, но довольно сложная система. Сложность, прежде всего, в том, что по невнимательности можно допустить ошибку, которую затем сложно или вообще невозможно исправить. Документация Git предоставляет описание множества команд, которые дают возможность исправить ошибку.

Но вся штука в том, что для исправления проблемы нужно знать точное название команды. И здесь у нас возникает типичная проблема курицы и яйца. В этой статье рассказывается о командах, которые помогают решить проблемные ситуации.
Читать дальше →
Total votes 34: ↑27 and ↓7+20
Comments20

Как не надо разрабатывать звуковые движки

Reading time5 min
Views7.2K


Программируя звук в приложениях и в играх, мне часто приходилось переписывать всю кодовую базу звуковых модулей, так как многие из них обладали либо слишком запутанной архитектурой, либо наоборот ничего не умели кроме простого проигрывания звуков.

Читать дальше →
Total votes 16: ↑16 and ↓0+16
Comments5

«Освоить F# не сложнее, чем Entity Framework или WPF»: интервью со Скоттом Влашиным

Reading time17 min
Views9.9K


Кого расспрашивать про F#, как не человека, посвятившего этому языку подробный сайт? Скотт Влашин создал ресурс «F# for Fun and Profit», знакомый многим хабравчанам: на Хабре переводили оттуда и серию статей «Функциональное мышление», и статью «Железнодорожно-ориентированное программирование».

А в ноябре он выступит в Москве на нашей конференции DotNext с докладом «The power of composition». И в преддверии этого выступления мы расспросили его про F# и вообще функциональное программирование.
Читать дальше →
Total votes 44: ↑43 and ↓1+42
Comments13

«Конференция для людей и для решения их запросов»: программный комитет DevOpsDays о том, что такое комьюнити-конференция

Reading time10 min
Views775
Третий московский DevOpsDays пройдет 7 декабря в «Технополисе». Мы ждем разработчиков, тимлидов, руководителей отделов разработки, чтобы обсудить свой опыт и новое в мире DevOps. Это не yet another конференция про DevOps, это конференция, которую сообщество организует для сообщества.

В этом посте члены программного комитета рассказали, чем DevOpsDays Moscow отличается от других конференций, что такое комьюнити-конференция и какой должна быть идеальная конференция про DevOps. Ниже все подробности.


Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments0

История и альтернативы платформы .NET

Reading time9 min
Views23K

Недавно мне повезло пообщаться с Крисом Бэйконом, который написал DotNetAnywhere (альтернативный вариант .NET Runtime), и я остроумно заметил:


… ты, наверное, один из тех немногих, кто создал собственную среду выполнения .NET, и это круто!

если исключить тех, кто на зарплате, т.е. инженеров Microsoft/Mono/Xamarin, их очень немного.



Это — перевод статьи Matt Warren (A History of .NET Runtimes). Дабы не делать повторную публикацию, оставлю as is

Total votes 65: ↑64 and ↓1+63
Comments9

Исследователи проходят ReCAPTCHA при помощи сервисов Google

Reading time3 min
Views16K


Проверки «докажи, что ты не робот» раздражают многих. Да, ReCAPTCHA и другие подобные инструменты помогают отсекать массу ботов и спамеров, но обычные пользователи теряют время и тратят нервные клетки на эти тесты. Поэтому специалисты по информационной безопасности со всего мира пытаются найти альтернативу, кроме того, некоторые специалисты учатся обходить капчу.

Ученым из Мэрилендского университета это удается лучше других. Они назвали свой метод unCaptcha, он позволяет обходить ReCAPTCHA от Google при помощи сервисов самой корпорации Google. Процент удачных попыток превышает 90%. Стоит напомнить, что ReCAPTCHA работает на тысячах сайтов, сервис популярнее многих других. Поэтому, научившись обходить его, специалисты получают обширные возможности.
Total votes 10: ↑8 and ↓2+6
Comments17

История одного эксперимента с Cython и C++ vector

Reading time7 min
Views6.7K

Одним тёплым холодным зимним вечером, хотелось согреться в офисе и проверить теорию одного коллеги, что C++ vector мог бы быстрее справиться с задачей, чем CPython list.


В компании мы разрабатываем продукты на базе Django и случилось так, что нужно было обработать один большой массив словарей. Коллега предположил, что реализация на C++ была бы гораздо быстрее, а меня не покидало чувство, что Гвидо и сообщество наверное немного круче нас в Си и возможно уже решили и обошли все подводные камни, реализовав всё гораздо быстрее.


Для проверки теории, я решил написать небольшой тестовый файл, в котором решил прогнать в цикле вставку 1М словарей одинакового содержания в массив и в vector 100 раз подряд.


Результаты хоть и были ожидаемые, но так же и внезапные.

Что же из этого вышло?
Total votes 13: ↑8 and ↓5+3
Comments29

Information

Rating
Does not participate
Date of birth
Registered
Activity