Pull to refresh
34
0
Максим Андреев @Maxim_Andreev

Инженер

Send message

Как машинное обучение помогает проекту «ЗабастКом» анализировать новости и освещать трудовые конфликты

Level of difficultyMedium
Reading time16 min
Views6.3K


В посте расскажу о моем успешном взаимодействии с некоммерческим проектом ЗабастКом, который поддерживает наемных работников в отстаивании своих трудовых прав и интересов. Моя цель была реализовать что-то похожее на ML4SG проект, где волонтеры-специалисты по анализу данных направляют свою энергию на пользу обществу. Например, применяют алгоритмы искусственного интеллекта для спасения потерявшихся людей, для мониторинга качества воздуха или для анализа новостного потока.


Для Забасткома получилось улучшить систему автоматической обработки новостей с помощью алгоритмов машинного обучения. Это привело к увеличению охвата важных событий и уменьшению ручного труда редакторов. Добавлю, что работа с ребятами была похожа на мечту любого DS специалиста: "заказчик" легко шел на контакт; присутствовала заинтересованность и неплохое понимание ML алгоритмов; некоторая продакшн-система уже функционировала; данные для обучения алгоритмов легко собирались. А под катом — поделюсь подробностями и кодом.

Читать дальше →
Total votes 54: ↑54 and ↓0+54
Comments9

Financial News Sentiment Dataset: определяем точку входа в акции по настроению новостей

Reading time5 min
Views5.8K

Набор данных Financial News Sentiment Dataset (FiNeS) содержит в себе заголовки финансовых новостей о компаниях, торгующихся на Московской и СПб биржах. Целевой переменной датасета является оценка тональности новостных заголовков в виде вещественного числа. Идеи для использования датасета: Создание трейдинговых стратегий на основе анализа тональности новостей "на лету"; Анализ новостного фона в разрезе времени (день/неделя) или в разрезе компании.

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments14

Роль водородной энергетики в мировой энергетической системе

Reading time42 min
Views9.6K

В последние десятилетия водородная энергетика испытала циклы чрезмерных ожиданий, сопровождаемых разочарованием, после всплеска интереса к ним в середине XX века. Тем не менее, как только развитые страны пошли по курсу декарбонизации энергетики, водородная энергетика получила новый приток капитала. В этой главе представлен обзор потенциальной роли водорода в обеспечении электрической и тепловой энергией людей и промышленности и оценка вероятности такого сценария. Водород хорошо себя зарекомендовал в определенных нишах, к примеру, в настоящее время уже выпускаются серийные автомобили, работающие на топливных элементах. Проблемы с дороговизной системы и её эффективностью все еще актуальны – хоть ситуация и улучшается, все еще требуется значительная модернизация технологии.

В то время как электричество сравнительно легко вырабатывать без сжигания углеводородов, благодаря освоению возобновляемых источников энергии, декарбонизировать другие сферы намного сложнее. Водородные технологии конкурируют не с традиционными способами получения электрической и тепловой энергии, а с системами декарбонизации энергетической системы: с улавливанием и хранением углерода и его оксидов, биоэнергетикой и тепловыми насосами.

Читайте о водородной энергетике
Total votes 9: ↑7 and ↓2+5
Comments37

Хочу предупредить: скорее всего, уже в этом году домены .RU можно будет продлить только через Госуслуги

Reading time4 min
Views59K
image

Нас пригласили на заседание с представителями Минцифры. Если коротко, то слухи про регистрацию национальных доменов через Госуслуги — это не слухи, и скоро будет законопроект, а затем всё идёт к тому, что будет принят и закон, который прямо устанавливает эту фичу. Сама идея использовать Госуслуги для авторизации — неплохая, если она будет опциональной, как и обсуждалось. Но похоже, что выбора не будет.

Я хочу предупредить вас как можно раньше, что, видимо, продление и регистрация доменов в зонах .RU,.РФ и .SU будет проходить только через Госуслуги.

Сейчас в зоне .RU около 5 миллионов доменов. По моей предварительной оценке, из них останется около 3 миллионов доменов в течении следующих 2 лет после принятия закона. Это скорее всего вызовет и экономические, и юридические последствия.

Приготовьтесь заранее, что вы, возможно, не сможете продлить домен автоматически.

По понятным причинам до текста законопроекта рано говорить про конкретику, техническую реализацию, особенности правоприменения и так далее, но уже можно предположить несколько сценариев развития событий. Но точно понятно, что вы как владелец домена теперь достоверно будете известны государству.
Читать дальше →
Total votes 138: ↑137 and ↓1+136
Comments289

Как писать посты в стиле Артемия Лебедева? Подробный анализ телеграм-канала и кое-что еще

Reading time9 min
Views25K


Дисклеймер номер один: 18+. В этой статье присутствует ненормативная лексика, так как автор текстов, которые мы анализируем, не стесняется в выражениях. Мы не хотим никого задеть или оскорбить чьи-то чувства, присутствие мата объясняется лишь объектом нашего исследования.

Все знают телеграм-канал Артемия Лебедева, в котором очень часто можно увидеть хлесткое матерное слово, а некоторые его посты и вовсе неоднозначны. Я и мой коллега Егор решили как следует разобраться в семантике текстов Артемия, скачали все посты телеграм-канала и проанализировали его словарный диапазон. Сегодня мы обсудим важные этапы исследования и, что самое главное, обсудим аналитические выводы о телеграм-канале Артемия Лебедева

Изначально, мы поставили перед собой следующие задачи: собрать тексты всех постов и метаинформацию о них, получить динамику подписчиков на канале, а после провести описательный и семантический анализы собранных данных. Но нам удалось сделать даже больше — в результате мы смогли обучить нейронную сеть на текстах Артемия Лебедева.
Теперь мы можем писать тексты для тг-канала Лебедева без него самого. Правда-правда.
Хотите узнать как?

Читать дальше →
Total votes 42: ↑33 and ↓9+24
Comments15

Дефицит есть, а денег не дают. Почему?

Reading time27 min
Views292K

Мы уже выяснили, что у нас есть дефицит рабочих рук во всех отраслях. На примере СССР увидели, что дефицит легко закрывается деньгами и плюшками, что сейчас и происходит в IT. Однако при дефиците рабочих рук в остальных отраслях зарплаты остаются на уровне Румынии и никак не подтягиваются. Почему?

Читать далее
Total votes 618: ↑603 and ↓15+588
Comments1205

Находим аномалии в российской статистике COVID-19

Reading time10 min
Views54K

Несмотря на рост заболеваемости covid-19 и горячих споров насчет принимаемых мер, разговоры про достоверность статистики немного поутихли. Кто-то согласен с руководством страны и считает, что с официальными данными все хорошо и они объективно описывают текущую ситуацию. Другие считают, что статистика безбожно врет и показатели, скорее всего, очень сильно занижены.

Последние часто ссылаются на совместное расследование «Медузы», «Медиазоны» и «Холода», которое утверждает, что в реестре Минздрава в 5 раз больше зарегистрированных случаев коронавируса, чем сообщается официально. Само расследование базируется на исследовании Сергея Шпилькина, который ранее с помощью статистических методов доказал фальсификации на выборах. В чем проблема этого исследования?

Читать далее
Total votes 190: ↑172 and ↓18+154
Comments394

Москва по развитию цифровых услуг опередила все города мира?

Reading time7 min
Views13K


Месяц назад большой резонанс среди российских пользователей фейсбука вызвала заметка Ивана Замесина (сооснователь и CEO компании Focus Calendar) о том, что Москва и Санкт-Петербург стали мировыми лидерами по качеству цифровых продуктов и услуг. В первую очередь имеются в виду финтех, телеком, веб-сервисы и т. д. По словам Замесина, этот факт признают многие знакомые, которые «живут на несколько стран»:

«Необанки в приложениях для нас привычная реальность. Быстрый мобильный интернет стоит $10/мес. В Москве, Питере и миллионниках продукты приезжают за 15-20 минут… Няни, уборщицы, доставка, химчистка, ремонт, любые специалисты любой компетентности — всё оцифровано, качественно и в любой бюджет. — пишет Иван, выражая комплименты российской ИТ-отрасли и отечественным инженерам. — Возьмите похожие по концентрации людей города-страны: Сингапур, Голландию, Нью-Йорк, Лос-Анджелес. Там уровень сервисов и продуктов уровня Сызрани [nothing personal]».

Что ж, давайте проверим, насколько справедливы эти тезисы. Посмотрим объективные рейтинги по некоторым пунктам.
Читать дальше →
Total votes 47: ↑40 and ↓7+33
Comments51

Дефицит специалистов не только в IT — он везде. Но денег не платят

Reading time17 min
Views198K

Когда мы писали про рост зарплат в IT, то выяснили, что они растут из-за дефицита специалистов и выравнивания значений по уровню западных зарплат. Но оказывается, что дефицит есть везде. Абсолютно везде. Не хватает учителей, врачей, строителей, металлургов, водителей, инженеров и даже курьеров. На рынке повальный дефицит специалистов, которым предлагают зарплаты на уровне Молдавии или Республики Косово.

Читать далее
Total votes 440: ↑424 and ↓16+408
Comments1017

Водород

Reading time14 min
Views52K

По революционным праздникам в СССР проводились торжественные демонстрации. Для взрослых участие нередко было обязательным. Ну а детям -- им, что ни праздник, всё в радость. Торжественная обстановка, можно помаршировать со взрослыми в стройных колоннах, покричать "ура", поразмахивать красными флажками и надувными шариками...

Шарики. Кажется, именно с них-то всё и началось.

Согласно советским открыткам, демонстрация должна была выглядеть как-то так:

Читать далее
Total votes 293: ↑289 and ↓4+285
Comments206

Краткая история компьютерных шрифтов. От Chicago до XO Fonts

Reading time7 min
Views8.4K

Пять лет назад мы в МойОфис выпустили собственный набор шрифтов XO Fonts. Сегодня в нем 11 шрифтов и 24 начертаний. Они помогают заменить иностранные проприетарные шрифты и предназначены для корректного отображения ранее созданных документов при работе на компьютерах с российскими операционными системами. Тем не менее, область применения XO Fonts не ограничена только этой задачей — благодаря открытой лицензии шрифты могут бесплатно загрузить любые пользователи и сторонние разработчики.

Специально для Хабра я подготовил статью про развитие компьютерных шрифтов с 1984 года по наши дни. Из неё вы узнаете, что такое TrueType и хинты, почему Adobe долгое время была лидером на рынке компьютерных шрифтов, что означает фраза «писать углем» и зачем в 2021 году в России был изменен ГОСТ о требованиях к оформлению документов.

Читать далее
Total votes 28: ↑27 and ↓1+26
Comments14

Расчет себестоимости производства солнечной электроэнергии для собственных нужд домохозяйства в центре Европы

Reading time8 min
Views48K
Как ответ на комментарии к цене электричества в Германии и резонному вопросу «Так доколе народ будет это терпеть?» я решил привести свой расчет в данной статье.

image

Вступление


Данный расчет я делаю уже второй раз. Первый делал пару лет назад, и следующий буду делать как только появятся обновленные данные. Он не рассчитывает на объективность, а служит только для ответа на вопрос «Есть ли смысл?»

Задача рассчитать себестоимость солнечной электроэнергии, выработанной у себя дома с учетом сегодняшних цен на оборудование и текущие сроки эксплуатации и без учета различных субсидий, «зеленых тарифов» и прочей фигни, так это все равно рано или поздно отменят, а Солнце — оно постоянно. Полученную цифру можно будет сравнить с текущей ценой электроэнергии в данном регионе и понять будут ли окупаться инвестиции в собственный ВИЭ.
Я специально учитываю только основное оборудование и не учитываю стоимость монтажных работ, проводки и т.д, так как это не должно сильно влиять, но усложняет расчет.
Читать дальше →
Total votes 52: ↑49 and ↓3+46
Comments342

35 инструментов для веб-разработчика на каждый день

Reading time4 min
Views42K

Кроме редактора кода, терминала, браузера и гита веб-разработчики пользуются вагоном и маленькой тележкой маленьких инструментов, которые выполняют какую-то одну задачу, но могут пригодиться в ежедневной работе. Предлагаем вам нашу подборку — надеемся, что что-то пригодится, а по поводу чего-то вы и вовсе скажете «А что, так можно было?».

Краткое содержание: проверка кода по стандартам, проверка вёрстки и стилей, работа с кодом, работа с графикой (SVG, фавиконки, конвертеры и сжималки), работа с текстом (типографы и конвертеры всего во всё).

Дисклеймер: подборка не претендует на полноту, но в комментариях собираем другие полезные инструменты.

Читать далее
Total votes 27: ↑25 and ↓2+23
Comments18

Как работает распознавание лиц? Разбор

Reading time4 min
Views30K
Среднестатистический человек может идентифицировать знакомое лицо в толпе с точностью 97,53%. Вы скажете, это немало и будете правы. Но это ничто по сравнению с современными алгоритмами, которые добились точности 99,8% еще в 2014 году. А в последние несколько лет они достигли практически совершенства! Современный алгоритм, использующийся в камерах видеонаблюдения в Москве способен обрабатывать 1 миллиард изображений менее чем за полсекунды с точностью близкой к 100%.


Этот алгоритм насколько крут, что уже в этом году в Московском Метро планируют ввести систему прохода по лицу — FacePay. При этом нам обещают, что система будет работать даже если человек в медицинской маске.


Как вы понимаете, жизнь уже не будет прежней. Поэтому давайте разберемся:

  • Как работают алгоритмы распознавания лиц?
  • Страшны ли эти алгоритмы на самом деле и где их применяют во благо?
  • А также поговорим какого будущего нам ждать.
Читать дальше →
Total votes 18: ↑15 and ↓3+12
Comments30

[Личный опыт] Штутгарт: город, который мечтает о русских программистах. Porsche, жилье, налоги и немецкие гопники

Reading time12 min
Views57K

Антон Костин, девелопер Ruby on Rails, переехал из Москвы, и уже почти три года живет в Штутгарте, городке с населением 630 тысяч жителей.


Он рассказал о зарплатах, особенностях юга Германии, общем уровне сервисов, знаменитой немецкой пунктуальности (которой нет), районах гопников, «холодной» цене квартир, «большой неделе» в домах, и приложении, с которым можно сэкономить 4000 евро.


Есть ли жизнь за пределами Мюнхена и Берлина? Как выглядит обычная Германия, и стоит ли там жить?




Читать дальше →
Total votes 55: ↑51 and ↓4+47
Comments374

Исследование динамических процессов в газо-гидравлическом амортизаторе

Reading time5 min
Views2.3K

В статье рассматривается практический пример анализа динамического поведения объекта, путем его моделирования в виде структурной схемы в двух программных средах математического моделирования SimulationX и SimInTech.

В статье наглядно демонстрируется, как представлять компактную гидравлическую систему в виде струкутурного набора типовых элементов (камер, поршней, пружин и т.п.), для рассчетна динамического поведения объекта.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments3

Что такое NFT на самом деле, сколько обмана может скрывать, и в каких сферах реально применим

Reading time5 min
Views120K

NFT — одна из самых обсуждаемых тем в криптосообществе, которая стала настолько популярной, что привлекла немало внимания и за его пределами.

Единственная проблема заключается в том, что очень немногие знают, что такое NFT и как это работает на самом деле.

Пришло время пролить свет на NFT и глубоко погрузиться в детали того, как они работают, и сколько обмана может быть в сфере NFT.

Публикация основана на эксклюзивном переводе статьи: «NFT Madness — What they are and what they are not. Why they're great, and why they suck» для моего telegram-канала Clawed Project

Давайте начнем.

Что такое NFT на самом деле?

Всем известна аналогия с предметами коллекционирования. К сожалению, эта аналогия в лучшем случае совершенно неадекватна, а в худшем — явно вредна.

NFT (Non Fungible Tokens, не взаимозаменяемый токен) как термин означает, что каждый цифровой токен в сети уникален. Каждый токен содержит небольшое количество данных, которые уникальны для данного токена. Вот и все. Это просто небольшие контейнеры данных, которые перемещаются по блокчейну между адресами.

Сейчас у NFT на блокчейне Ethereum есть ряд особенностей, благодаря которым именно они являются весьма популярными. Также вероятно, что в других сетях будут реализованы некоторые или все подобные функции, если они еще не реализованы.

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments1

Уголь грядущих веков: когда водород заменит ископаемые энергоносители?

Reading time11 min
Views11K


Хотя коронавирус помог человечеству снизить вредные выбросы в атмосферу в I полугодии 2020 на рекордные 9%, экологам праздновать победу рано, потому что, как говорят сантехники, «тут всю систему менять надо» — систему углеродной экономики, построенной на тотальном потреблении ископаемых энергоносителей. И если с новыми источниками мы определились (солнце и ветер), то с носителем их нестабильной энергии ещё нет. На эту роль претендует водород. В этот раз мы расскажем о его перспективах, а также о предсказании Жюля Верна, о ночном кошмаре Илона Маска, о самом большом в мире заводе «зелёного» водорода в Фукусиме и наших шансах на пенсии ездить до дачи на водородных электричках (шансы велики).
Total votes 20: ↑18 and ↓2+16
Comments50

Fediverse – социальная сеть будущего

Reading time5 min
Views22K

Свободные протоколы нынче не в тренде, потому что децентрализация невыгодна коммерческим структурам, которые борются за удержание каждого человека в своей изолированной экосистеме: пользователи Facebook и Вконтакте используют фактически схожие сервисы, но не могут общаться между собой. Кажется, мы к этому привыкли, но это же абсурд!

Принципиально ли мне или вам листать ленту YouTube в отдельном приложении, а не там же, например, где фотографии друзей или смешные картинки? Наверняка не принципиально, однако мы привыкли к модели изолированных друг от друга сервисов и не можем представить все свои социальные сети в одном окошке.

Эта статья о Fediverse: не только о децентрализованной социальной сети, но о ее духе нового подхода к интернет-медиа, которые объединяются в одну информационную платформу благодаря общему протоколу взаимодействия.

Читать
Total votes 42: ↑37 and ↓5+32
Comments49

Непостижимая гиперпродуктивность учёных

Reading time15 min
Views53K

imageИллюстрация David Parkins из статьи Nature 561, 167-169 (2018).


Научный прогресс двигается быстрее и быстрее. Новости полны пресс-релизами о перспективных разработках и об очередных взятых вершинах. Кто же они, герои эпохального подъёма? Новые гении, как Тесла, Эйнштейн или Тьюринг? Возможно ли измерить вклад гения в науку? Оказывается, да, теперь есть такая дисциплина — наукометрия. Если совсем по-простому, нынче вклад в науку измеряется числом вышедших статей. Если судить по этому показателю, существует в мире не менее сотни людей, чьи способности таковы, что они публикуют не менее одной научной работы в рабочую неделю. Пять дней — публикация в рецензируемом научном журнале. Хотите узнать секрет их креативности?

Читать дальше →
Total votes 130: ↑125 and ↓5+120
Comments301

Information

Rating
Does not participate
Location
Dresden, Sachsen, Германия
Registered
Activity