Pull to refresh
3
0
Павел @mactator

User

Send message

Первый стабильный выпуск низкоуровневого корректора раскладок в linux «xswitcher»

Reading time9 min
Views9.4K

Спустя год разработки удалось(у меня нашлась пара недель) довести до рабочего состояния задуманное в предыдущей публикации. А спустя ещё пару месяцев я пишу наконец эту статью.

В общем, ура! "Мы строили-строили и наконец построили". И оно даже работает/переключает. Причём, и в gnome3 тоже (не без помощи костыля).

Но, обо всём — по порядку.
Total votes 20: ↑19 and ↓1+24
Comments13

Реверс-инжиниринг QR-кода для доказательства вакцинации

Reading time8 min
Views31K
image

Когда Квебек объявил, что будет рассылать электронные письма с подтверждением вакцинации всем, кто был вакцинирован с помощью прикрепленного QR-кода, у меня немного подкосились колени. Мне не терпелось разобрать его на части и покачать головой из-за количества частной медицинской информации, которая, несомненно, будет раскрыта в процессе.

Наконец-то пришло мое подтверждение вакцинации, и результат… вообще-то неплохой. Тем не менее, в хаках с нулевым разглашением всегда есть какое-то удовольствие, поэтому я все равно решил написать о своем опыте в блоге.

Мое первое впечатление было: «Боже мой, это излишне большой QR-код». Под QR-кодом перечислено не так много информации, поэтому они наверняка кодируют все виды личной информации без моего ведома. Знаете, как тот штрих-код на обратной стороне ваших водительских прав.

Естественно, первое, что я сделал, — отсканировал код с помощью приложения QRcode.
Читать дальше →
Total votes 21: ↑15 and ↓6+12
Comments10

CodeSide. Новая игра для знаменитого соревнования Russian AI Cup

Reading time5 min
Views16K


Сообщество участников чемпионатов и команда Mail.ru Group в сотрудничестве с Codeforces.com приглашают вас на самую настоящую бойню, от которой вы получите бессонные ночи и мозоли на руках, поскольку будете участвовать в одном из самых живых и интересных чемпионатов по программированию искусственного интеллекта в мире — Russian AI Cup. Поверьте, что организаторы всего этого безумия продали все свои души ради создания игры, в которую вы захотите играть.

Вам будут нужны только доступ в Интернет, компьютер, голова конечно же, ну и желание ворваться в самую незаурядную тусовку. Возможно, что ещё пригодится кофе. Добро пожаловать!

Каждый год мы ломаем наши головы, чтобы придумать тему следующего соревнования. Так мы делаем уже с далёкого 2012 года. В этой статье я не буду рассказывать про предыдущие соревнования. Полезные ссылки будут в конце статьи.
Читать дальше →
Total votes 76: ↑76 and ↓0+76
Comments28

Правила эффективного общения в групповых чатах

Reading time5 min
Views108K
Групповые чаты — модный и эффективный инструмент для организации мероприятий, тематических обсуждений. Многие предпочитают чаты традиционным группам, так как часто ответ может прийти моментально, а о каждом новом сообщении возможно получать уведомление.

Будучи админом и участником многих чатов, я составил эти правила и решил поделиться ими тут для того, чтобы повысить КПД общения и снизить уровень стресса участников.

Читать правила
Total votes 75: ↑67 and ↓8+59
Comments57

Военное ведомство США должно срочно переосмыслить стратегию в области машинного обучения

Reading time2 min
Views14K
— Скажите государю, что у англичан ружья кирпичом не чистят: пусть что бы и у нас не чистили, а то, храни Бог войны, они стрелять не годятся – внятно выговорил Левша, перекрестился и умер.
Читать дальше →
Total votes 24: ↑20 and ↓4+16
Comments89

Yargy-парсер и библиотека Natasha. Извлечения структурированной информации из текстов на русском языке

Reading time12 min
Views86K
В 2020 году библиотека Natasha значительно обновилась, на Хабре опубликована статья про актуальную версию. Чтобы использовать инструменты, описанные в этом тексте, установите старую версию библиотеки pip install natasha<1 yargy<0.13.

Раздел про Yargy-парсер актуален и сейчас.


Есть стандартная задача извлечения именованных сущностей из текста (NER). На входе текст, на выходе структурированные, нормализованные объекты, например, с именами, адресами, датами:



Задача старая и хорошо изученная, для английского языка существует масса коммерческих и открытых решений: Spacy, Stanford NER, OpenNLP, NLTK, MITIE, Google Natural Language API, ParallelDots, Aylien, Rosette, TextRazor. Для русского тоже есть хорошие решения, но они в основном закрытые: DaData, Pullenti, Abbyy Infoextractor, Dictum, Eureka, Promt, RCO, AOT, Ahunter. Из открытого мне известен только Томита-парсер и свежий Deepmipt NER.

Я занимаюсь анализом данных, задача обработки текстов одна из самых частых. На практике оказывается, что, например, извлечь имена из русского текста совсем непросто. Есть готовое решение в Томита-парсере, но там неудобная интеграция с Python. Недавно появилось решение от ребят из iPavlov, но там имена не приводятся к нормальной форме. Для извлечения, например, адресов («ул. 8 Марта, д.4», «Ленинский проезд, 15») открытых решений мне не известно, есть pypostal, но он чтобы парсить адреса, а не искать их в тексте. C нестандартными задачами типа извлечения ссылок на нормативные акты («ст. 11 ГК РФ», «п. 1 ст. 6 Закона № 122-ФЗ») вообще непонятно, что делать.

Год назад Дима Веселов начал проект Natasha. С тех пор код был значительно доработан. Natasha была использована в нескольких крупных проектах. Сейчас мы готовы рассказать о ней пользователям Хабра.
Natasha — это аналог Томита-парсера для Python (Yargy-парсер) плюс набор готовых правил для извлечения имён, адресов, дат, сумм денег и других сущностей.
В статье показано, как использовать готовые правила из Natasha и, самое главное, как добавлять свои с помощью Yargy-парсера.
Читать дальше →
Total votes 87: ↑86 and ↓1+85
Comments33

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Reading time12 min
Views101K
Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Читать дальше →
Total votes 15: ↑11 and ↓4+7
Comments17

«День знаний» для ИИ: опубликован ТОП30 самых впечатляющих проектов по машинному обучению за прошедший год (v.2018)

Reading time7 min
Views34K


Чтобы выбрать ТОП 30 (только 0,3%), за прошедший год команда Mybridge сравнила почти 8800 проектов по машинному обучению с открытым исходным кодом.

Это чрезвычайно конкурентный список, и он содержит лучшие библиотеки с открытым исходным кодом для машинного обучения, наборы данных и приложения, опубликованные в период с января по декабрь 2017 года. Чтобы дать вам представление о качестве проектов, отметим, что среднее число звезд Github — 3558.

Проекты с открытым исходным кодом могут быть полезны не только ученым. Вы можете добавить что-то удивительное поверх ваших существующих проектов. Ознакомьтесь с проектами, которые вы, возможно, пропустили в прошлом году.


Осторожно, под катом много картинок и gif.
Total votes 31: ↑31 and ↓0+31
Comments4

Как я научился напрямую перезагружаться в нужную ОС через UEFI

Reading time5 min
Views84K

Добрый вечер, Habrahabr!


Сегодня мы научимся перезагружаться из Linux прямиком в Windows и обратно всего за один (двойной) клик.


image

Читать дальше →
Total votes 65: ↑61 and ↓4+57
Comments42

Как делать меньше ошибок в английском. Поясняет носитель языка

Reading time6 min
Views56K


В лингвистике существует такое понятие, как интерференция — влияние родного языка на тот, который мы изучаем. Чаще всего это попытки найти какие-то общие черты в фонетике, грамматике и лексике в родном и иностранном языках.

На начальном этапе это помогает разобраться в фонетике, но потом приходится свыкаться с большим количеством правил и исключений, которые не имеют аналогов в русском.
Мы попросили одного из самых опытных носителей английского языка в нашей школе, Трессу, рассказать о наиболее частых ошибках ее русскоязычных студентов и как их исправить. Но прежде чем перейти к самому списку, есть ряд советов от нее, чтобы количество ошибок постоянно уменьшалось:
Читать дальше →
Total votes 53: ↑49 and ↓4+45
Comments56

Математические основы биткойн-блокчейна

Reading time5 min
Views61K
Сегодня биткойн продолжает набирать популярность, а индустрия разрабатывать все новые приложения для работы с криптовалютой. Одной из причин такой популярности является строгая математическая база, на которой строится биткойн.

Благодаря этому система функционирует в условиях полного отсутствия доверия между участниками сети, исключая воздействие человеческого фактора.

Поэтому в сегодняшней статье мы бы хотели поговорить о математических основах биткойн-блокчейна — эллиптических кривых, ECDSA и ключах.

Читать дальше →
Total votes 26: ↑22 and ↓4+18
Comments23

40+ приложений технологии машинного обучения для бизнеса

Reading time6 min
Views8.7K
Перевод поста Филиппа Ходжетта, выступавшего недавно на конференции Hollywood Professional Association Tech Retreat. Надеюсь, собранный в одном месте список актуальных сервисов, готовых к интеграции в ваши проекты, и примеров работающего бизнеса на основе машинного обучения будет полезен разработчикам. Предлагаю делиться вашими собственными результатами успешного внедрения проектов, связанных с глубинным обучением.
Пытаясь определить для себя, как мы могли бы использовать машинное обучение в нашем софтовом бизнесе, я составил этот список. Я был слегка шокирован разнообразием способов использования М.О. По сообщению TechCrunch, уже вложено более 10 миллиардов долларов в 1500 стартапов, связанных с М.О. и искусственным интеллектом. В 2017 году прогнозируется увеличение этой суммы в четыре раза! Захотелось поделиться с вами этим списком...
Читать дальше →
Total votes 6: ↑5 and ↓1+4
Comments2

Джентельменский набор пакетов R для автоматизации бизнес-задач

Reading time3 min
Views14K

Продолжение предыдущих публикаций «Инструменты DataScience как альтернатива классической интеграции ИТ систем» и
«Экосистема R как инструмент для автоматизации бизнес-задач».
Настоящая статья является ответом на возникшие вопросы по пакетам R, которые полезны для реализации описанных подходов. Я ее рассматриваю исключительно как справочную информацию, и отправную точку для последующего детального изучения заинтересовавшимися, поскольку за каждым пакетом скрывается огромное пространство со своей философией и идеологией, математикой и путями развития.


Как правило, все пакеты (9109 штук на 07.09.2016) находятся в репозитории CRAN. Те, что по тем или иным причинам, пока не опубликованы в репозиторий, могут быть найдены на GitHub. Итак, кратким списком:

Читать дальше →
Total votes 21: ↑21 and ↓0+21
Comments20

Оптимизация на примере. Имитационный отжиг против муравьиного алгоритма. Часть 1

Reading time11 min
Views28K
Всем доброго времени суток. Недавно прочитал статью про имитационный отжиг на примере задачи коммивояжера. Картинка до и после оптимизации вызвала интерес. Чем-то подобные вещи заманивают.Также в комментариях заметил, что людям было бы интересно посмотреть на сравнение с другими видами оптимизации.


Читать дальше →
Total votes 44: ↑44 and ↓0+44
Comments15

Спросите Итана №71: тяжёлые планеты, лёгкое Солнце?

Reading time5 min
Views17K

Солнце почти полностью состоит из водорода и гелия, а на Земле этих элементов очень мало. Как это произошло?


Самое большое преимущество юности – это невозможность знать, что является невозможным.
— Адам Браун


Каждую неделю вы присылаете мне свои вопросы, из которых я выбираю наилучшие. Но иногда труднее всего ответить на самые простые вопросы. К примеру, посмотрите на Солнце и звёзды, а затем – на планеты. Можно было бы решить, что отличаются они лишь массой – что если сделать планету очень массивной, она станет звездой – но как вы тогда объясните простое наблюдение, сделанное Грегом Роджерсом:
Если Солнце (и все звёзды) в основном состоят из водорода и гелия, почему распределение вещества у планет отличается от них?


Распределение вещества планет не просто отличается от звёзд – оно совершенно другое.


Читать дальше →
Total votes 20: ↑20 and ↓0+20
Comments19

Спросите Итана №48: Откуда взялось космическое вращение?

Reading time3 min
Views19K
Читатель спрашивает:
Мне 44 года, и с самого детства меня интересовал следующий вопрос. От микромира до макромира, везде вокруг нас мы наблюдаем вращение – электроны вокруг ядра, луны вокруг планет, планеты вокруг звёзд, звёзды вокруг галактических центров (как я думаю). Вращаются ли вокруг чего-либо галактики? Если да, то вокруг чего? А прочтя "Спросите Итана №45", я подумал — не вращаются ли вселенные вокруг чего-либо? Можно ли это как-то узнать?


Тут сразу много вопросов, поэтому начнём с самого начала.

image

До того, как Вселенная заполнилась материей, излучением, нейтрино, тёмной материей или любыми другими частицами, она очень быстро расширялась. Энергия, содержавшаяся в ней, была присуща самому пространству-времени. Это был начальный период инфляции, который мы называем Большим взрывом, и который привел к появлению того, что мы называем нашей Вселенной. В это время происходили квантовые флюктуации, но они не могли взаимодействовать друг с другом из-за слишком быстрого расширения, несмотря на то, что происходили со скоростью света. Судя по всему, расширение было равномерным и шло во все стороны.

По окончанию инфляции присущая пространству-времени энергия преобразовалась в материю, антиматерию и излучение, и эти флюктуации привели к появлению очень плотных и очень разреженных регионов в быстро расширяющейся Вселенной.
Читать дальше →
Total votes 22: ↑18 and ↓4+14
Comments13

Сосчитать незримое: достоверно определяем словарный запаc

Reading time9 min
Views21K

В школе Skyeng мы редко обучаем английскому с нуля. Обычно к нам приходят люди, уже обладающие каким-то набором знаний, причем этот набор бывает самым разным. Для того, чтобы обучение было полезным, нам нужно как-то определить границу этих знаний. Если в случае грамматики это относительно просто (выясняется на первых занятиях с методистом), то уточнение границ словарного запаса – задача не самая тривиальная. Для ее решения мы разработали и запустили инструмент WordMash.

Читать дальше →
Total votes 28: ↑24 and ↓4+20
Comments35

Щелевая съёмка: реализация на bash (ffmpeg + imagemagick)

Reading time3 min
Views26K
Не помню что и почему я искал в интернете несколько дней назад, но я наткнулся на интересную статью с необычными фотографиями. А позже на еще одну статью, где описывалась реализация алгоритма создания таких фотографий на python. После прочтения меня заинтересовала эта тема и я решил провести вечера майских праздников с пользой для себя, а именно реализовать алгоритм «конвертирования» видео в щелевое фото. Правда, не на питоне, но подручными средствами на bash'е. Но обо всем по порядку.
Читать дальше →
Total votes 26: ↑26 and ↓0+26
Comments56

Let's Encrypt закончил бета-тестирование и выдал уже 2 миллиона сертификатов

Reading time1 min
Views10K
image

Количество HTTPS-сертификатов, выданных сервисом бесплатного автоматического получения Let's Encrypt, будто бы растёт экспоненциально: ещё в начале марта он выдал миллион регистраций, а 21 апреля их число уже достигло двух миллионов. Кроме того, сервис вышел из фазы бета-тестирования и доступен в рабочем режиме.

Руководство проекта также сообщило, что главные его спонсоры, Cisco и Akamai, продлили свою поддержку ещё на 3 года, а среди новых спонсоров — компании Gemalto, HP Enterprise, Fastly, Duda и ReliableSite.net.
Читать дальше →
Total votes 14: ↑13 and ↓1+12
Comments10

Palantir: как обнаружить ботнет

Reading time7 min
Views19K
В 2009 году китайская киберразведка на своей шкуре испытала мощь всевидящего ока Palantir. Аналитики из Information Warfare Monitor раскрыли крупные китайские разведывательные операции — Ghostnet и Shadow Network. (отчет)



«Надеюсь, что немного осталось лет до того, как человеческий мозг и вычислительные машины будут тесно связаны, а получившееся партнерство будет думать так, как человеческий мозг никогда не сможет, и обрабатывать данные способами, недоступными известным нам машинам.» Сказал Джозеф Ликлайдер 56 лет назад, стартанул кафедры информационных технологий в ведущих вузах Америки и начал строить ARPANET. — «Люди будут задавать цели, формулировать гипотезы, определять критерии и выполнять оценку. Компьютеры будут делать рутинную работу чтобы расчистить путь к открытиям в технических и научных областях».

«Взаимодополняемость человека и компьютера — не только глобальный факт. Это еще и путь к созданию успешного бизнеса. Я осознал это на собственном опыте, полученном в PayPal. В середине 2000-х наша компания, пережив крах пузыря доткомов, быстро росла, но нас тревожила одна серьезная проблема: из-за мошенничеств с кредитными картами мы теряли больше 10 миллионов долларов ежемесячно. Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отслеживать каждый из них — никакая команда контролеров не в состоянии работать с подобной скоростью. Мы поступили так, как поступила бы на нашем месте любая команда инженеров: попытались найти автоматизированное решение.»
Сказал Питер Тиль и основал Palantir.

Под катом кейс о том, как с помощью инструмента финансовой аналитики можно вскрыть ботнет.
Кейс «вымышленный», но на скриншотах фигурируют данные 2009 года.

(За помощь с переводом спасибо Ворсину Алексею)
Total votes 14: ↑12 and ↓2+10
Comments2
1
23 ...

Information

Rating
Does not participate
Date of birth
Registered
Activity