Как стать автором
Поиск
Написать публикацию
Обновить
144
0
Ярослав Сергиенко @pallada92

Визуализация данных и frontend в ИСИЭЗ НИУ ВШЭ

Отправить сообщение

XXH3: новый рекордсмен по скорости хеширования

Время на прочтение3 мин
Количество просмотров24K

Бенчмарки сделаны в программе SMHasher на Core 2 Duo 3,0 ГГц

На Хабре неоднократно рассказывали про некриптографические хеш-функции, которые на порядок быстрее криптографических. Они применяются там, где важна скорость и нет смысла применять медленные MD5 или SHA1. Например, для построения хеш-таблиц с хранением пар ключ-значение или для быстрой проверки контрольной суммы при передаче больших файлов.

Одно из самых популярных — семейство хеш-функций xxHash, которое появилось около пяти лет назад. Хотя изначально эти хеши задумывались для проверки контрольной суммы при сжатии LZ4, но их стали применять на самых разных задачах. Оно и понятно: достаточно посмотреть на таблицу вверху со сравнением производительности xxHash и некоторых других хеш-функций. В этом тесте xxHash обходит ближайшего конкурента по производительности в два раза. Новая версия XXH3 поднимает планку ещё выше.
Читать дальше →

Как Microsoft спрятала целый сервер и как его найти

Время на прочтение4 мин
Количество просмотров27K
— Видишь SSAS-суслика?
— Нет…
— И я не вижу. А он есть!

Суслик SSAS

(Кадр из к/ф «ДМБ»)

Поддержка относительно новой табличной (табулярной) модели данных, в противовес устоявшейся многомерной OLAP, встроена в целый ряд продуктов компании Microsoft. Начиная с SQL-сервера (SS) и заканчивая Excel. И если с SS всё понятно – в нём содержится отдельный сепаратный продукт SQL Server Analysis Services (SSAS). А как же решена поддержка языка DAX-запросов и прочей табулярной функциональности в Power BI, SharePoint или Excel? Поищем «суслика» на примере Power BI Desktop.
Читать дальше →

Два акселерометра, губка для посуды и четыре гайки

Время на прочтение4 мин
Количество просмотров14K

Вводная: измерение угла маятника


Итак, разобравшись с датчиками Холла для бесколлекторных двигателей, покажу для чего это было нужно. Я сделал стенд с простейшим обратным маятником, который стабилизируется при помощи маховика, вращаемого моторчиком на свободном конце маятника:


Аналитика девушек с низкой социальной ответственностью (Заряжено Power BI, Qlik Sense, Tableau)

Время на прочтение6 мин
Количество просмотров126K

Кто мы такие и какие были предпосылки проекта?


Добрый день, меня зовут Лазарев Владимир, я руководитель BI-интегратора Аналитикс Групп. Мы делаем для бизнеса наглядные отчёты по маркетингу, продажам, финансам, логистике на базе ведущих аналитических платформ Qlik Sense, Power BI, Tableau.

В BI платформах очень важна визуальная составляющая. Если вы посмотрели десятки демо-отчетов BI-систем и вам не нравится как выглядит та или иная платформа, то скорее всего вы ее не будете внедрять, даже если вас устраивает цена и технические характеристики. Исходя из этого рождается необходимость увидеть одни и те же данные в разных аналитических платформах, чтобы можно было сопоставить.

И желательно, чтобы данные были интересными… :-)

Откуда появилась идея сделать этот отчёт?


Несколько лет назад Высшая школа экономики опубликовала статью о формировании цен на услуги девушек низкой социальной ответственности в Москве. Это были агрегированные данные анализа 1.800 анкет. Нам показались интересными данные, которые стоят за этими выводами социологов ВШЭ. И мы решили проработать эту тематику.
Читать дальше →

Такой же, как на Луне: обратный инжиниринг модуля гибридного операционного усилителя

Время на прочтение10 мин
Количество просмотров19K
Недавно мне в руки попался таинственный электронный компонент в металлическом корпусе. От обычной интегральной схемы отличался внешним видом — был более плоский и по габаритнее. Что это такое и с чем его едят, стало понятно, после вскрытия и реверс-инжиниринга схемы. Передо мной был операционный усилитель, созданный для НАСА в 1960-х годах с использованием гибридной технологии. Оказывается, в разработке этого компонента принимали участие несколько значимых людей в истории развития полупроводников, а один из таких операционных усилителей находится на Луне.


Читать дальше →

Где покупать радиодетали и компоненты? Часть I: Россия

Время на прочтение4 мин
Количество просмотров176K
Давайте поговорим о покупке электронных компонентов в интернете. Я собрал список интересных отечественных и зарубежных магазинов:

а) которые заточены под любителей DIY и делают свои собственные крутые продукты: конструкторы, модули, обучающие курсы и т.д.;

б) для профи, с широкой номенклатурой электронных компонентов.

Продолжение: Часть II: зарубежные магазины

Кадр из к/ф «Иван Васильевич меняет профессию»
Продолжение

Основы Signed Distance Field в 2D

Время на прочтение17 мин
Количество просмотров17K
Хотя меши являются простейшим и наиболее универсальным способом рендеринга, существуют и другие варианты представления фигур в 2d и 3d. Одним из часто используемых способов являются поля расстояний со знаком (signed distance fields, SDF). Поля расстояний со знаком обеспечивают менее затратную трассировку лучей, позволяют разным фигурам плавно перетекать друг в друга и экономить на текстурах низкого разрешения для высококачественных изображений.

Мы начнём с генерации полей расстояний со знаком с помощью функций в двух измерениях, но позже продолжим генерировать их в 3D. Я буду использовать координаты мирового пространства, чтобы у нас была как можно меньшая зависимости от масштабирования и UV-координат, поэтому если вы не понимаете, как это работает, то изучите этот туториал по плоскому наложению, в котором объяснено, что происходит.

Читать дальше →

Как рекомендовать музыку, которую почти никто не слушал. Доклад Яндекса

Время на прочтение11 мин
Количество просмотров33K
Почти у всех рекомендательных систем есть трудности с новым или редким контентом — поскольку с ним взаимодействовала лишь незначительная часть пользователей. В своём докладе на встрече «Яндекс изнутри» Даниил Бурлаков поделился набором трюков, которые используются в рекомендациях Музыки, и подробно разобрал популярную модель Singular Value Decomposition (SVD).


Плюс у нас есть такие исполнители, которые называются композиторами и обычно проставляются правообладателями просто веером. Только у одного Моцарта было «записано» более миллиона композиций.

— Всем привет! Меня зовут Даниил Бурлаков, я руковожу командой рекомендаций в Медиасервисах. Сегодня хочу рассказать про некоторые проблемы, которые мы решаем, когда занимаемся рекомендациями в Музыке.

Неожиданная эффективность квазислучайных последовательностей

Время на прочтение22 мин
Количество просмотров24K
В этой статье я представляю новую квазислучайную последовательность с низким расхождением, обеспечивающую значительное улучшение по сравнению с современными последовательностями, например, Соболя, Нидеррайтера и т.д.


Рисунок 1. Сравнение различных квазислучайных последовательностей с низким расхождением. Заметьте, что предлагаемая мной $R$-последовательность создаёт более равномерно распределённые точки, чем все остальные методы. Более того, все остальные методы требуют тщательного подбора базовых параметров, а в случае неправильного подбора приводят к вырожденности (например справа вверху)

Рассматриваемые в статье темы

  • Последовательности с низким расхождением в одном измерении
  • Методы с низким расхождением в двух измерениях
  • Расстояние упаковки
  • Множества с многоклассовым низким расхождением
  • Квазислучайные последовательности на поверхности сферы
  • Квазипериодический тайлинг плоскости
  • Маски дизеринга в компьютерной графике

Какое-то время назад этот пост был выложен на главной странице Hacker News. Можете прочитать там его обсуждение.

Жизненный цикл статьи на Хабре: пишем хабрапарсер

Время на прочтение8 мин
Количество просмотров8.1K
Привет Хабр!

Многие постоянные читатели и авторы сайта наверное задумывались о том, какой жизненный цикл имеют опубликованные здесь статьи. И хотя интуитивно это и так более-менее ясно (очевидно например, что статья на первой странице имеет максимальное число просмотров), но сколько конкретно?



Для сбора статистики воспользуемся Python, Pandas, Matplotlib и Raspberry Pi.

Тех кому интересно, что из этого получилось, прошу под кат.
Читать дальше →

Ликбез по электротравмам (часть вторая): лонгрид о первой помощи и реанимации

Время на прочтение13 мин
Количество просмотров40K
По многочисленным просьбам, рассказываем о первой помощи при поражении электрическим током. Напомню, что мы намеренно коснулись этой темы в связи с участившимися сообщениями в СМИ об электротравмах, полученных при использовании смартфонов, наушников и др. гаджетов. В пособиях, статьях и учебниках предлагаются различные алгоритмы и методики оказания такой помощи. Это создает проблемы для людей, оказывающих помощь, которые порой не могут решить, как на самом деле правильно. Ситуация в очередной раз демонстрирует, что медицина вторая по точности наука после богословия.



При этом большинство людей хотят четко представлять “как правильно” и “как эффективно”, а не додумывать и спорить, автор какого пособия прав и чей преподаватель. Под катом вас ждёт лонгрид о первой помощи при электротравме с упором в сердечно-легочную реанимацию (с которой больше всего путаницы). Запихнуть всё в одну статью будет тяжело, поэтому в данный момент мы обойдемся первой помощью для взрослых, ещё один материал я посвящу возрастным особенностям.

Фракталы в простых числах

Время на прочтение3 мин
Количество просмотров156K


Я обнаружил этот фрактал, когда разглядывал интерференцию волн на поверхности речки. Волна движется к берегу, отражается и накладывается сама на себя. Есть ли порядок в тех узорах, которые создаются волнами? Попробуем найти его. Рассмотрим не всю волну, а только вектор ее движения. «Берега» сделаем гладкими, для простоты эксперимента.

Эксперимент можно провести на обычном листке в клеточку из школьной тетради.
Читать дальше →

Коллапс волновой функции: алгоритм, вдохновлённый квантовой механикой

Время на прочтение11 мин
Количество просмотров34K
image

Алгоритм Wave Function Collapse генерирует битовые изображения, локально подобные входному битовому изображению.

Локальное подобие означает, что

  • (C1) Каждый паттерн NxN пикселей в выходных данных должен хотя бы раз встречаться во входных данных.
  • (Слабое условие C2) Распределение паттернов NxN во входных данных должно быть подобным распределению паттернов NxN в значительно большом количестве наборов выходных данных. Другими словами, вероятность встречи определённого паттерна в выходных данных должна быть близка к плотности таких паттернов во входных данных.
Читать дальше →

Ловушка, в которую загнали себя инженеры Apple с клавиатурой MacBook Pro

Время на прочтение4 мин
Количество просмотров200K


Титана технологий и промышленных инноваций повалила одна маленькая пылинка. На прошлой неделе Apple тихо объявила, что продлевает гарантию на клавиатуру своего флагманского ноутбука на четыре года. Как оказалось, эти клавиатуры, первоначально охарактеризованные Джони Айвом как тонкие, точные и «крепкие», исключительно часто выходят из строя.

Хронология


  • Март 2015: Apple представляет клавиши системы «бабочка» на MacBook 2015 года.
  • Октябрь 2016: Apple представляет вторую версию «бабочек» на 2016 MacBook Pro. В нашем разборе отмечаем: «Клавишные колпачки немного выше по краям, так что пальцам их легче найти. Переключатели тоже чуть приподнялись».
  • Конец 2017: Поднялась волна жалоб на клавиатуру.
  • Июнь 2018: Apple объявляет о программе замены клавиатур.
Читать дальше →

Защита микросхем от реверс-инжиниринга и несанкционированного проникновения

Время на прочтение20 мин
Количество просмотров86K

“CVAX — когда вы забатите довольно воровать настоящий лучший”.
Надпись, оставленная американскими инженерами для советских коллег в топологии микропроцессора.

Реверс-инжиниринг микросхем — головная боль производителей с самых первых лет существования микроэлектроники. Вся советская электроника в какой-то момент была построена на нем, а сейчас с гораздо большим размахом тем же самым занимаются в Поднебесной, да и не только в ней. На самом деле, реверс-инжиниринг абсолютно легален в США, Евросоюзе и многих других местах, с целью (цитирую американский закон) “teaching, analyzing, or evaluating the concepts or techniques embodied in the mask work or circuitry”.

Самое частое легальное применение реверс-инжиниринга — патентные и лицензионные суды. Промышленный шпионаж тоже распространен, особенно с учетом того, что электрические схемы (особенно аналоговые) часто являются ключевой интеллектуальной собственностью и редко патентуются — как раз для того, чтобы избежать раскрытия IP и участия в патентных судах в качестве обвиняющей стороны. Разумеется, оказавшись в ситуации, когда нужно защитить свою интеллектуальную собственность, не патентуя ее, разработчики и производители стараются придумать способы предотвращения копирования своих разработок.

Другое не менее (а то и более) важное направление защиты микросхем от реверс-инжиниринга — обеспечение безопасности информации, хранимой в памяти. Такой информацией может быть как прошивка ПЛИС (то есть опять-таки интеллектуальная собственность разработчика), так и, например, пин-код от банковской карты или ключ шифрования защищенной флэшки. Чем больше ценной информации мы доверяем окружающему миру, тем важнее защищать эту информацию на всех уровнях работы обрабатывающих ее систем, и хардварный уровень — не исключение.
Читать дальше →

Реверс-инжиниринг ДНК-синтезатора

Время на прочтение3 мин
Количество просмотров23K
Буквально вчера, мне в руки попал ДНК-синтезатор. Прибор решающий обратную задачу по сравнению с ДНК секвенатором.



Причем сам этот прибор, по сути — система подачи реагентов в секвенаторе. Как только он попал ко мне в дом — был сразу же разобран. Но сначала, вкратце, как он работает.
Читать дальше →

Секвенирование ДНК в домашних условиях: как на коленке собрать прибор за 10 миллионов

Время на прочтение9 мин
Количество просмотров154K
Всем привет, меня зовут Александр Соколов, и я хочу рассказать, как сделал дома секвенатор – прибор для расшифровки ДНК. Рыночная цена такого прибора составляет около 10 миллионов рублей.

image
Читать дальше →

Unreal Engine4 — PostProcess эффект сканирования

Время на прочтение5 мин
Количество просмотров9.2K


В эти выходные у меня появилось немного свободного времени между занятиями (прим. автор на момент статьи получал степень магистра наук), и я решил вернуться к созданию шейдеров, придумав этот postprocess эффект сканирования. Я представил, что он используется в игре как своего рода эффект сканирования на расстоянии. Также мы используем некоторые простые искажения шума, чтобы эффект выглядел немного интереснее.

В этой статье я расскажу, как реализовать данный эффект на UE4. Существуют несколько способов, с помощью которых вы можете создать этот эффект. Один из этих методов был выбран мною.
Если интересно, добро пожаловать под кат

Как «цифровые археологи» обнаружили утерянную версию SimCity для NES и восстановили ее

Время на прочтение6 мин
Количество просмотров26K


Игра SimCity является даже не то, что классикой игрового мира, а одним из его столпов. Успех этого симулятора градостроительства никому не удалось повторить, хотя старались многие. Но речь сейчас не о самой игре, а об одной из ее ранних версий, прототипе, который разрабатывался для Nintendo NES. Нет, здесь нет опечатки, именно для NES, а не SNES.

Выход SimCity на Super Nintendo Entertainment System позволил игре приобрести огромную аудиторию — геймеров, предпочитавших консоль любой другой игровой платформе. 8-битная версия была анонсирована примерно в то же время, что и 16-битная, ее возможности во многом повторяли возможности «старшей сестры». Кратко об игре рассказали на CES 1991 года, но затем планы компании изменились и 8-битная версия была отменена. При этом прототип SimCity для NES уже был создан и даже существовал в виде картриджа.

Разъяснительная беседа об асинхронном программировании в Javascript

Время на прочтение15 мин
Количество просмотров20K
Привет всем!

Как вы, возможно, помните, еще в октябре у нас переводилась интересная статья о применении таймеров в Javascript. Она вызвала огромную дискуссию, по результатам которой мы давно хотели вернуться к этой теме и предложить вам подробный разбор асинхронного программирования в этом языке. Рады, что нам удалось найти достойный материал и опубликовать его еще до конца года. Приятного чтения!
Читать дальше →

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность