Как стать автором
Обновить
3
0.1

Пользователь

Отправить сообщение

Платформа для анализа данных за вечер

Время на прочтение11 мин
Количество просмотров7.1K

Текущее состояние российского рынка аналитических и ML-решений сложно назвать стабильным. Какие-то инструменты более недоступны, а на их место регулярно приходят новые. Причем не только вендорские, но еще и open source, а также облачные сервисы.

Инструменты «из коробки» не всегда подходят для решения всех необходимых задач. Какие-то слишком сложны для базовой аналитики, другие стоят больших денег, третьи заточены под определенный тип данных или более узкие задачи.

Один из набирающих популярность вариантов — собрать собственное решение, можно сказать, небольшую платформу данных. Варианты могут быть разнообразные — от разработки софта до интеграции готовых open source-элементов. Касаться первого варианта сегодня бы не хотелось, а вот второй рассмотрим подробнее.

В статье рассказываем, как всего за час (или почти) подготовить облачное окружение, создать свою небольшую платформу для анализа данных и спарсить весь Hugging Face.
Читать дальше →
Всего голосов 34: ↑31 и ↓3+36
Комментарии0

А теперь — поподробнее про флюс

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров12K
Если вы думаете, что кариес опасен лишь некрасивой улыбкой и неприятным запахом изо рта, то глубоко ошибаетесь. Встречайте: флюс! Стоматологи немного вздрагивают от этой терминологии, но чаще всего под этим названием пациенты имеют в виду совершенно разные вещи.

image
КТ с одонтогенным гайморитом

Вот две основные:
  1. Острый периостит — воспаление надкостницы. Пациент при этом приходит с сильно асимметричным лицом из-за мощного коллатерального отёка.
  2. Хронический периодонтит со свищевым ходом, из которого что-то течёт. Посмотрите, пожалуйста, доктор! Там ещё рядом просто так обломанные корни зуба торчат, но они не беспокоят, их можно не трогать.

Я правда не люблю это слово, так как пациенты под ним имеют в виду всегда что-то своё и нередко странное.

Поэтому сегодня я буду говорить именно про то, что делать, если вы вдруг заметили, что из странного отверстия в десне течёт непонятный мутный экссудат. Хронический периодонтит со свищевым ходом возникает, если запустить кариес и его осложнения или пародонтит, но может также появиться вследствие некачественного лечения, травмы зуба или десны.

Практически всегда это заболевание инфекционной природы, сопровождающееся возникновением около верхушки корня гнойно-воспалительного процесса. Заболеваемость этой болячкой носит массовый характер, в частности, она наблюдается у 60% взрослого населения.

Сегодня я подробно расскажу, какую роль в его возникновении играют патогенные организмы и собственная иммунная система человека, какие формы принимает патология, чем опасны её осложнения и как она лечится. А также о том, что нужно сделать, чтобы с этой болезнью не столкнуться вовсе.
Читать дальше →
Всего голосов 34: ↑33 и ↓1+42
Комментарии8

Существование треугольника Шарыгина — это настоящее математическое чудо

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров169K

Сегодня я хочу рассказать про особый вид треугольников, впервые рассмотренный советским математиком Игорем Федоровичем Шарыгиным. Удивительно, что до ХХ века никто так и не обратил внимание на этот бриллиант.

Читать далее
Всего голосов 127: ↑120 и ↓7+159
Комментарии72

Альтер эго. Как создать виртуальную личность и распознать фейк

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров22K


Я люблю общаться с ботами и владельцами фейковых аккаунтов в социальных сетях. В большинстве случаев они довольно милые и относительно безобидные. Порой даже интересно угадывать, что именно они попытаются впарить мне в очередной раз: тотализаторы, БАДы, лохотрон с криптой или недвижимость в Дубае? На днях я несколько часов обстоятельно общался с одной обаятельной девушкой, пока по ряду характерных признаков не убедился в том, что этот аккаунт — тоже фейковый. Признаюсь, раскусить подделку в этот раз было непросто: создатели липовых учёток научились придавать им определённую правдоподобность. Любопытства ради я захотел разузнать, как сейчас создаются виртуальные личности, какой софт и технологии для этого используются и существуют ли способы с ходу определить, что перед тобой не живой человек, а подделка?
Читать дальше →
Всего голосов 47: ↑45 и ↓2+63
Комментарии23

Почему мой любимый API — это файл zip на сайте Европейского центрального банка

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров31K

Когда был максимальный курс доллара к евро?

Вот небольшая программа, вычисляющая это:

curl -s https://www.ecb.europa.eu/stats/eurofxref/eurofxref-hist.zip \ | gunzip \ | sqlite3 -csv ':memory:' '.import /dev/stdin stdin' \ "select Date from stdin order by USD asc limit 1;"

Результат: 2000-10-26. (Можете попробовать запустить её самостоятельно.)

Читать далее
Всего голосов 81: ↑67 и ↓14+76
Комментарии27

Nature: создан моющийся HEPA фотокаталитический фильтр со сроком службы до 20 лет

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров9.3K

Исследователи Samsung разработали  фильтр для очистки воздуха от пыли (PM) и летучих органических соединений (VOC) со сроком службы 20 лет, убирающий 95% PM и 82% VOC за проход, и моющийся при этом обычной водой почти до показателей первоначальной эффективности. Статья опубликована в престижнейшем журнале Nature Communications.

Чтобы вы понимали, сейчас чаще всего используют разные фильтры для PM и VOC. Оба этих фильтра одноразовые со сроком службы порядка полугода. По-моему, именно так и выглядит прорыв :)

Читать далее
Всего голосов 34: ↑34 и ↓0+34
Комментарии28

Почему E = mc² — это лишь половина описания происходящего

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров52K

Одним из наиболее глубоких открытий в физике стало самое известное уравнение Эйнштейна: E = mc². Проще говоря, оно гласит, что энергия равна массе объекта, умноженной на квадрат скорости света. Это простое на первый взгляд математическое соотношение таит в себе огромное количество физических смыслов, в том числе:

при наличии определённого количества энергии можно спонтанно создавать новые пары частиц материи-антиматерии, если их масса покоя меньше, чем количество энергии, необходимое для их создания,

если пара частиц материя-антиматерия аннигилирует, то при этом выделяется определённое количество энергии, определяемое массами аннигилировавшей пары частиц,

каждый раз, когда происходит ядерная реакция, будь то синтез или деление, если масса продуктов реакции меньше массы частиц, в ней участвовавших, E = mc² говорит о том, сколько энергии будет высвобождено в этой реакции.

Это уравнение, E = mc², описывает, сколько энергии присуще любой массивной частице, находящейся в состоянии покоя, включая то, сколько энергии требуется для её создания и сколько энергии выделяется при её разрушении.

Но что если частица не находится в состоянии покоя или если она вообще не имеет массы? В этих случаях E = mc² — это только половина значимого уравнения. Вторая половина гораздо интереснее и необходима для того, чтобы понять физический смысл происходящего.

Читать далее
Всего голосов 64: ↑62 и ↓2+76
Комментарии86

Где бы вы точно не жили и не остановились даже на время, если бы знали и выбирали на основе фактов

Уровень сложностиСредний
Время на прочтение31 мин
Количество просмотров21K

Где лучше жить можно выбирать как по привлекательности места, так и избегать заведомо некомфортного для вас окружения. И если привлекательность района обычно преукрашивается риэлторами, то недостатки скорее всего окажутся сюрпризом, когда начнете жить в новом месте. На сайте аренды жилья мне часто попадались квартиры "почти у метро в хорошем районе" симпатичные на фотографиях, при просмотре которых в голове крутился мотив песни "Мусорный ветер, дым из трубы" и с транспортной доступностью в реальности проблемы были не меньше.

Если из окна видна труба завода из которой валит дым "кислотного" цвета, под другим окном оживленная автотрасса/железная дорога и летом не открыть окно из-за гари и громких сигналов транспорта, рядом с этим прелестным пейзажем видны дымок от крематория и кладбище. Когда решите выйти на балкон летом, то комары напомнят что совсем рядом есть заболоченный участок. Поздравляю, вы оказались в том самом месте!!!

Что общего во всех этих факторах, кроме того что я сгустил краски StableDiffusion? В описаном примере для многих людей есть не только экологическая, но психологически дискомфортная составляющая. В студенчестве, в части диплома, связанной с экологией, были расчеты уровня шума в жилых помещениях от трассы/индустриальных объектов. Главный параметр был - расстояние по прямой от жилья.

Читать далее
Всего голосов 32: ↑32 и ↓0+32
Комментарии73

Век эгоизма

Уровень сложностиПростой
Время на прочтение1 мин
Количество просмотров8K

Этот документальный фильм стал для меня справочным пособием по маркетингу. Интервью с участниками торжества, видеохроники и реальные факты, которые я потом перепроверял по первоисточникам. Но с фильмом как с методичкой трудно работать, поэтому мои труды последнего года — это переводы научных статей, публикации лит.обзоров, расширенные в контентной части статьи по теме.

Читать далее
Всего голосов 13: ↑9 и ↓4+8
Комментарии23

Зачем устанавливать в компьютер 2 SSD-накопителя и что от этого меняется

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров62K

Привет, Хабр! Мы продолжаем цикл статей, посвященных сборке игрового ПК. Даже если вы планируете поручить это профессиональным сборщикам как в XCOM-SHOP.RU, есть ряд факторов, о которых лучше всего узнать самостоятельно, чтобы будущая сборка радовала вас как можно дольше.

Сегодня мы поговорим о твердотельных накопителях. Несмотря на то что нередко их выбор оставляют напоследок, при ответственном подходе имеет смысл заранее определиться с тем, какие SSD вы будете использовать в своей сборке и в каком количестве.

Читать далее
Всего голосов 36: ↑18 и ↓18+4
Комментарии79

Как установить Ubuntu на отдельном диске с dual boot Windows

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров39K

Всех приветствую. В свое время намучался с установкой Убунты в дуал буте с Виндой, переустановкой Винды в такой схемы, переустановкой Убунты и т.д. Недавно снова столкнулся с задачей установки Убунты в дуал буте с Виндой, решил написать краткий гайд, т.к. информация в интернете, кажется, в основном на английском языке или устаревшая. Итак, что для этого потребуется:

Установить
Всего голосов 17: ↑12 и ↓5+13
Комментарии31

Искусство ETL. Пишем собственный движок SQL на Spark [часть 1 из 5]

Уровень сложностиСложный
Время на прочтение18 мин
Количество просмотров7K

image


В данной серии статей я подробно расскажу о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

— Евдокимов, ты что, совсем уже там кукухой поехал?! При живом-то Spark SQL! Опять ты ненормальным программированием маешься, нет бы что-то полезное делал…
— Ну-ну-ну, спокойно, спокойно. Я ещё настолько не уехал, чтобы потратить целый год на страдание полной ерундой. Речь на сей раз пойдёт не о развлекухе, а о диалекте языка, специализированном для решения целого класса задач, для которых любой существующий SQL был бы, в теории, хорошим решением, если бы не несколько серьёзных «но».


Короче, у нас будет немного не такой SQL, который вы все так хорошо знаете, но и этот вариант вы полюбите, я обещаю. Тут лучше другой вопрос задать:
— Разве кому-то нужен голый SQL-ный движок?


Нет, голый — не нужен. Так рассказывать я буду о разработке настоящего production ready инструмента, с интерактивным шеллом с подсветкой синтаксиса и автодополнением, который сможет работать в клиент-серверном режиме, и не только на кластере, но и локально. Да не монолитный, а расширяемый при помощи подключаемых функций. И с автогенератором документации впридачу. Короче, всё будет совсем по-взрослому, с рейтингом M for Mature.


В каком смысле «M for Mature»?

Уровень сложности данной серии статей — высокий. Базовые понятия по ходу текста вообще не объясняются, да и продвинутые далеко не все. Поэтому, если вы не разработчик, уже знакомый с терминологией из области бигдаты и жаргоном из дата инжиниринга, данные статьи будут сложно читаться, и ещё хуже пониматься. Я предупредил.

Читать дальше →
Всего голосов 20: ↑20 и ↓0+20
Комментарии10

Windows — причина медленного интернета

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров109K

Если вы столкнулись с «особой» проблемой медленного интернета и никакие танцы с бубном вам не помогают, то это статья для вас.

Провайдер, роутер, интернет-кабели, rg-45, обжимка, cat5e, порты, драйвера, программы уменьшающие скорость, утилиты, вирусы, настройки сетевого адаптера — это не какие-то страшные слова, на самом деле это всё не причина замедления интернета. В случае, если вы прошли всю эту цепочку и ничего не изменилось, тогда читайте дальше.

В этой статье я поделюсь своим «интересным» опытом, как я искал решение проблемы и о том, что Windows можно починить и не переустанавливать.

Читать далее
Всего голосов 138: ↑132 и ↓6+155
Комментарии316

18 самых больших неразгаданных тайн в физике

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров98K

В 1900 году британский физик Лорд Кельвин, как говорят, заявил: "В физике больше нет ничего нового для открытия. Все, что остается, - это все более точные измерения". В течение трех десятилетий квантовая механика и теория относительности Эйнштейна революционизировали эту область. Сегодня ни один физик не осмелился бы утверждать, что наши физические знания о Вселенной близки к завершению. Напротив, каждое новое открытие, кажется, открывает ящик Пандоры еще более глубоких вопросов в физике. Ниже представлена выборка наиболее глубоких открытых вопросов.

Читать далее
Всего голосов 94: ↑63 и ↓31+51
Комментарии186

Проектируем самодельный 16-битный CPU в 2023 году

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров23K

Для создания самодельного CPU требуется большое количество чипов логики. И в самом деле разумно, что для реализации регистров, счётчика команд, АЛУ и других компонентов CPU на логике TTL или CMOS действительно необходимо существенное число чипов. Но сколько конкретно?

Я попытался оптимизировать свой самодельный CPU, минимизировав количество чипов логики, чтобы ответить на вопрос: какое минимальное число интегральных схем требуется для полного по Тьюрингу CPU без CPU?

Мой ответ: для создания 16-битного последовательного CPU нужно всего 8 интегральных схем, включая память и тактовый генератор. Он имеет 128 КБ SRAM, 768 КБ FLASH и его можно разгонять до 10 МГц. Он содержит только 1-битное АЛУ, однако большинство из его 52 команд работает с 16-битными значениями (последовательно). На своей максимальной скорости он исполняет примерно 12 тысяч команд в секунду (0,012 MIPS) и, среди прочего, способен выполнять потоковую передачу видео на ЖК-дисплей на основе PCD8544 (Nokia 5110) с частотой примерно 10 FPS.
Читать дальше →
Всего голосов 91: ↑90 и ↓1+120
Комментарии51

Не дадим Windows Phone умереть! Как я написал свои клиенты VK, YouTube для Nokia Lumia? Сам себе экосистема ч.2

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров18K
image

Windows Phone… услышав название этой мобильной системы, поневоле начинаешь с теплотой вспоминать своего недавнего, такого необычного мобильного друга, как будто прошло всего пару месяцев с момента смены смартфона на iPhone/Android. А ведь с момента фактической смерти Windows Phone прошло уже почти 10 лет! Увы, время вспять уже не повернуть, а мобильное подразделение Nokia не спасти, однако при наличии навыков разработки мобильных приложений, большом энтузиазме и фанатизме, есть шанс вернуть жизнь своему старому другу! Недавно я снова загорелся диким энтузиазмом и смог вернуть жизнь старенькой «люмии», написав собственные клиенты нужных мне сервисов с нуля — и готов поделиться этим с вами во всех подробностях!

Сегодня вы узнаете о моей мотивации привносить жизнь старым смартфонам, о тонкостях разработки мобильных приложений, чем Windiows Phone был на голову выше Android в техническом плане и о том, почему провал Windows Phone — одна из самых больших потерь мобильного рынка. Интересно? Тогда добро пожаловать в статью!
Читать дальше →
Всего голосов 68: ↑66 и ↓2+77
Комментарии74

Разрабатываем свой браузер. Часть вторая: CSS

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров3.7K


Всем привет!


Продолжаем цикл статей по разработке браузерного движка.


Да, лучше поздно, чем никогда. Да, перерыв был большой.


В конце статьи я опишу, как поживает проект lexbor, что с ним происходит.


В этой статье я постараюсь раскрыть особенности парсинга Cascading Style Sheets (CSS). Расскажу, как вывернуть «ежа» наизнанку и как тестировать полученный результат.


В CSS спецификациях всё разжевано, ну, или почти всё, тут я расскажу, как всё устроено, куда смотреть и с чего начать.


Эта статья больше обзорная, здесь не будет мелких подробностей реализации, скорее, общие сведения и основные алгоритмы. За мельчайшими подробностями прошу в код на GitHub.


И конечно, как это обычно бывает, мы замахнёмся на звание самого быстрого парсера CSS.

И так, начнём!
Всего голосов 11: ↑11 и ↓0+11
Комментарии1

Разрабатываем свой браузер с нуля. Часть первая: HTML

Время на прочтение15 мин
Количество просмотров60K


Всем привет!


Продолжаем цикл статей по разработке браузерного движка.


В данной статье я расскажу как создать самый быстрый HTML-парсер c DOM. Мы рассмотрим HTML спецификацию и чем она плоха относительно производительности и потребления ресурсов при разборе HTML.


С данной темой я докладывался на прошедшем HighLoad++. Конференцию не каждый может посетить, плюс в статье больше деталей.


Я предполагаю, что читатель обладает базовыми знаниями об HTML: теги, ноды, элементы, пространство имён.

И так, начнём!
Всего голосов 54: ↑51 и ↓3+48
Комментарии95

Как работает компьютер: глубокое погружение (на примере Linux)

Уровень сложностиСложный
Время на прочтение48 мин
Количество просмотров149K



Введение


Я делала много вещей с компьютерами, но в моих знаниях всегда был пробел: что конкретно происходит при запуске программы на компьютере? Я думала об этом пробеле — у меня было много низкоуровневых знаний, но не было цельной картины. Программы действительно выполняются прямо в центральном процессоре (central processing unit, CPU)? Я использовала системные вызовы (syscalls), но как они работают? Чем они являются на самом деле? Как несколько программ выполняются одновременно?


Наконец, я сломалась и начала это выяснять. Мне пришлось перелопатить тонны ресурсов разного качества и иногда противоречащих друг другу. Несколько недель исследований и почти 40 страниц заметок спустя я решила, что гораздо лучше понимаю, как работают компьютеры от запуска до выполнения программы. Я бы убила за статью, в которой объясняется все, что я узнала, поэтому я решила написать эту статью.


И, как говорится, ты по-настоящему знаешь что-то, только если можешь объяснить это другому.


Более удобный формат статьи.

Читать дальше →
Всего голосов 151: ↑151 и ↓0+151
Комментарии36

Портативная Bluetooth колонка «Ламповичок» на радиолампах 30-х годов

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров26K

Прочитав заголовок статьи, возможно, у вас возникли мысли: “Но зачем?!”, “КПД ламповых усилителей очень низкий!” или “Какой смысл подключать Bluetooth модуль к ламповому усилителю?!”и т.д. Нет никакого смысла. Устройство собирается ради устройства, развлечения ради. Я очень люблю ламповые радиоприёмники, мне нравится изучать их устройство, любоваться внешним видом и даже просто созерцать в сумерках магические огоньки за задней стенкой, излучающие тепло, уют, романтику и добрый душевный голос из громкоговорителя… Но к сожалению, в наше время возможно принимать в основном зарубежные станции и только ночью. Поэтому иногда я развлекался тем, что слушал музыку подключаясь к усилителю радиоприёмника. Так и возникла идея сделать портативную Bluetooth колонку в ретро стиле с ламповым усилителем без всяких претензий на High End.

Осторожно! Под катом много фото.

Читать далее
Всего голосов 103: ↑102 и ↓1+131
Комментарии58

Информация

В рейтинге
2 730-й
Зарегистрирован
Активность

Специализация

Application Developer, Database Developer
SQL
OOP
C#
Software development
C
Python
Algorithms and data structures