Pull to refresh
94
0.4
Алексей @adeshere

Чукча не читатель! И не писатель. Чукча СЧИтатель

Send message

Всё-таки схождение к нормальному распределению происходит медленно

Level of difficultyHard
Reading time9 min
Views11K

Многие реальные данные при использовании центральной предельной теоремы (ЦПТ) не сходятся быстро, поэтому не стоит применять её слепо. В этой статье мы разберём наглядные примеры этого и познакомимся с альтернативами для ЦПТ.
Читать дальше →
Total votes 49: ↑47 and ↓2+66
Comments15

Регрессия к среднему — невидимая рука хаоса

Reading time9 min
Views11K

Что объединяет израильских лётчиков, лечение сомнительными методами и твою жизнь? Сегодня поговорим про регрессию к среднему. Это явление порождает огромное количество заблуждений везде, где мы с ним сталкиваемся, потому что наш мозг очень любит истории и не очень любит статистику. Его неправильное понимание приводит к ошибкам в политике, медицине, науке и бизнесе.

Проявить любопытство
Total votes 60: ↑60 and ↓0+60
Comments8

Настройка динамической маршрутизации на роутере OpenWrt c помощью BGP

Level of difficultyMedium
Reading time4 min
Views28K

Туториал о настройке обхода блокировок на роутере с OpenWrt с помощью BGP и сервиса https://antifilter.download/.

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments8

Производная с вещественным показателем

Level of difficultyMedium
Reading time7 min
Views13K

Этой идеей со мной поделился однокурсник по физфаку Харьковского университета Витька Середницкий на одной из общажных посиделок (читай — попоек). Были мы молоды, усердно грызли гранит науки, всерьез думали, что будем всю жизнь заниматься теоретической физикой, да и время для мечтаний на дворе было подходящее — год примерно 1989. Идея оказалась не нова, но поисследовать ее я загорелся, и вот что получилось.

Функция с достаточно хорошим поведением (я опускаю здесь математические тонкости) может быть представлена в виде ряда Фурье, разложения по синусам и косинусам:

Читать далее
Total votes 42: ↑38 and ↓4+48
Comments69

Странный мир путей файлов в Windows

Reading time6 min
Views68K

Пути файловых систем в Windows страннее, чем можно подумать. В любой производной от Unix системе пути на удивление просты: если нечто начинается с /, то это путь. Но всё совершенно иначе в Windows, которая имеет озадачивающее разнообразие схем составления пути.

Когда я реализовал функцию автозавершения пути в Fileside 1.7, мне нужно было изучить этот вопрос внимательнее, чтобы ничего не упустить. В этой статье я расскажу о своих находках.

Стоит заметить, что статья ограничивается только тем типом путей, который видит пользователь приложений Windows (обусловленный Win32 API). Под этим слоем есть ещё больше любопытного, в основном касающегося тех, кто пишет драйверы оборудования и тому подобное.
Читать дальше →
Total votes 178: ↑178 and ↓0+178
Comments100

Разбираемся в сортах USB

Level of difficultyEasy
Reading time3 min
Views18K

USB имеет богатую историю. Она началась с 1994 года когда был опубликован стандарт версии 0.7 а сегодня окружает нас везде. Его невозможно игнорировать, поэтому предлагаю немного разобраться, не углубляясь в распиновку.

Если прийти на радио рынок и попросить USB кабель — вам продавец задаст вопрос type‑c или micro? Как будто вариантов всего два. А на практике дело сложнее.

Читать далее
Total votes 10: ↑9 and ↓1+9
Comments37

Фортран: пишем параллельные программы для суперкомпьютера

Level of difficultyMedium
Reading time10 min
Views3.2K

В первой части статьи мы рассмотрели написание на современном Фортране простой программы, реализующей клеточный автомат "Жизнь", в виде классического последовательного кода (SISD), матричных операций (SIMD) и параллельных конструкций SMP (SIMD с частью функций MIMD). Сейчас мы будем рассматривать использование конструкций Фортрана для программирования массивно-параллельных архитектур (MPP), к которым, в частности, относятся современные суперкомпьютеры. Такие архитектуры реализуют классическую схему MIMD.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments38

Математическая продлёнка. Из чего сделаны Пифагоровы штаны

Level of difficultyEasy
Reading time10 min
Views7.8K

Поводом для написания этой заметки послужила новость, облетевшая мир 18 марта этого года: две школьницы из Нового Орлеана, Кальцея Джонсон и Не`Кия Джексон «впервые доказали теорему Пифагора», опираясь на теорему синусов. В России эту новость встретили с иронией и стёбом, но не бывает плохих поводов поговорить о хороших теоремах.

Одним из ключевых результатов теории категорий является осознание, что знания о каком-то объекте даёт не его «внутреняя» структура, а структура его отношений и связей с другими объектами в его категории.

В этой статье я хочу рассмотреть связи существующие между теоремой Пифагора с иными утверждениями: теоремой косинусов, теоремой синусов, евклидовостью пространства и свойствами скалярного произведения векторов. Ну, и заодно, разобрать пресловутое свежее доказательство американских школьниц, пока оно окончательно не забылось.

Читать далее
Total votes 40: ↑40 and ↓0+40
Comments8

Как устроено индексирование баз данных

Level of difficultyEasy
Reading time12 min
Views101K

Индексирование баз данных — это техника, повышающая скорость и эффективность запросов к базе данных. Она создаёт отдельную структуру данных, сопоставляющую значения в одном или нескольких столбцах таблицы с соответствующими местоположениями на физическом накопителе, что позволяет базе данных быстро находить строки по конкретному запросу без необходимости сканирования всей таблицы. Применяются разные типы индексов, однако они занимают пространство и должны обновляться при изменении данных. Важно тщательно продумывать стратегию индексирования базы данных и регулярно её оптимизировать.
Читать дальше →
Total votes 53: ↑51 and ↓2+64
Comments9

WPF: контролы лишенные внешнего вида и неразрешимая задача выбора конфигурации темплейта

Level of difficultyMedium
Reading time9 min
Views3K

Мне последнее время приходится заниматься интерфейсом приложения для анализа данных, визуальным представлением данных на разных слоях анализа, а также навигацией по слоям и по данным. Соответственно, пришлось разбираться c новомодным WPF, который продвигает концепцию реализующую возможность параллельной (независимой) работы дизайнеров, занимающихся внешним видом приложения и разработчиков, реализующих поведение приложения. Дизайнер, конечно, из меня не очень (мягко говоря), а вот с реализованной концепцией программирования внешнего вида элементов управления в приложениях, мне, кажется, удалось разобраться. Собственно, вот этим пониманием некоторых аспектов концепции я и хочу поделиться, в том числе для того, чтобы расширить это понимание по результатам критики и/или обсуждения.

Возможно, кому‑то будет интересно сравнить то, что предлагает WPF, с концепциями реализованными, например, в JavaFX.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments18

5 шагов для устранения «рунглиша» из ИТ-переводов

Level of difficultyEasy
Reading time6 min
Views8K

К моим словам прошу относиться со здоровой долей скепсиса, ибо я не нейтив-спикер, а просто ИТшный переводчик-редактор (пусть даже и с 20-летним опытом).

В последние полгода англо-русские переводы по понятным причинам практически исчезли, и по работе на проверку приходят в основном русско-английские, зачастую на «рунглише». Отмечу, что «рунглишевые» ошибки в присылаемых материалах более или менее однотипные, поэтому я и предположил, что коллегам может быть полезно, если эти ошибки кто-то разложит по полкам.

Эту памятку или «дорожную карту» я опубликовал в своем телеграм-канале несколько месяцев назад, многократно её обкатал на проектах, и убедился в ее применимости — поэтому вешаю ниже.

Шагов в этой памятке 5:

Читать далее
Total votes 29: ↑28 and ↓1+35
Comments32

Deep Fake Science, кризис воспроизводимости и откуда берутся пустые репозитории

Reading time13 min
Views60K


Я мирно сидел на семинаре, слушал доклад студента о статье с прошлого CVPR и параллельно гуглил тему.

— К достоинствам статьи можно отнести наличие исходного кода….
Пришлось вмешаться:
— Наличие чего, простите?
— Э-э-э… Исходного кода…
— Вы его смотрели? 
— Нет, но в статье указано… 
(мать-мать-мать… привычно отозвалось эхо)
ㅡ Вы ходили по ссылке?

В статье, действительно, предельно обнадеживающе написано: “The code and model are publicly available on the project page …/github.io/...”, — однако в коммите двухлетней давности по ссылке значится вдохновляющее «Код и модель скоро выложим»‎:


Ищите и обрящете, стучите и откроется… Может быть… А может быть и нет. Я бы, исходя из печального опыта, ставил на второе, поскольку ситуация в последнее время повторяется ну уж о-о-очень часто. Даже на CVPR. И это только часть проблемы! Исходники могут быть доступны, но, к примеру, только модель, без скриптов обучения. А могут быть и скрипты обучения, но за несколько месяцев с письмами к авторам не получается получить такой же результат. Или за год на другом датасете с регулярными скайп-звонками автору в США не удается воспроизвести его результат, полученный в наиболее известной лаборатории в отрасли по этой теме… Трындец какой-то.

И, судя по всему, мы пока видим лишь цветочки. В ближайшее время ситуация кардинально ухудшится. 

Кому интересно, что стало со студентом куда катится научный мир, в том числе по «вине»‎ глубокого обучения, добро пожаловать под кат!
Читать дальше →
Total votes 163: ↑162 and ↓1+222
Comments244

Travel hacking: Покупаем билеты выгодно

Reading time7 min
Views8.7K

Всем привет! Скажу честно, это статья дожидалась своего часа много времени. Попытки добавить еще материала, потом ковид и последние события не очень-то способствовали публикации советов для путешественников. Но я думаю, что эти советы могут помочь и в текущее время, когда многих хабрачитателей разбросало по всему миру.  

Ноябрь — время планирований путешествия на Новый год, как домой, так и на отдых. Покупать билеты можно по-разному. Можно потратить 250000 рублей на полет в Турцию, а можно за 7000 слетать в Таиланд. Так как новогодние перелеты часто «гибкие», можно перебирать разные варианты и системы бронирований, чтобы найти оптимальные даты и пункт назначения. И именно о последних интересностях, а также советах из моих поисков и других путешественников, кто помогал в создании этой статьи, эта статья.

Поехали!
Total votes 13: ↑10 and ↓3+9
Comments16

3. Теория информации и ML. Прогноз

Reading time31 min
Views8.6K

Понятие Mutual Information (MI) связано с задачей прогноза. Собственно, задачу прогноза можно рассматривать как задачу извлечения информации о сигнале из факторов. Какая-то часть информации о сигнале содержится в факторах. И если вы напишите функцию, которая по факторам вычисляет число близкое к сигналу, то это и будет демонстрацией того, что вы смогли извлечь MI между сигналом и факторами.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments0

Все, что вы хотели знать о времени, но боялись спросить

Reading time9 min
Views15K

С давних времен люди привязывали время к циклическим событиям, которые происходили вокруг них. Это были смена дня и ночи, времена года. В современном мире такая точность при работе со временем часто является неудовлетворительной. Но именно к такому измерению времени привыкло человечество, и, достигнув высокой точности в определении количества времени, много усилий тратит на то, чтобы увязать старые методы измерения времени к современному точному измерению. 

Из-за этого человечество усложнило работу со временем различными календарями, часовыми поясами, зимним и летним временем, не говоря о том, что у него не было однозначного понимания такого фундаментального понятия как секунда. И сейчас, даже определившись с понятием секунда, оно пытается все придуманные ранее сложности согласовать с ним.

Читать далее
Total votes 22: ↑22 and ↓0+22
Comments6

Регрессионный анализ в DataScience. Часть 2. Преобразование Бокса-Кокса. Проверка тренда и случайности

Reading time51 min
Views12K

Обзор построения и анализа линейной регрессионной модели с использованием преобразования Бокса-Кокса

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments5

Заметки о зубной эмали и зубной пасте

Reading time13 min
Views23K

В этой статье я постарался разложить некоторые интересные на мой взгляд аспекты, касающиеся зубной эмали, процессов ре- и де- минерализации, а также роли зубной пасты в этих увлекательных процессах.

Материал я собрал, изучая такие сайты, как researchgate.net, sciencedirect.com, www.ncbi.nlm.nih.gov, escholarship.org и другие. Опираясь на эти данные, я занимаюсь разработкой оптимальной рецептуры гигиенической (т.е. не лечебную) зубной пасты, стараясь добиться оптимального баланса между абразивными, антибактериальными и реминерализирующими свойствами (плюс - еще желательно позаботиться об окружающих зуб тканях).

Зачем? 1. Потому что очень интересно; 2. Потому что не хватает этого баланса в современных не лечебных продуктах (лечебные должны работать в одну цель, там совсем иная история в этом плане).

Читать далее
Total votes 47: ↑46 and ↓1+67
Comments52

1. Теория информации + ML. Энтропия

Reading time9 min
Views18K

Теория Информации и Machine Learning мне видятся как интересная пара областей, глубокая связь которых часто неизвестна ML инженерам, и синергия которых раскрыта ещё не в полной мере.

Начнём с базовых понятий Энтропии, Информации в сообщении, Mutual Information, пропускной способности канала. Далее будут материалы про схожесть задач максимизации Mutual Information и минимизации Loss-а в регрессионных задачах. Затем будет часть про метрику Фишера, геодезические и градиентные методы, и их связь с гауссовскими процессами.

Читать далее
Total votes 14: ↑14 and ↓0+14
Comments1

Заблуждения программистов о картах

Reading time12 min
Views54K


Дизайн систем быстро выявляет ошибки в восприятии закономерностей функционирования мира. Те правила, которые кажутся непреложными истинами, могут ими не оказаться.

Списки подобных заблуждений составлялись про имена или телефонные номера. Настало время карт и систем навигации.

Заблуждение 1. Форма Земли — это просто


Шар — множество точек в пространстве, удалённых от центра на расстояние не выше радиуса. Однако хотя бы из-за суточного вращения форма нашей планеты отличается от идеального шара. Планета сплюснута у полюсов и утолщена на экваторе, а также обладает рельефом и испытывает циклы приливов и отливов.
Читать дальше →
Total votes 240: ↑236 and ↓4+306
Comments114

Information

Rating
2,109-th
Location
Пущино, Москва и Московская обл., Россия
Registered
Activity