• Понимаем теорему Байеса

    • Translation
    Перевод статьи подготовлен специально для студентов базового и продвинутого курсов «Математика для Data Science».




    Теорема Байеса – одна из самых известных теорем в статистике и теории вероятности. Даже если вы не работаете с расчетами количественных показателей, вероятно, вам в какой-то момент пришлось познакомиться с этой теоремой во время подготовки к экзамену.

    P(A|B) = P(B|A) * P(A)/P(B)

    Вот так она выглядит, но что это значит и как работает? Сегодня мы это узнаем и углубимся в теорему Байеса.
    Читать дальше →
  • Как я организовал хранение фотографий

      Привет Хабр! Каждый из нас хранит какую-нибудь информацию, некоторые для этого используют секретики и лайфхаки. Лично я люблю понажимать кнопку фоторужья и сегодня хотел бы поделиться своим опытом хранения информации, к которому я шёл-шёл и пришёл.



      Сразу предупрежу: под катом нет «серебряной пули», которая умножит на 0 проблему хаоса в файлах на ваших устройствах. И даже ни строчки про нейросети, распознавание чего-либо кем-либо и прочие нанотехнологии. Под катом — немного текста и дубовая табличка, которую ещё и заполнять придётся вручную =) Но которая работает.
      Читать дальше →
    • Корпоративный цейтнот

        Атмосфера на тренинге после обеда всегда напоминала тюлений пляж. В обычной жизни, когда каждый сам регулировал объемы съеденного, такого обжорства не случалось. А здесь, когда тебе и первое, и второе, и компот подадут… И отказываться смысла нет – все оплачено.

        Люди расположились на креслах и диванах, стоявших вдоль стен, кто-то клевал носом, кто-то ковырялся в телефоне, некоторые вели ленивую беседу, даже курильщики были здесь – лень тащиться на улицу. До конца обеда еще оставалось минут пятнадцать.

        Внезапно, дверь резко открылась, и вошел – а точнее, вбежал – взволнованный, немного бледный собственник. Нельзя сказать, что на нем не было лица – оно присутствовало, но вид его сразу согнал с присутствующих послеобеденную дрему.

        — Коллеги, беда! – запыхавшись, выпалил собственник. – Срочно все в зал!
        Читать дальше →
      • Яндекс.Метеум – технология без технологии. Маркетинг с точностью до района

          Прошло ровно 3 года с момента запуска сервиса «Яндекс.Метеум», который по заявлению разработчиков выдаёт самые качественные прогнозы среди всех прогностических сайтов. Пришло время подвести итоги. Действительно ли новый продукт Яндекса является революционным или всё это лишь маркетинговый пшик? И как команде ученых из Гидрометцентра России удалось обойти Яндекс и создать по-настоящему качественный прогноз.

          image
          Для начала представлюсь. Меня зовут Илья Винштейн, я синоптик-любитель из Кургана. Занимаюсь метеорологией 14 лет. Администрирую свой региональный проект «Погода 45», давал несколько лекций для научно-просветительского проекта «Курилка Гутенберга».
          Читать дальше →
        • Зацените: сделал стол



            TL;DR В статье описывается мой опыт постройки стола c нуля из фанеры. От проектирования до сборки.

            Я очень долго страдал от плохих столов. Все они неудобные, плохого качества, маленькие и, самое главное, ШАТКИЕ. Более-менее приличные столы стоили тысячи долларов. В итоге я решил изготовить стол самостоятельно.

            Основные требования к столу:

            • Устойчивость! Предметы на столе не должны трястись, если резко положить руки на стол или оттолкнуться от него. Мой стол весит ~120кг. С его края можно делать сальтухи, при этом на другом конце паять SMD компоненты.
            • Ширина и глубина столешницы. Столы шириной 60 см — это унижение. Мне нужно иметь запас по глубине, чтобы можно было отодвинуть ноутбук вперед, и при этом получить достаточное рабочее пространство.
            • Вместительность. Мне нужны полки, чтобы разместить там оборудование: паяльники, лабораторный блок питания, осциллограф, аудио усилитель и т.д. При этом полки должны быть так же устойчивы, как и стол.
            • Цена. Я не готов выложить за стол несколько тысяч долларов. Мой стол обошелся в ~$300 с учётом покупки всего инструмента для сборки и покраски.
            Читать дальше →
          • Парадокс времени ожидания, или почему мой автобус всегда опаздывает?

            • Translation

            Источник: Wikipedia License CC-BY-SA 3.0

            Если вы часто ездите на общественном транспорте, то наверняка встречались с такой ситуацией:

            Вы приходите на остановку. Написано, что автобус ходит каждые 10 минут. Засекаете время… Наконец, через 11 минут приходит автобус и мысль: почему мне всегда не везёт?

            По идее, если автобусы приходят каждые 10 минут, а вы придёте в случайное время, то среднее ожидание должно составлять около 5 минут. Но в действительности автобусы не прибывают точно по расписанию, поэтому вы можете ждать дольше. Оказывается, при некоторых разумных предположениях можно прийти к поразительному выводу:

            При ожидании автобуса, который приходит в среднем каждые 10 минут, ваше среднее время ожидания будет 10 минут.

            Это то, что иногда называют парадоксом времени ожидания.
            Читать дальше →
          • Научите меня проводить собеседования

              Так получилось, что за многолетнюю карьеру в IT я провел более 200 собеседований, нанял и вырастил большое количество профессионалов от инженеров по тестированию до архитекторов и менеджеров. Мне часто приходится давать советы по проведению собеседований своим сотрудникам, поэтому я решил обобщить свой опыт и заметки. В результате родилась статья, которую вы читаете.

              В ней нет золотого грааля, как нужно нанимать лучших сотрудников, только здравый подход к проведению собеседований. Скорее всего статья будет полезна тем, кто только начинает собеседовать людей. Однако, принесет пользу и остальным, чтобы посмотреть со стороны на свой подход к проведению собеседований.
              Читать дальше →
            • DPI мобильных операторов: от бесплатного интернета до раскрытия номера и местоположения

                Системы глубокого анализа трафика (Deep Packet Inspection, DPI) — программно-аппаратные комплексы для классификации проходящего интернет-трафика по типу данных (веб-страница, документ, аудио, видео), протоколу (HTTP, BitTorrent, VoIP/SIP) и конкретным программам (Skype, WhatsApp), зачастую обладающие дополнительной функциональностью. Системы DPI распространены и используются по всему миру продвайдерами проводного и беспроводного доступа.

                Мобильные операторы используют системы глубокого анализа трафика, прежде всего, для приоритизации разного контента в интернете (QoS), чтобы можно было одновременно скачивать большой файл и смотреть видео на YouTube, и чтобы один пользователь сотовой сети, активно использующий интернет, не создавал проблем другим пользователям. Операторы используют DPI примерно с начала двухтысячных, с приходом UMTS (3G), чтобы более-менее честно разделять беспроводной канал ограниченной пропускной способности.

                Мобильные операторы используют и другие возможности DPI, например, ускорение TCP и HTTP-трафика (TCP PEP, Performance-enhancing Proxy), для ускорения интернета в мобильных сетях и идентификации пользователей веб-сайтами. Если попытаться зайти в личный кабинет оператора с телефона, на многих операторах он откроется сразу, без необходимости ввода логина и пароля. Или, что можно было встретить лет 5 назад, простой заход на подозрительный веб-сайт или клик по рекламному баннеру из Android-игры оборачивался автоматической подпиской на платную услугу, о чем можно было узнать из СМС-сообщения.
                Читать дальше →
              • Разбираем магнитно-резонансный томограф


                  Квантовая физика, математика, биология, криогеника, химия и электроника сплелись единым узором, чтобы воплотиться в железе и показать настоящий внутренний мир человека, и даже, ни много ни мало, прочитать его мысли. Электроника таких аппаратов, по надежности и сложности может сравниться разве что с космической. Эта статья посвящается оборудованию и принципам работы магнитно-резонансных томографов.
                  Start Scan
                • Делаем data science-портфолио: история через данные

                  • Translation
                  • Tutorial
                  Предисловие переводчика

                  Перевод внезапно удачно попал в струю других датасайенсных туториалов на хабре. :)
                  Этот написан Виком Паручури, основателем Dataquest.io, где как раз и занимаются подобного рода интерактивным обучением data science и подготовкой к реальной работе в этой области. Каких-то эксклюзивных ноу-хау здесь нет, но очень подробно рассказан процесс от сбора данных до первичных выводов о них, что может быть интересно не только желающим составить резюме на data science, но и тем, кто просто хочет попробовать себя в практическом анализе, но не знает, с чего начать.


                  Data science-компании всё чаще смотрят портфолио, когда принимают решение о приёме на работу. Это, в  частности, из-за того, что лучший способ судить о практических навыках — именно портфолио. И хорошая новость в том, что оно полностью в вашем распоряжении: если постараетесь – сможете собрать отличное портфолио, которым будут впечатлены многие компании.

                  Читать дальше →
                • Дизайн города, основанный на данных. Лекция в Яндексе

                    Под катом вы найдёте расшифровку лекции Андрея karmatsky. Он долгое время руководил службой дизайна геоинформационных сервисов Яндекса, а затем основал компанию Urbica, которая занимается анализом и обработкой городских данных. Андрей рассказывает о примерах того, как подход, ориентированный на данные, помогает улучшать городские сервисы. Лекция прошла в рамках мероприятия «Data & Science: город».


                    Большая часть слайдов — тоже под катом.

                    Читать дальше →
                    • +66
                    • 14.4k
                    • 3
                  • Солнечная батарея на балконе: использование grid-tie инвертора

                      Привет geektimes. В предыдущей части было рассказано о тестировании контроллера заряда. Днем батарея заряжается, вечером или ночью накопленный заряд можно использовать. Ту систему можно считать законченной, что-либо принципиально новое добавить в нее уже сложно. Все работает, текущей емкости батареи в 12ач хватает для вечернего освещения комнаты светодиодной лентой и зарядки разных гаджетов. Все работает, однако есть и недостатки:

                      — Аккумуляторные батареи — достаточно дорогой и не совсем долговечный компонент.
                      — Накопленную энергию банально некуда девать. За все время я ни разу не разряжал батарею более чем на 50%.
                      — В солнечный день уже утром к 9-10 утра батарея полностью заряжена, соответственно, солнечные панели простаивают впустую.

                      В итоге, настала очередь протестировать следующий, более современный и широко используемый подход — отдачу электроэнергии непосредственно в электросеть. Технология весьма актуальна, т.к. устраняет все вышеприведенные недостатки — электроэнергия отдается в домашнюю электросеть и потребляется другими устройствами.

                      Как это работает, подробности под катом. Желающие также могут просмотреть краткую видеоверсию в youtube.
                      Читать дальше →
                    • Уменьшение операций чтения/записи на Raspberry Pi

                      Введение

                      Итак, в интернете можно найти статьи о том что в Raspberry флешки «живут» 2-3 месяца, после чего приходят в негодность. Предложенные решения — заменить стандартную microSD карточку на USB HDD. Решение простое, надёжное, плюс повышается скорость чтения/записи. Но почему флешки так быстро «умирают»? Могут ли те же факторы навредить жёсткому диску? И так приступим!
                      Читать дальше →
                    • Raspberry Pi: подробная настройка с нуля до TorrentBox

                      Прелюдия


                      Я давно следил на ХабраХабр за проектом Raspberry Pi и твердо решил заполучить свой мини-компьютер. Когда начался предзаказ, я воспользовался им практически сразу, однако только 17 июня 2012 года мне на Email пришло сообщение от RSComponents.Com о возможности заказа моего экземпляра Raspberry Pi. Итого прошло около месяца с момента предзаказа.

                      В этот же день я создал заказ (кстати, в то время уже можно было заказать «официально» в Российскую Федерацию) и стал ждать свою «малину». Информационное письмо обещало отгрузку в течение максимум 6 недель, но в этот срок я так и не получил свою плату. Во время звонка в московское представительство RS, менеджер фирма дал понять, что поставки скоро будут, но когда — неизвестно.

                      17 августа мне на email пришло сообщение от сотрудницы Московского RS, что моя плата доставлена в офис и ее можно забирать (т.к. заказать из RS с доставкой на дом нельзя, потому что DHL не доставляет посылки частным лицам). Собственно говоря, в этот же день я и получил свой компьютер Raspberry Pi!


                      Читать дальше →
                    • Конец халяве: I Know What You Download

                      Продолжение (часть 2).
                      Не понимаю, почему никто не кричит «полундра» (поискал здесь и на Хабре по слову «iknowwhatyoudownload», но ничего).

                      Итак, некий сайтик iknowwhatyoudownload.com по IP-адресу показывает список торрентов, скаченных и розданных с этого адреса.
                      Судя по всему, запустились недавно. Домен зарегистрирован 14 сентября 2016. Отображается статистика примерно за месяц. Но как долго она собиралась, неизвестно.
                      Читать дальше →
                    • Создаем личное облако на 3 Тб

                      • Tutorial
                      Я бы хотел поделиться одним способом создания личного облака на базе трехтеррабайтного WD MyBook Live. Нет, я не буду даже упоминать про wd2go и их «полуоблака», которые по сути являются только доступами к самому NAS через сервисы WD при помощи довольно корявых Java-апплетов. В этой статье речь пойдет о «честном» облаке, работающем на MBL при помощи ownCloud.
                      Это решение подойдет тем, кто мечтает о личном аналоге Dropbox, файлы в котором хранятся не «где-то там», а на конкретном физическом носителе, и ограничены только его объемом, без необходимости платить ежемесячно за этот объем (пренебрегая абонентской платой за интернет и стоимостью электроэнергии).
                      Большинство решений подобной задачи требуют достаточно много покопаться в интернете и опираются на хорошее знание Linux-систем. В данном посте я попытаюсь дать наиболее полный и адекватный HOW-TO на русском, чего сам в интернете не нашел. Так что многое пришлось делать методом проб и ошибок на свой страх и риск. Реализация данного решения не требует каких-либо фундаментальных знаний Linux, и я постараюсь расписать все наиболее доступно, по шагам.

                      Если интересно что из этого вышло — добро пожаловать под кат.
                      Читать дальше →
                    • Трёхкиловаттные чайники, телевидение без рекламы, или почему британские энергетики смотрят мыльные оперы на работе


                        С 1945 года в каждом британском танке есть оборудование для приготовления чая. Один из представителей Boiling Vessel.

                        «Война токов» закончилась не в пользу лагеря Эдисона. Мир предпочёл передавать энергию в цепях переменного электрического тока, а постоянный получать из него выпрямлением при необходимости. Для передачи энергии на большие расстояния нужны высоковольтные линии, а повышать напряжение постоянного тока без значительных потерь и механизмов с движущимися частями научились только к шестидесятым годам прошлого века. На тот момент вопрос о выборе природы энергосетей будущего уже не стоял.

                        Для передачи переменного тока на расстояние его напряжение повышают трансформаторами до десятков, сотен, тысяч киловольт и пускают по ЛЭП. По прибытии к потребителю трансформаторы понижают напряжение тока до нужных значений. И лишь если какая-то электроника требует постоянный ток, прибегают к выпрямителям тока. Высоковольтные линии постоянного тока всё же существуют, но чаще всего для передачи энергии по подводным кабелям, где высокая ёмкость кабеля вызывала бы высокие потери на реактивную мощность переменного тока.
                        Читать дальше →
                      • Почему люди верят в гороскопы?

                          image

                          На волне «паники в женских журналах» решил вставить свои 5 копеек, и рассмотреть данный вопрос.

                          Я не буду рассматривать вопрос как определяются знаки зодиака, это прекрасно сделал автор этой статьи. Лишь расскажу вам о процессах, происходящих в нашей голове, которые помогают нам верить в гороскопы и прочую дребедень.
                          Читать дальше →
                        • ИТЭР: Диагностические сборки

                            Спросите себя, “почему ИТЭР строится так долго”? Если вы честно читали мои заметки по этому проекту, то первое что приходит в голову — “это запредельно сложная установка”.

                            image
                            Одна из двух десятков диагностических сборок реактора ИТЭР о которых сегодня пойдет речь

                            Сложность инженерных сооружений — трудноизмеримая субстанция, в отличии, к примеру, от алгоритмов. Исторически, человечество непрерывно усложняло свои сооружения, машины и системы, и боролось с возрастающей сложность как путем декомпозиции на более мелкие работы и выполнения их параллельно, так и стандартизации полученного опыта. Первый подход можно проиллюстрировать, например вот так: здание проектируется не путем отрисовки готовых кусочков со всеми элементами (структура, электрика, вентиляция, фасады, водяные коммуникации и т.п.), а параллельно из общей концепции разными людьми. Второй подход проявляется в использовании стандартных компонентов, проработке готовых алгоритмов и решений (“для медного провода проводки используется максимальное значение тока 8-10 ампер/мм2” — не надо каждый исследовать вопрос, какой ток не вызовет пожара, это уже положено в нормы и правила разработчика).
                            Читать дальше →
                          • Трактат об энтропии

                            Приветствую тебя, читатель Гиктаймс!

                            Многие слышали о такой загадочной штуке, как энтропия. Обычно её называют мерой хаоса, мерой неопределённости и ещё прибавляют, что она непременно растёт. Я с огромной болью переношу употребление имени Энтропии всуе и решил, наконец, написать ликбез по этому вопросу.
                            Читать дальше →