Search
Write a publication
Pull to refresh
170
4

java / open source

Send message

Как вирус Эбола научил нас работать с данными про заражения, а мы забыли все его уроки

Reading time6 min
Views42K
Меня зовут Роман Нестер, я профессор НИУ ВШЭ. Я занимаюсь данными последние 10 лет. Например, мы с партнёрами сделали стартап Segmento, который использует большие данные в рекламе, и его купил у нас «Сбербанк». Сегодня я развиваю магистратуру по управлению продуктом и маркетингом на основе данных в департаменте коммуникаций НИУ ВШЭ. Меня беспокоит бесчисленное количество статей с цифрами, выводами и решениями, связанными с коронавирусом. Нельзя забывать — мы часто ошибаемся из-за неверных данных. Пример этого — борьба с вирусом Эбола в 2014 году. Смотрю на борьбу с COVID-19, и мне кажется, что мы не выучили ни один из тех уроков.

Я хочу привести ряд цитат из моей любимой книги Factfulness шведского статистика и врача, доктора наук Ганса Рослинга. По ней мы в ВШЭ сделали, по-моему, клёвый курс по решениям, основанным на данных. И вот сейчас меня осенило — ведь то, что происходит сейчас, очень похоже на то, уже происходило 6 лет назад. Рослинг был непосредственным участником тех событий. Ощущение усилилось, когда я прочитал про московскую "Тактику устрашения", когда публикуются пугающие цифры и заголовки про заражённых.
Читать дальше →

Алгоритмы — это лишь одна из переменных в уравнении

Reading time3 min
Views46K
Прочитал весьма занимательную статью про важность алгоритмов, вывод из которой показался мне весьма спорным

Для начала — тезис. Я утверждаю, что знание алгоритмов и даже наличие системного образования не делает вас хорошим разработчиком. Можно сказать жестче — для большинства задач вы будете профнепригодны, даже владея теорией графов, зная вычислительные сложности алгоритмов и прочитав всего Кнута.



Все дело в том, что разработка ПО — это не просто алгоритмы или языки.
Читать дальше →

Почему нет простых решений о том, что лучше — купить серверов или оптимизировать код

Reading time6 min
Views33K
В ответ вот на эту статью, про выбор покупки серверов или оптимизации.

Хочется затронуть фактор людской психологии в принятии решений, его недооценку и важность влияния на конечный результат.
Внизу статьи есть тезисное изложение, кому не хочется читать.

Как обычно происходит и почему


Действительно, существует такое распространенное мнение, что железо купить проще и надежнее, чем оптимизировать код.
Другой вопрос, а проводились ли достоверные исследования на эту тему? Думаю, нет, и это только подтверждает тезисы статьи «Программирование, как новый вид человеческой деятельности».

Однако, попробуем построить мысленный эксперимент с некоторыми допущениями. Рынок — это место для естественного отбора. Компании отбираются по признаку выживаемости. Кто обслужил клиента лучше, заработал денег больше и сумел удержаться на рынке, обойти конкурентов — тот и выжил. Обратная связь обеспечивает эволюцию компаний.
И, судя по тому, что компании как инвестируют миллионы долларов как в человеческий потенциал, так и в сервера, имеют место оба подхода, возможно даже их комбинация. О чем было сказано в исходной статье в комментах (комбинации подходов нередки и в других случаях в жизни, например, ястребы и голуби).
Читать дальше →

Быть менеджером среднего звена — не проблема, если вы готовы к этому

Reading time8 min
Views47K
Точнее было бы сказать, если у вас есть способности к этому.

В продолжение темы, затронутой в этом посте.

Мне кажется, что из виду в рассуждениях упускается достаточно важный момент — природная предрасположенность к виду деятельности. Допустим, если у тебя хорошая реакция и двухметровый рост, стоит попробовать себя в баскетболе. Но ежели с десяти лет в голове слышишь музыку и играешь на фоно — нужно заниматься композицией, а не пытаться стать новым Джорданом.

— Вам, конечно,  известно,  как  осуществляется  на  Земле  программа образования. Практически любой человек  может  усвоить  любые  знания,  но каждый индивидуальный мозг лучше подходит для одних видов знаний, чем  для других.  Мы  стараемся  по  возможности  сочетать   устройство   мозга   с соответствующими  знаниями  в  пределах  квоты  на   специалистов   каждой профессии.
А.Азимов, Профессия


Удивительно, как написанное фантастом претворяется в жизнь. Сегодня некоторые ученые (Сергей Савельев) говорят о возможности сделать систему анализа врожденных способностей и талантов человека, другие более аккуратны в оценках (Дробышевский мне ответил на вопрос, что есть предрасположенности врожденные, но они перекрываются средой). В одном все сходятся, что именно мозг определяет способности человека и то, как у него пойдет та или иная деятельность; и что мозги у нас у всех уникальные и постоянно изменяющиеся (связи постоянно перестраиваются).
Читать дальше →

Как я делал костюм захвата движений

Reading time7 min
Views54K


Предисловие


В своем небольшом городе я занимаюсь решением нетривиальных технических задач. Так и в этот раз, организаторы одного шоу, в котором должна была выступить гимнастка со своей программой, решили добавить в ее представление некоторую «изюминку». А именно, выводить на экраны силуэт гимнастки, который бы повторял ее движения и как-то взаимодействовал с прочими эффектами, да так, чтобы все было интерактивно. Решить задачу «в лоб» не удалось. Kinect явно не справлялся со своей задачей и не был способен произвести захват движений человека, который удален от него на расстояние минимум 10 метров, к тому же в темноте. Так было принято решение сделать что-то «свое». Забегая вперед, скажу что выступление так и не состоялось, однако я настолько загорелся идеей, что продолжил свои эксперименты в качестве отдельного проекта, который впоследствии получил название impulse.
Читать дальше →

Моя версия костюма отслеживания движений

Reading time9 min
Views13K

Предыстория


Много времени утекло с того момента, как я стал начинающим «ардуинщиком». После заказа «стартового набора» из поднебесной и поморгал светодиодами, и покрутил сервоприводами, и даже собрал простенькую платформу Гью-Стюарта из кусков упаковочного полиэтилена, скрепок, кнопок и копеечных сервоприводов SG90.

image

Прошу прощения за качество фото — другого не сохранилось, как и самой платформы — дети сломали.

С этой платформы и началась, может быть даже кому-то интересная история. Управлять платформой с помощью клавиатуры или джойстиком интересно, но управлять ею датчиком положения в пространстве — интереснее вдвойне. Пробуя корректно заставить работать очень известный датчик от TDK — InvenSense MPU-9250, вспомнилась статья уважаемого ObelardO — «Как я делал костюм захвата движений» и затаилась идея в голове повторить этот опыт.

Что из этого получилось, можно увидеть и прочесть под катом.

Как стартапы в США умирают из-за коронавируса

Reading time6 min
Views34K


Десятки стартапов увольняют тысячи сотрудников, урезают затраты и даже полностью меняют бизнес-модели, пытаясь выжить в мире коронавируса. Кремниевая долина проходит через очень серьезные метаморфозы.
Читать дальше →

Исследуем электромагнитные поля с помощью SDR приемника и OpenCV

Reading time10 min
Views31K


SDR-приемник, даже самый дешёвый, является весьма высокочувствительным приборчиком. Если добавить к нему специальную антенну и OpenCV, то можно будет не только привычно слушать эфир, но и посмотреть на распределение электромагнитных полей в пространстве. О таком интересном применении и пойдет речь в данной статье. Внимание! Под катом много картинок и анимации!
Читать дальше →

Как сократить расходы в AWS

Reading time7 min
Views9.7K
Мир кардинально меняется. Многие компании ищут любые способы для сокращения расходов, просто для того, чтобы выжить. При этом усиливается нагрузка на онлайн-сервисы — особенно те, которые связаны с организацией удалённой работы, проведением видео-конференций, онлайн-обучением.

В этих условиях крайне важно с одной стороны — обеспечить надежность и масштабирование вашей инфраструктуры. С другой — не вылететь в трубу с закупкой серверов, дисков, оплатой траффика.

Мы в «Битрикс24» очень активно используем Amazon Web Services, и в этой статье я расскажу о нескольких возможностях AWS, которые помогут вам сократить ваши расходы.
Читать дальше →

Втискиваем Windows Server на маломощную VPS с помощью Windows Server Core

Reading time8 min
Views20K

По причине прожорливости Windows-систем в среде VPS доминируют легкие Linux-дистрибутивы: Mint, Colibri OS, Debian или Ubuntu, лишенные ненужного, в рамках наших задач, тяжеловесного окружения рабочего стола. Как говорится, только консоль, только хардкор! И на самом деле, это совершенно не преувеличение: тот же Debian стартует на 256 MB памяти и одном ядре с тактом 1 Ghz, то есть почти на любом «пне». Для комфортной работы понадобятся от 512 MB и процессор чуть пошустрее. Но что если мы скажем вам, что примерно то же можно провернуть на VPS под Windows? Что не нужно накатывать тяжеловесный Windows Server, который требует от трех-четырех гектаров оперативной памяти и минимум пару ядер с тактом в 1,4 GHz? Просто воспользуйтесь Windows Server Core — избавьтесь от GUI и части служб. О том как это сделать и поговорим в статье.
Читать дальше →

В рамках импортозамещения Москва закупает ПО Microsoft на 90 млн рублей

Reading time4 min
Views79K


Прочитал сегодня на Cnews забавную заметку — разработчики российского софта пожаловались на закупку Департаментом Информационных Технологий г. Москвы решений Microsoft аж на 90 млн рублей. Мне как админу это событие интересно не столько суммой контракта или жалобой, сколько своей механикой — как они это делают? Нам, простым людям в регионах, администрация руки выкручивает — а в Москве, пожалуйста — берите Microsoft и это типа нормально. Поэтому, я заморочился и пошел искать закупку. Найденное обоснование меня настолько удивило, что я призываю хабросообщество ответить на вопрос — а что, так можно было?
Читать дальше →

KleinComputer KC 85/4 — модульность из прошлого

Reading time20 min
Views7.8K

"О, сколько нам открытий чудных
готовит мир Z80-ых систем."


Процессор Z80 был поистине гениальным, позволившим огромному количеству производителей электроники войти в мир компьютеров со своими вариантами домашних и не только систем. Не стал исключением и немецкий Robotron, выпустивший линейку (а по сути — две независимых) персональных компьютеров KC 85. В неё входили изначальный KC 85/1, получивший продолжение в виде модели KC 87, а также три модели KC85/2...KC 85/4, которые несмотря на название, не были продолжением KC 85/1, а являлись отдельной веткой в развитии и даже производились на другом предприятии — VEB Mikroelektronik Mühlhausen.


Читать дальше →

В самом популярном фрагменте кода за всю историю StackOverflow ошибка! 

Reading time7 min
Views70K
Недавнее исследование «Использование и атрибуция сниппетов кода Stack Overflow в проектах GitHub» внезапно обнаружило, что чаще всего в опенсорсных проектах встречается мой ответ, написанный почти десять лет назад. По иронии судьбы, там баг.

Давным-давно…


Еще в 2010 году я сидел в своём офисе и занимался ерундой: развлекался код-гольфингом и накручивал рейтинг на Stack Overflow.

Моё внимание привлёк следующий вопрос: как вывести количество байт в удобочитаемом формате? То есть как преобразовать что-то вроде 123456789 байт в «123,5 МБ».


Старый добрый интерфейс 2010 года, спасибо The Wayback Machine
Читать дальше →

Маски сброшены

Reading time7 min
Views74K
image

В трудные моменты общество делится на две категории. Одни люди стремятся помочь ближним, чтобы совместными усилиями как можно скорее и эффективнее преодолеть трудности. А другие используют критическую ситуацию исключительно для наживы. И их ничуть не волнует, что наживаются они за счет тех, кому и так не просто в сложившейся ситуации.

За примерами далеко ходить не надо. Можно вспомнить теракты в московском метро в 2010 году, когда одни водители бросали свои дела и отвозили людей в больницы бесплатно, а другие взвинчивали цены за услуги такси в 10 и более раз.

Что-то подобное происходит и сейчас. На волне всеобщей изоляции резко возрос спрос на товары, которые раньше мало кого интересовали. Возьмем, к примеру, медицинские маски. За три месяца с октября по декабрь 2019 года было зарегистрировано чуть более 2300 доменных имен с частицей *mask*. Как вы думаете, сколько из этих ресурсов предназначалось для продажи медицинских масок?..

Ноль… Ни одного… К слову, в аптеках маски продавались в среднем по цене от 7 до 15 рублей за штуку.

Наступил 2020 год, а с ним коронавирус. Все резко изменилось. За те же 3 месяца с января по март в сети появилось 32 000 доменных имен с частицей *mask*, 80 процентов из которых эксплуатировали тематику уже именно медицинских масок. Далее все развивалось двумя путями. Часть ресурсов была предназначена для реальной продажи масок, только вот их стоимость маски возросла в среднем до 60-рублей за штуку. Другие же сайты носили откровенно мошеннический характер.
Читать дальше →

Как рассчитывали новый космический корабль «Федерация/Орел». Интервью с компанией ТЕСИС

Reading time10 min
Views13K
Сегодня в гостях у нашего блога технический директор компании ТЕСИС Андрей Аксенов, эксперт в области аэро- и гидродинамических расчетов, руководитель команды, которая разрабатывает пакет FlowVision.

Накануне Дня космонавтики мы воспользовались знакомством и расспросили о том, как ТЕСИС участвует в проекте создания нового пилотируемого космического корабля «Федерация» (новое название летного образца «Орел»).


Встречайте Big Data Tools: поддержка Spark и Zeppelin-ноутбуков в IntelliJ IDEA

Reading time3 min
Views4.6K
У нас отличные новости. Мы рады объявить о выходе Big Data Tools — нового плагина для IntelliJ IDEA, который обеспечивает интеграцию со Spark и поддерживает редактирование и запуск Zeppelin-ноутбуков. Теперь вы можете создавать, редактировать и запускать Zeppelin notebooks прямо из IDE. Плагин предоставляет умную навигацию, автодополнение, инспекции и быстрые исправления, а также рефакторинг кода внутри ноутбуков.

Что уже поддерживается

  • Просмотр, создание и удаление ноутбуков
  • Помощь при написании Scala-кода
    • Автодополнение
    • Рефакторинг Rename
    • Экстракт переменной, метода или параметра
    • Переход к декларации
    • Поиск использований

  • Создание и удаление параграфов
  • Запуск параграфов
  • Просмотр вывода параграфов
  • Поддержка базовой визуализации

Пока что помощь при написании кода работает только для Scala. Другие языки будут поддержаны позже. Кроме того, мы не собираемся ограничиваться поддержкой Zeppelin и планируем добавить больше возможностей, которые будут полезны для тех, кто работает с большими данными.

Если вам не терпится увидеть Big Data Tools в действии, посмотрите это короткое видео:


А лучше попробуйте плагин сами! Как это сделать, читайте далее.

С чего начинается Elasticsearch

Reading time14 min
Views307K

Elasticsearch, вероятно, самая популярная поисковая система на данный момент с развитым сообществом, поддержкой и горой информации в сети. Однако эта информация поступает непоследовательно и дробно.


Самое первое и главное заблуждение — "нужен поиск, так бери эластик!". Но в действительности, если вам нужен шустрый поиск для небольшого или даже вполне себе крупного проекта, вам стоит разобраться в теме поподробней и вы откажетесь от использования именно этой системы.

Читать дальше →

Product very first. Выгорание

Reading time4 min
Views29K
image

Когда-то я работал в медицинском Калифорнийском стартапе. Там было 20 человек, но ни одного доктора.

Даже медсестры не было. Зато было 10 программистов. Я сам гуглил бывает ли рак груди у мужчин, про то, что у женщин бывает, я знаю, благодаря Анджелине Джоли. Фиг его знает, сколько американцев лечилось на основе моих ценных рекомендаций американским докторам :)

Я ушел оттуда, потому что не понимал, как я могу определять, какие анализы рекомендовать в выпадашке, если у меня нет медобразования.

У нас с женой договоренность, перед тем как покупать лекарство, она гуглит его, и если там не написано БАД или гомеопатия, то покупает.

Спасибо Яндекс.Медицина, ты торчишь мне 460 рублей за купленный женой Эргоферон. Я считал Я.Медицину адекватной, извините.
Читать дальше →

Information

Rating
487-th
Location
Россия
Registered
Activity