Sign up

Profile

Comments 464

Bookmarks 10

  • Приложение Barcode Scanner в Google Play заразило 10 млн пользователей одним обновлением
    52
    0

    Не, тут пользователи ССЗБ — берут накрученную поделку вместо официального приложения (от разработчиков используемой повсеместно opensource библиотеки) у которого >100млн скачиваний.

  • Организуем платформу обработки потоковых данных из Kafka, Spark и Greenplum
    26
    +1

    Про Яндекс.Танк — для кастомных пушек есть pandora, достаточно удобно если умеешь на go писать.

  • Работа с файлами в C++ с использованием Boost
    25
    0

    В контексте "самый быстрый" стоит упомянуть O_DIRECT, без которого не всегда получается раскрыть потенциал современных носителей информации. Хотя по подводным камням тут ситуация не сильно лучше чем у mmap.

  • Умные кассы для «ВкусВилла»
    45
    +1

    Когда уже наступит будущее, в котором можно своим телефоном просканировать товары складывая их в пакет и оплатить покупку через Google Pay?) Кажется во вкуссвилле уже всё кроме оплаты через Гугл реализовано.

  • Умные кассы для «ВкусВилла»
    45
    0

    В настройках такая опция есть. Но кажется что продавцы не всегда отметку замечают :-).

  • Умные кассы для «ВкусВилла»
    45
    0

    Кассы перекрестка это пипец. Пример как делать нельзя. Начиная с того что сканер фиговый, заканчивая необходимостью вмешательства сотрудника на каждый чих (а с организацией наличия этих сотрудников в перекрестке обычно всё плохо). Сначала воодушевился "о! можно меньше в очереди стоять", но потом разочаровался, так как в половине случаев всё равно приходится на обычную кассу идти.

  • Web-сервер машинного обучения «ВКФ-решатель»
    10
    0

    Пришел сюда со второй статьи "серии". Возникло ощущение что не будет лишним найти автора IRL и удостовериться что ему не нужна медицинская помощь.

  • Расширенная настройка web сервера (Apache2 + Nginx)
    10
    0

    Эээ, серьезно, ни то что объяснить зачем и что делает ngx_pagespeed, но даже ссылку на сайт не дали? Вы там троян чтоль спрятали?

  • Как клеить по 13 девушек в час, используя машинное обучение и Tinder
    138
    0

    Если добавить gpt + reinforcement learning для диалогов то останется андроида вместо себя на свидания отправлятт. Ещё вспоминается чат-бот который разводил в какой-то соцсетке девушек на фотки :-).

  • Асинхронный Python-код медленнее обычного кода
    51
    +2

    В статье про измерение производительности нет ни слова про измерение производительности. Идешь в предоставленный код — видишь там ab. Окей, действительно, никто тут производительность и не измерял.

  • Кластер Elasticsearch на 200 ТБ+
    20
    0
    Можно нарезать на 16 инстансов. Но не обязательно, 64битные указатели это не так плохо, особенно когда типичный аналитический запрос отжирает 200Гб памяти.
  • Кластер Elasticsearch на 200 ТБ+
    20
    0
    Ребята наверное просто не пробовали выдать эластику 512Гб RAM и 64 ядра. Я кстати тоже не пробовал.
  • Кластер Elasticsearch на 200 ТБ+
    20
    +1
    Зато помогли разработчикам эластика улучшить поведение мастер-нод, видишь какие Одноклассники корпорация добра :). Вообще это достаточно адекватно, просто другой подход к эксплуатации. У меня в известном тебе OpenStack'е похожая пропорция была, 40 нод, 20Тб SSD, правда проблем было гораздо меньше потому что вместо graylog'а был известный тебе mapreduce и данные заливались батчами напрямую в дата-ноды хранящие primary-реплику шарда в который эти данные надо сложить.
  • PostgreSQL Antipatterns: вредные JOIN и OR
    22
    +2

    Первый антипаттерн — называть поля русским текстом. Читаемость нулевая.

  • Второй чемпионат по программированию: разбираем задачи ML-трека
    2
    0
    Решал третью через блендинг catboost и нейронки с эмбеддингами юзера и категорий. Привет, Леонид :).
  • Ssh-chat
    41
    –2
    OpenSSL

    И что дальше? Зачем вообще тащить криптографию в чат сервер написанный на коленке?
    Найдите хоть одну библиотеку с биндингами в предложенном решении.

    Лучше бы она была, жирная реализация ssh на pure js — ещё больший скоуп для уязвимостей :).
    И много RCE вы в ноде знаете?

    Правильный вопрос будет — о скольких RCE в ноде я не знаю.
    А они-то каким боком могут RCE устроить?

    Ну вот тем, что могут :). Их можно использовать для формирования произвольного текста на ввод в терминале. Не везде это отключено/исправлено.
    И что дальше?

    RCE на серверах куда у этих людей есть доступ.
  • Ssh-chat
    41
    –1
    Криптография, левые библиотеки nodejs с кривыми биндингами, сам nodejs, управляющие последовательности в терминале, люди которые ходят с ssh-agent по-дефолту.
  • Ssh-chat
    41
    –1

    Ой да ладно, пароль в текстовом файле, я как представлю сколько там RCE в любую сторону...

  • Python + OpenCV + Keras: делаем распознавалку текста за полчаса
    27
    0
    Привет! Ты на мой коммент специально ответил или полем промахнулся?.. Я тут в одном проекте Class Activation Maps для semi-supervised object detection пытаюсь абъюзить, так что про FindContours это точно не ко мне :-).
  • Python + OpenCV + Keras: делаем распознавалку текста за полчаса
    27
    0
    Чтобы не путать символы с идентичным написанием надо или словари использовать, или обучать/применять сеть не на буквах, а на словах, то есть ещё добавить ещё RNN или CNN поверх фичемап до выходов классификации отдельных символов (выходы отдельных символов тоже можно на обучении использовать).
  • Python + OpenCV + Keras: делаем распознавалку текста за полчаса
    27
    +2

    Зачем тебе база? Можно ведь просто нагенерить картинок с буковками с разными шрифтами и натравить на них аугментацию. Имеет смысл что-то такое искать сразу в виде скрипта, который такую базу нагенерирует.

  • Когда 'a' не равно 'а'. По следам одного взлома
    73
    0
    Honeypot'ов то для хабровчан не забыли набросать?
  • Раздаем файлы с Google Drive посредством nginx
    25
    0

    Статья — ок, но открой для себя rclone serve :-).

  • Признаки настоящих программистов-сеньоров и методы их выслеживания в дикой природе
    99
    +2

    Senior'ов определяю как тех с кем можно нормально обменяться идеями проектов за кружкой пива. С мидлами — можно пообщаться за архитектуру и всякие solid'ы, тьфу на вас. С талантливыми джунами — за хайповые тулзы.

  • Настройка параметров ядра Linux для оптимизации PostgreSQL
    26
    +3

    Тот случай когда комментарий на порядок полезней статьи.

  • Периодическая смена паролей — устаревшая практика, пришло время от неё отказаться
    85
    0

    В настоящее время не существует систем, которые невозможно взломать. Вся безопасность строится на том, чтобы профит от взлома был меньше средств, которые нужно на этот взлом затратить. И циферка определяющая частоту смены пароля — это один из ключевых параметров в этой системе.

  • Telegram. Безлимитный сетевой диск. Бесплатный
    231
    +2
    1. Товарищи работодатели, спасите телеграм^W^W переманите его к себе кто-нибудь, а то в текущем месте автор не знает чем заняться.
    2. Девушки — обратите внимание, свободный перспективный мальчик.
  • Как я Keras на C++ запускал
    15
    0
    Единственное, что всё-таки стоит отметить что TF можно собрать как с оптимизациями, так и без. И не известно с какой сборкой вы сравнивали свой код на Си.
  • Как я Keras на C++ запускал
    15
    0
    Ок, всё верно, меня смутило про «родную библиотеку», прочитал как «стандартную» :).
  • Как я Keras на C++ запускал
    15
    0
    > получил производительность где-то в 6 раз ниже, чем у аналогичного инференса на питоне

    Я про то что код на питоне внутри тоже может использовать низкоуровневые библиотеки с оптимизациями вплоть до SIMD :).
  • Как я Keras на C++ запускал
    15
    0

    Есть Intel DAAL, который наверняка используется в вашем питоне, если это anaconda. Так что вряд-ли получится что-то ускорить если написать SIMDов самому.

  • Переход с Redshift на ClickHouse
    11
    0
    Видимо мало было читателей знакомых с CH, потому что не ответили что ClickHouse умеет читать данные из Kafka напрямую. Сам. Правда вопрос в формате записей, что вы там шлете, поддерживает ли его Clickhouse (хотя переложить данные из kafka в kafka сменив формат это всё же лучше чем из Kafka в Influx, но возможно я не понимаю что такое «прямо транзакционка»).

    Ещё — InfluxDB (бесплатный) не масштабируется и не реплицируется (только если руками шардировать и слать данные в отдельные реплики, наличие kafka тут всё упрощает, но тем не менее), а ClickHouse умеет в Cross-DC репликацию и распределенные запросы из коробки.

    По скорости и плотности хранения информации ClickHouse тоже выигрывает.
  • Первый видеокодек на машинном обучении кардинально превзошёл все существующие кодеки, в том числе H.265 и VP9
    194
    0
    Там все вычисления уже на GPU, всё изначально векторизировано. Но как вариант для декодирования такого видео вполне можно приспособить habr.com/company/intel/blog/430492 :).
  • Особенности использования Druid на примере Одноклассников
    8
    0
    Попробуйте эластик, туда как раз SQL завезли.
  • Прощай, Google Maps
    203
    0
    Переключил с локальных векторных карт на тайлы, посмотрел как оно. Действительно иногда подтормаживает (зумил туда-сюда районы Стокгольма, где сейчас нахожусь). Количество объектов на средних зумах стоит уменьшить — серая пиксельная каша из дорог не нужна, мелкие здания которые сливаются в пиксели — тоже. Девайс — Xiaomi Mi5, если это имеет значение.

    Вот скрины для сравнения — yadi.sk/a/aB4VvOHz3ZX2rL. Обратите внимание на количество объектов на карте гугла.
  • Прощай, Google Maps
    203
    0
    Знатно потроллил. Это осознанно было? Нахваливать разработчику OsmAnd какую работу проделали в Maps.me :-).
  • Прощай, Google Maps
    203
    0
    По железу, вот сетап что требуют для оф.серверов OSM — wiki.openstreetmap.org/wiki/Servers/Tile_CDN. На БД у них идет меньше диска, на кеш тайлов — больше.

    Там же есть ссылки на munin с графиками, на 4-х render нодах в сумме средняя нагрузка 2-3k RPS (в зависимости от дня недели) — munin.openstreetmap.org/openstreetmap/render.openstreetmap/apache_accesses.html.

    Тут можно посмотреть как система на одном из серверов это переживает — munin.openstreetmap.org/openstreetmap/orm.openstreetmap/index.html.
  • Прощай, Google Maps
    203
    0
    У вас что-то не так. 1 млн тайлов в день — это усредненно 12 RPS, ну пусть будет 30 если считать что пик трафика продолжается 8 часов, а не равномерно размазан по суткам. На 8 ядрах получается по 4 RPS на ядро, звучит вполне нормально… Вообще если без нагрузки оно тоже тратит по 5 секунд на рендеринг одного тайла, при использовании SSD, то явно где-то не хватает какой-то фильтрации объектов, или индексов для их выборки, или просто какой-то компонент в стеке хреново выбран.

    Btw, выше по треду предложили ограничиться Европой, это сильно снижает требования по объему дисков.
  • Перевод Redmine-плагинов с TelegramCLI на Webogram
    3
    0
    1. Не получилось совсем от манипуляций с DOM избавиться чтобы выкинуть phantom и взять чистый nodejs? Вот у Игоря тикет про это — https://github.com/zhukov/webogram/issues/124, кажется он был бы очень даже за если бы ему помогли.

    2. А реализаций mtproto на Ruby нет? Вот есть https://github.com/platphorm/telegram_rb, правда выглядит сыровато, да. Пробовали её?

    3. Зачем вообще нужна функциональность отправки сообщений по mtproto? Кажется через бота все задачи нормально решаются.
  • Badoo time-series storage: итак, она звалась Кассандрой
    32
    0
    Нашел ниже.

Info

  • Rating 6,117–th
  • Date of birth July 12, 1988
  • Activity 6/18/20, 12:49 AM
  • Registered May 14, 2008

Your account

Sections

Info

Services

© 2006 – 2021 «Habr»
Language settings
About
Support
Mobile version