• 10 инструментов, позволяющих парсить информацию с веб-сайтов, включая цены конкурентов + правовая оценка для России

      image

      Инструменты web scraping (парсинг) разработаны для извлечения, сбора любой открытой информации с веб-сайтов. Эти ресурсы нужны тогда, когда необходимо быстро получить и сохранить в структурированном виде любые данные из интернета. Парсинг сайтов – это новый метод ввода данных, который не требует повторного ввода или копипастинга.

      Такого рода программное обеспечение ищет информацию под контролем пользователя или автоматически, выбирая новые или обновленные данные и сохраняя их в таком виде, чтобы у пользователя был к ним быстрый доступ. Например, используя парсинг можно собрать информацию о продуктах и их стоимости на сайте Amazon. Ниже рассмотрим варианты использования веб-инструментов извлечения данных и десятку лучших сервисов, которые помогут собрать информацию, без необходимости написания специальных программных кодов. Инструменты парсинга могут применяться с разными целями и в различных сценариях, рассмотрим наиболее распространенные случаи использования, которые могут вам пригодиться. И дадим правовую оценку парсинга в России.
      Читать дальше →
    • Когда ВВС США осознали изъян со средними числами

      • Translation
      Отрывок из книги "The End of Average" Тодда Роуза


      В начале 1950-х американцы измерили тела более 4000 пилотов по 140 характеристикам, чтобы спроектировать идеальную кабину для среднего пилота

      В конце 1940-х у американских военно-воздушных сил была серьёзная проблема: пилоты теряли контроль над самолётами. Тогда наступала эпоха реактивных двигателей, так что самолёты стали более быстрыми и сложными в управлении. Но катастрофы случались так часто и на таком количестве разнообразных самолётов, что ВВС США столкнулись с реальной проблемой спасения жизней. В худшее время разбивалось до 17 пилотов за день.
      Читать дальше →
    • Подборка бесплатных инструментов для разработчиков

      • Translation
      Сегодня мы представляем вашему вниманию адаптированную подборку инструментов (в том числе облачных) для разработчиков, которые позволяют создавать по-настоящему качественные проекты. Здесь представлены исключительно SaaS, PaaS и IaaS сервисы, предоставляющие бесплатные пакеты для разработчиков инфраструктурного ПО.

      Читать дальше →
    • Украинская раскладка клавиатуры в Mac OS X Lion

        imageДобрый день, Хабраюзер.
        Не знаю как кому, но мне Mac OS Lion сразу очень понравился. Но в первый же день в бочку мёда была подкинута ложка дёгтя. Украинская раскладка клавиатуры была какая-то неправильная (с моей точки зрения, так как я привык к другой.)

        Огромный минус стандартной украинской раскладки в Lion это то, что поменяны местами буквы «И» и "І" да и знаки препинания стали на цифрах 6, 7, 8. А я привык к PC-шной раскладке. Начал я искать редакторы клавиатуры для Lion — так ничего не нашел. И google ничего внятного на эту тему не выдавал. Тогда я решил эксперементировать. Под катом результат эксперимента и решение вопроса.
        Читать дальше →
      • Дистанционная работа: Более 130 полезных источников

        • Translation


        Данная подборка позволит вам разобраться с плюсами и минусами дистанционной работы, оценить затраты и возможную экономию, познакомиться с опытом коллег и взглянуть на целый спектр компаний, команды которых работают дистанционно.
        Читать дальше →
        • +32
        • 53.1k
        • 9
      • 300 потрясающих бесплатных сервисов

        • Translation


        Автор оригинальной статьи Ali Mese добавил ещё 100 новых бесплатных сервисов. Все 400 потрясающих сервисов доступны здесь. И еще подборку +500 инструментов от 10 марта 2017 г. смотрите здесь.



        A. Бесплатные Веб-Сайты + Логотипы + Хостинг + Выставление Счета

        • HTML5 UP: Адаптивные шаблоны HTML5 и CSS3.
        • Bootswatch: Бесплатные темы для Bootstrap.
        • Templated: Коллекция 845 бесплатных шаблонов CSS и HTML5.
        • Wordpress.org | Wordpress.com: Бесплатное создание веб-сайта.
        • Strikingly.com Domain: Конструктор веб-сайтов.
        • Logaster: Онлайн генератор логотипов и элементов фирменного стиля (new).
        • Withoomph: Мгновенное создание логотипов (англ.).
        • Hipster Logo Generator: Генератор хипстерских логотипов.
        • Squarespace Free Logo: Можно скачать бесплатную версию в маленьком разрешении.
        • Invoice to me: Бесплатный генератор счета.
        • Free Invoice Generator: Альтернативный бесплатный генератор счета.
        • Slimvoice: Невероятно простой счет.

        Читать дальше →
      • Развитие правого полушария головного мозга или как я учился рисовать

        • Tutorial
        Сразу дискламер: я редко пишу посты на широкую аудиторию, и более правильного ресурса для этого текста в рамках моего кругозора не нашлось. Тем не менее, если кто-то найдет это интересным, значит не зря… Поехали.

        С чего все началось



        Как-то я услышал от одного человека мысль о том, чтобы заниматься бизнесом, ему приходится «выращивать в себе Мистера Хайда», типа некая альтернатива его личности способна придумать что-то такое, что не способен придумать он сам. Конечно же, он шутил, по большей части, и тогда я этому значение не придал. Вспомнил эту точную метафору лишь, когда сам решил, что мне нужно развивать креативность, умение продуктивно фантазировать, придумывать нестандартные решения.
        Читать дальше...
      • Калибровка монитора без аппаратного калибратора

          Gamma 2.2На этой картинке не должно быть видно цветных областей. Чем отчётливее Вы их видите, тем дальше цветопередача Вашего монитора от нормальной. Если хотите это исправить, то эта заметка для Вас.

          Сейчас на рынке мониторов царствуют модели с TN-матрицами, калибровать которые можно простым наклоном головы. Но даже на таких мониторах, не говоря уже о *VA/IPS, можно добиться терпимой цветопередачи, не используя аппаратные калибраторы. Этим же способом можно проверить гамма-кривые монитора при покупке.

          Суть способа заключается в использовании программы ColorLineTest, также известной как CLTest. На проверку гамма кривых у Вас уйдёт около 30 секунд. За 5-10 минут можно добиться приемлемой цветопередачи. Подробные инструкции находятся в архиве с программой.

          Ну а по завершении профилирования можете проверить результаты с помощью обоев от RealColor.ru.
        • Учимся отдыхать

            Работа программиста — это тяжелый умственный и плюс еще творческий труд. Конечно это весело — кодить, разрабатывать или проектировать какой-нибудь мега-сервис или стартап, но это требует мощной работы мозга.
            Читать дальше →
          • Неэффективный программист или как взломать свой мозг за 2 дня



              Disclaimer: Автор понимает, что ничего нового не открыл, но подача материала может оказаться достаточно полезной, особенно для тех, кто регулярно пытается сконцентрироваться и расти над собой.


              Интернет сделал нас ленивыми!

              Почему? Кто в последний раз посмотрел видео больше 3х минут? Кто прочитал пост больше 2 страниц? Какой заголовок более привлекателен, «63 способа бла-бла-бла» или «3 проверенных метода бла-бла-бла»? А если эти три проверенных метода выделены от основного текста, то это вообще гуд (можно не читать текст вовсе, а просто пробежаться по выделенным подзаголовкам).

              В этом свои плюсы. Наш мозг эволюционировал, и обрабатывает информацию быстрее, чем, скажем, 15-20 лет назад (да и эволюционирует быстрее, чем это было возможно век назад). Как компании справляются с высокими нагрузками? Как процессор выполняет программу по возможности быстро? С помощью кэширования! (как вариант, но самый приоритетный). Что делает наш мозг, чтобы справиться с большой нагрузкой? Кэширует! Что именно и как — оставим на размышление ИИшникам (специалистам по искусственному интеллекту). В противном случае при увеличении размера обрабатываемой информации время «отклика» бы увеличилось в разы, и на ответ на «как добраться до ближайшей больницы?» уйдет больше времени, чем человек «в силе ждать». «Сила ждать» тоже уменьшилась, «размер» нашего терпения уменьшился, и мы быстро устаем, если продолжительность видео большая, размер статьи большой (на самом деле продолжительность может не влиять на терпение, больше всего влияет полезная информация, если «воды» меньше или вовсе нет, то и терпеть ничего не приходится, посему данный пост написан «эз лаконик эз посибл»).
              Убедиться в этом
            • Боб Дорф: Как работать над стартапом

              • Translation
              Боб Дорф – известный предприниматель (вывел 8 компаний на IPO), консультант и ментор Стартап Академии, который начал свою карьеру в бизнесе, когда ему было 12 лет. Сегодня он является желанным участником многих конференций, потому что как никто другой знает, как правильно создавать успешные стартапы, прочно вставать с ними на ноги и превращать их к крупные компании.

              Недавно Боб Дорф выступал на конференции Business of Software 2012 где рассказал об основных принципах жизни «здорового» стартапа. Вашему вниманию основные тезисы его выступления в которые сам искренне верю и стараюсь ежедневно использовать:
              Читать дальше →
              • +15
              • 27.1k
              • 6
            • Как из болота вытягивать ITшника или об общении в стрессовых ситуациях

              • Tutorial

              Неприятности случаются… Неожиданно плохой фидбек, проблемы с заказчиком или коллегами, не повысили зарплату, странные баги, внезапный овертайм или закрытие проекта — подобные события запускают цепочку реактивных реакций:

              • Нет, тут есть ошибка -> сами гады -> а может все не так и плохо -> ппц -> ладно, давай выкручиваться

              В этой цепочке человек ведет себя реактивно, предсказуемо… и, часто, совершает глупости. Это напоминает машину состояний, входом в которую являются неожиданное событие. Состояния машины — цепочка психологических защит: отрицание, гнев, торг и депрессия, а выход — принятие новой информации.
              Из подобных состояний часто приходится вытаскивать коллег, заказчиков, и себя самого.
              Под хабракатом, кроме описания этапов, есть ответы на вопросы:

              • Как узнать каждое состояние и предугадать следующее?
              • Как помочь выйти себе и собеседнику из цепочки?
              • Что не делать, чтобы не усугубить ситуацию?
              Читать дальше →
            • Одно предложение, которое делает нас сильнее

                Это мой самый короткий топик, суть которого в одном предложении. Часто именно с этого предложения начинается успешный стартап, бизнес и любое другое начинание.

                Это шаблон описания сути вашей компании или проекта в одном предложении. Я открыл его для себя во время стажировки в США. Составив его, мы реально становимся сильнее. В последствии мне это помогло выбрать правильный курс, сфокусироваться и расставить приоритеты.
                Читать дальше →
                • +138
                • 91.1k
                • 51
              • Постсмысловая невротическая цивилизация

                  Дорогие мои, любимые, сохабровцы! Должен признаться вам, что я, на правах религиозного фанатика, являюсь совершенно счастливым человеком, но последних лет 16, из своих 32, наблюдаю вокруг все усугубляющуюся картину борьбы общества с абсурдностью бытия. Дело в том, что многие из моих знакомых работают в крупных компаниях, где их безжалостно гнобит офисная сансара, а у меня, уж так сложилось, никогда не было жесткого графика и довлеющей корпоративной машины за спиной, за что я денно и нощно возношу хвалу Аллаху. Находясь на значительном удалении от этих проблем и будучи в них эмоционально не вовлеченным, занимаясь наукой в свое удовольствие в НИИ Системных технологий (а на жизнь зарабатывая собственным ИТ-бизнесом), при помощи чудодейственного системного анализа я постараюсь обобщить тут все, что знаю по теме.
                  Читать дальше →
                • Как стать героем (Яков Сироткин на ADD-2010)

                  • Tutorial
                  Яков Сироткин, известный блогер и опытный разработчик любит раскрывать глаза молодых программистов на порой нелицеприятные стороны работодателей, объясняя при этом природу этих фактов.

                  Проблемы о которых не любят говорить на интервью, но с которыми приходится сталкиваться.
                  • Как успешно разрабатывать программное обеспечение вопреки трудностям?
                  • Понравится ли это начальству?
                  • Что за это будет?
                  • Как жить дальше?


                  Читать дальше →
                • Повышение работоспособности: как я просыпаюсь по утрам

                    image В предыдущем посте я рассказывал о методах борьбы с проблемой «не могу заснуть». Тема оказалась востребованной, и я решил написать о своих методах борьбы с проблемой «не могу проснуться».

                    Думаю, саму проблему описывать не стоит: большинство людей знают, как трудно проснуться утром, и какие неприятные ощущения возникают при одной мысли о том, что нужно покинуть тёплую постель, в которой так хорошо и спокойно… Но вставать как-то нужно, иначе будут проблемы. Лично мне было очень тяжело вставать по утрам. Но приходилось себя заставлять, из-за чего весь оставшийся день настроение было на минусе, да и постоянно клонило в сон.

                    А потом я, не без помощи интернета, выработал свой способ просыпаться так, чтобы минимизировать неприятные ощущения. Итак, как я просыпаюсь по утрам…
                    Читать дальше →
                  • Эффективный способ повысить умственную работоспособность

                      В прошлой заметке я писал о том, чего не стоит делать, если у вас проблемы с работоспособностью. В этой части я расскажу об эффективном способе, не требующем медикаментов. Медикаменты — это только поддержка, дополнение. Но способ этот требует организованности и силы воли, а потому так нелюбим большинством из нас.
                      Читать дальше →