• Масштабируемый Продакшн-реди Телеграм бот на Django

    • Tutorial

    На хабре очень много статей о том, как создать простейшего Телеграм бота с кнопками и логикой. Есть инструкции, как это все запустить на сервере. В этой статье я расскажу, как делать масштабируемых ботов "для продакшена", которыми смогут пользоваться сотни тысяч пользователей.

    Читать далее
  • Что почитать (НаучПоп / Научная Фантастика)

      Некоторые время назад сильно увлёкся потреблением информации с научно-популярным уклоном. Но как не заблудиться в миллионах книг? Ресурс то ограничен. А значит придётся выбирать.

      Удалось собрать библиотеку по 4 разделам:


      Раздел 1. Законы науки и мышление
      (Математика, Рациональность, Научный метод, Когнитивные искажения, Нейрофизиология, Ошибки мышления, Доказательная медицина)

      Раздел 2. Законы природы
      (Физика, Математика, Теория относительности, Квантовая механика, Астрофизика, Астрономия, Изобретения и открытия)

      Раздел 3. Законы жизни
      (Абиогенез, Теория эволюции, Молекулярная биология, Биоинформатика, Биология клетки, Антропогенез)

      Раздел 4. Художественный научпоп / Научная фантастика

      Обменяться рекомендациями
    • Как написать простого бота для ВК и Телеграм

      • Tutorial


      Мы уже упоминали, как мы предоставляем бесплатные VPS для студентов, чтобы они учились программировать. Один из наших подопечных Павел сделал простеньких телеграм и ВК ботов для FAQ. Они очень простые, тем не менее, начинающему программисту не помешают комментарии опытных ребят — поэтому публикуем его рассказ — Павел будет рад, если в комментариях ему дадут советы.
      Читать дальше →
    • Гидропоника. Выращиваем сверхострый чили и заставляем всех его есть


        Полтора килограмма термоядерного Тринидадского Скорпиона я в итоге собрал с одного куста на гидропонике.


        У меня было много довольно странных хобби. Некоторые приводили к странным эффектам, вроде массового домашнего производства домашнего порошка для посудомойки. В список к этому странному ряду я решил добавить еще один пункт. Теперь я развлекаюсь еще и с гидропоникой. Причем эффект получился еще более адовый, чем я ожидал.


        Небольшая часть урожая


        Тема чудовищно огромная, охватить ее за один пост вряд ли получится, поэтому я постараюсь ограничиться описанием принципа, почему это вообще работает и дать максимально исчерпывающий мануал, чтобы каждый смог из желудей и спичек повторить мой эксперимент. В самом начале будет много теории. Можете ее проскочить и сразу перейти к нужным покупкам, а вернуться к ней позже.


        Сегодня в меню


        1. Что такое гидропоника и почему она гораздо проще, чем почва с червячками
        2. Никаких дорогих бутылочек. Мешаем компоненты по три рубля за ведро
        3. Питание растения как алгоритм
        4. Как быстро собрать прототип гидропонной установки
        5. Что такое capsicum chinense и как выжить при дегустации
        Читать дальше →
      • Как сделать интерактивную карту с помощью Python и open source библиотек

        • Перевод
        • Tutorial

        Сегодня делимся с вами пошаговым руководством создания интерактивных карт для веб-приложения или блога. Просто сохраните эту статью в закладках. Хоть и существует, например, библиотека d3.js, которая может создавать пользовательские карты, есть несколько инструментов еще проще. В этом посте посмотрим на три простые в обращении, но мощные библиотеки Python с открытым исходным кодом и поработаем с ними.
        Читать дальше →
        • +16
        • 14,6k
        • 3
      • CISSP: что нового и чем вооружиться?

          Совсем недавно в Rambler Group появился сертифицированный специалист CISSP. Он готов поделиться своим опытом и рассказать, что дает этот сертификат, какие изменения произошли в экзамене за последние 2 года и как эффективно к нему подготовиться.



          Привет, я Саша, директор по методологии, контролю кибербезопасности и управлению рисками, сертифицированный специалист CISSP. После получения сертификата мне чаще всего задают эти два вопроса:

          1. сложно было сдать экзамен?
          2. сколько ты готовился?

          И вот, отвечая в очередной раз, я решил поделиться с вами своим опытом подготовки и сдачи экзамена. Тем более самая свежая статья про CISSP на русском языке датирована далеким 2018 годом, а за это время уже многое успело измениться. В лучших традициях зарубежных коллег в конце поста я оставил список материалов, по которым готовился и получил заветный сертификат, а также блок моих персональных рекомендаций.
          Читать дальше →
          • +10
          • 2,6k
          • 1
        • Частотный анализ русского текста и облако слов на Python

          Частотный анализ является одним из сравнительно простых методов обработки текста на естественном языке (NLP). Его результатом является список слов, наиболее часто встречающихся в тексте. Частотный анализ также позволяет получить представление о тематике и основных понятиях текста. Визуализировать его результаты удобно в виде «облака слов». Эта диаграмма содержит слова, размер шрифта которых отражает их популярность в тексте.

          Обработку текста на естественном языке удобно производить с помощью Python, поскольку он является достаточно высокоуровневым инструментом программирования, имеет развитую инфраструктуру, хорошо зарекомендовал себя в сфере анализа данных и машинного обучения. Сообществом разработано несколько библиотек и фреймворков для решения задач NLP на Python. Мы в своей работе будем использовать интерактивный веб-инструмент для разработки python-скриптов Jupyter Notebook, библиотеку NLTK для анализа текста и библиотеку wordcloud для построения облака слов.
          Читать дальше →
          • +7
          • 14,5k
          • 3
        • Обзор российского законодательства по защите критической информационной инфраструктуры

            Друзья, в предыдущей публикации мы рассмотрели вопросы защиты персональных данных с точки зрения российского и международного законодательства. Однако существует и еще одна актуальная тема, касающаяся большого количества российских компаний и организаций — мы говорим о защите критической информационной инфраструктуры. Защищенность и устойчивость ИТ-систем как отдельных крупных компаний, так и целых отраслей промышленности в современных условиях играют решающую роль. Во всем мире фиксируются попытки осуществления целенаправленных и изощренных кибератак на объекты инфраструктуры, и не обращать внимания на такие факты было бы весьма недальновидно. Создание ГосСОПКА (государственной системы обнаружения, предупреждения и ликвидации последствий компьютерных атак на информационные ресурсы Российской Федерации), а также подписание Федерального Закона от 26 июля 2017 г. № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации» и разработка соответствующих подзаконных актов послужили логичным ответом на вызовы текущих реалий.

            Рассмотрим этот аспект информационной безопасности подробнее. Вперёд!

            image
            Читать дальше →
            • +4
            • 32,8k
            • 6
          • Пишем модель угроз

            • Tutorial


            Всем привет, мы продолжаем свой цикл статей по «бумажной безопасности». Сегодня поговорим о разработке модели угроз. Если цель прочтения этой статьи в получении практических навыков, то лучше сразу скачать наши шаблоны документов, в котором есть и шаблон модели угроз. Но и без шаблона под рукой со статьей тоже можно ознакомиться в общеобразовательных целях.

            Читать дальше →
            • +25
            • 106k
            • 8
          • Визуализация статистики Яндекс Директ своими руками. От API до Data Studio

            • Tutorial
            Мне, как специалисту по рекламе, требуется постоянно присматривать за клиентами. В этом мне помогает Data Studio.
            Однако специалистам по рекламе редко выделяют бюджеты на аналитику, поэтому приходится делать все своими руками.

            Что нужно сделать чтобы визуализировать Яндекс Директ в Data Studio:

            1. Получить токен от своего аккаунта (за этим в справку Директа)
            2. На Python Написать запрос к серверу Яндекс Директ
            3. Сложить статистику в Pandas Data Frame
            4. Отправить данные в Google Big Query
            5. Построить визуализацию в Data Studio на основе данных в Google Big Query


            Читать дальше →
          • «Просто похудеть» — непросто

              Интернет наводнен статьями о том, как похудеть "просто съедая меньше чем потратил" и отчетами об успешном опыте некоторых везунчиков. Чего нету (ну или очень мало) в интернете — это отчетов о том, как миллионы людей безрезультатно пытаются просто "съесть меньше", садясь на все новомодные диеты и неизменно возвращаясь к тому, с чего начинали, а иногда и скатываясь по шкале индекса массы тела в еще более красную зону.


              В этой статье я постараюсь описать наиболее частые причины неудач и дать некоторые лайфхаки, который позволят обмануть свой мозг и наконец достигнуть своего так желаемого целевого веса.

              Хакнуть свой мозг
            • Выбираем канал для точки доступа Wi-Fi. Исчерпывающее руководство

                2,4 ГГц — это плохо. 5 ГГц — это хорошо. 6 ГГц — это ещё лучше, но послезавтра. Все это знают, кого я тут учу, в самом деле. Всё это хорошо, только делать-то что, когда ты такой, как умный, открываешь какой-нибудь Wi-Fi Explorer, а там сатанизм и этажерки, как на скриншоте?



                Шаг первый — поплакать. Шаг второй — нырнуть под кат. Вопрос простой, а ответ — нет.
                Когда это нас останавливало?
              • Как помочь pandas в обработке больших объёмов данных?

                • Перевод
                Библиотека pandas — это один из лучших инструментов для разведочного анализа данных. Но это не означает, что pandas — это универсальное средство, подходящее для решения любых задач. В частности, речь идёт об обработке больших объемов данных. Мне довелось провести очень и очень много времени, ожидая, пока pandas прочтёт множество файлов, или обработает их, вычислив на основе находящихся в них сведений какие-то интересующие меня показатели. Дело в том, что pandas не поддерживает механизмы параллельной обработки данных. В результате этому пакету не удаётся на полную мощность воспользоваться возможностями современных многоядерных процессоров. Большие наборы данных в pandas обрабатываются медленно.



                Недавно я задался целью найти что-то такое, что позволит помочь мне в деле обработки больших данных. Мне удалось найти то, что я искал, я встроил найденный инструмент в свой конвейер обработки данных. Я использую его для работы с большими объёмами данных. Например — для чтения файлов, содержащих 10 гигабайт данных, для их фильтрации и агрегирования. Когда я справляюсь с решением подобных задач, я сохраняю то, что у меня получилось, в CSV-файле меньшего размера, который подходит для pandas, после чего приступаю к работе с полученными данными с помощью pandas.

                Вот блокнот Jupyter, содержащий примеры к этому материалу, с которыми можно поэкспериментировать.
                Читать дальше →
              • Умирает ли RuTracker? Анализируем раздачи

                Любая деятельность генерирует данные. Чем бы вы ни занимались, у вас наверняка на руках кладезь необработаной полезной информации, ну или хотя бы доступ к его источнику.


                Сегодня побеждает тот, кто принимает решения, основываясь на объективных данных. Навыки аналитика как никогда актуальны, а наличие под рукой необходимых для этого инструментов позволяет всегда быть на шаг впереди. Это и является подспорьем появления данной статьи.


                У вас есть свой бизнес? Или может… хотя, не важно. Сам процесс добычи данных бесконечен и увлекателен. И даже просто хорошо покопавшись в интернете можно найти себе поле для деятельности.


                Вот, что мы имеем сегодня – Неофициальная XML-база раздач сайта RuTracker.ORG. База обновляется раз в полгода и содержит в себе информацию о всех раздачах за историю существования данного торрент-трекера.


                Что она может рассказать владельцам рутрекера? А непосредственным пособникам пиратства в интернете? Или обычному юзеру, увлекающемуся аниме, например?

                Читать дальше →
              • Как разработчикам Myst удалось уместить на одном CD-ROM целую вселенную

                • Перевод
                image

                Привет, я Рэнд Миллер, соавтор «Myst». Мы поставили перед собой задачу создать реальный мир «Myst», но болезненно ударились о реальные ограничения CD-ROM. Играми я начал заниматься ещё с начала старшей школы, и я уже не молод, то есть это было довольно давно. Игры, которые у меня тогда были на компьютере, непохожи на современные. Меня очень захватила игра Lunar Lander. Я помню её до сих пор. В ней не было графики. Это была строка текста на ЭЛТ-экране, сообщавшая мне, насколько далеко я был от лунной поверхности, насколько быстро я перемещался, сколько топлива осталось, а ещё вопросительный знак. Нужно было вводить количество топлива, которое вы хотите сжечь, нажимать на ввод, и так повторять, пока не упадёшь на поверхность.

                В начале старшей школы друг из колледжа взял меня с собой в компьютерный центр Университета Нью-Мексико. Я увидел эту игру на экране, и это была настоящая магия. Для меня это была магия. И он сказал: «Есть и другие игры», и что можно самому делать игры. «Вот, ты пишешь программы, чтобы они делали это». Для меня это изменило всё, и с тех пор я захотел этим заниматься. Cyan была образована примерно в середине 80-х, и в то время нам казалось, что это очень многозначное название, поэтому мы можем заниматься чем угодно. У нас с моим братом Робином была идея голубого неба, и она нам понравилось, поэтому мы выбрали такое название.
                Читать дальше →
              • Ускоряем numpy, scikit и pandas в 100 раз с Rust и LLVM: интервью с разработчиком Weld

                Привет, Хабр! Представляю вашему вниманию перевод статьи «Interview with Weld’s main contributor: accelerating numpy, scikit and pandas as much as 100x with Rust and LLVM».

                Проработав несколько недель с data science инструментарием в Python и R, я начал задаваться вопросом, а нет ли какого промежуточного представления (Intermediate representation, IR) наподобие CUDA, которое можно использовать в разных языках. Должно же быть что-то получше, чем реимплементация и оптимизация одних и тех же методов в каждом языке. В дополнение к этому было бы неплохо иметь общую среду выполнения (common runtime), чтобы оптимизировать всю программу целиком, а не каждую функцию в отдельности.

                После нескольких дней исследования и тестирования различных проектов я нашел Weld (можете ознакомиться с академической статьей).

                К моему удивлению одним из автором Weld является Матей Захария (Matei Zaharia), создатель Spark.

                Итак, я связался с Шоумиком Палкаром (Shoumik Palkar), основным контрибьютором Weld, и взял интервью у него. Шоумик — аспирант факультета компьютерных наук в Стэнфордском университете, куда поступил по совету Матея Захарии.

                Weld еще не готова к промышленному использованию, но весьма перспективна. Если вам интересно будущее data science и Rust в частности, вам понравится это интервью.
                Читать дальше →
              • 70 офигенных видеокурсов от мировых звёзд

                  image

                  Хотели бы вы поучиться освоению космоса у Криса Хэдфилда, разработке игр у создателя SimCity Уилла Райта, писательскому мастерству у Дэна Брауна, Нила Геймана или Малькольма Гладуэлла, актерскому мастерству у Натали Портман или Кевина Спейси, шахматам у Гарри Каспарова, а режиссуре у Мартина Скорсезе и Дэвида Линча?

                  Предлагаю вашему вниманию 70 курсов с MasterClass, они платные, но тот кто ищет, тот найдет и бесплатно.

                  А какие суперкрутые видеокурсы встречали вы?

                  А ещё, учите английский, без него никак, «нету ножек, нету мультиков».

                  Разработка игр
                  Освоение космоса
                  Кинопроизводство
                  Актерское мастерство и перформанс
                  Музыка
                  Писательство и журналистика
                  Кулинария и вино
                  Спорт, балет и покер
                  Мода и дизайн
                  Экономика, бизнес и лидерство
                  Научное мышление
                  Переговоры (от ФБР)
                  Экстремальная фотография
                  Сохранение природы
                  Читать дальше →
                • LDA на статьях LiveJournal + визуализация

                    Как-то раз стало интересно, какие темы выделит LDA (латентное размещение Дирихле) на материалах «Живого Журнала». Как говорится, есть интерес — нет проблем.

                    Для начала немного про LDA на пальцах, вдаваться в математические подробности не будем (кому интересно — почитает). Итак, LDA — является одним из наиболее распространенных алгоритмов для моделирования тем. Каждый документ (будь то статья, книга или любой другой источник текстовых данных) представляет собой смесь тем, а каждая тема представляет собой смесь слов.


                    Картинка взята из Википедии
                    Читать дальше →
                  • 5 малоизвестных секретов Pandas

                    • Перевод

                    Pandas не нуждается в представлении: на сегодняшний день это главный инструмент для анализа данных на Python. Я работаю специалистом по анализу данных, и несмотря на то, что пользуюсь pandas каждый день, не перестаю удивляться разнообразию функционала этой библиотеки. В этой статье я хочу рассказать о пяти малоизвестных функциях pandas, которые я недавно узнал и теперь продуктивно использую.

                    Для новичков: Pandas — это высокопроизводительный набор инструментов для анализа данных на Python с простыми и удобными структурами данных. Название произошло от понятия «panel data», эконометрического термина, которым называют данные о наблюдениях одних и тех же субъектов в течение разных периодов времени.

                    Здесь можно скачать Jupyter Notebook с примерами из статьи.
                    Читать дальше →
                    • +45
                    • 12,7k
                    • 1
                  • 10 отличных Github репозиториев, которые должен знать каждый веб-разработчик

                    • Перевод

                    Кроме огромных репозиториев с источниками для подготовки к интервью, здесь много чего интересного


                    Я собрал список из десяти отличных репозиториев на Github, которые помогут вам существенно расширить свои знания.


                    image


                    А я его перевел, т.к. показалось, что пост многим будет интересен. Перевод очень вольный: я опустил нерелевантные промо-ссылки и гипер эмоциональные похвалы автора оригинала, чтобы оставить только суть. Еще, обновил цифры, чтобы информация была более актуальной к моменту публикации этого перевода. Итак, перейдем к списку.
                    Читать дальше →
                    • +62
                    • 82,1k
                    • 8