• Построение автоматической системы модерации сообщений

      image
      Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time. В статье поговорим про построение автоматической системы модерации для обработки английского языка с использованием алгоритмов машинного обучения. Обсудим весь пайплайн работы от исследовательских задач и выбора ML алгоритмов до выкатки в продакшен. Посмотрим, где искать готовые датасеты и как собрать данные для задачи самостоятельно.
      Читать дальше →
    • N+7 полезных книг

        Привет! Это очередной традиционый список книг, оказавшихся полезными за год. Сугубо субъективный, конечно. Но я серьёзно рассчитываю, что вы подскажете ещё классных штук почитать.



        Думай медленно, решай быстро — Даниэль Канеман
        Это самое волшебное, что случалось за последние годы в плане гиковой литературы. Эта штука последовательно открывает когнитивные искажения и учит настраивать мышление. При этом увлекательно. Вообще, подход к тому, что мышление — это набор техник, которые можно тренировать и оттачивать, он, наверное, правильнее подхода «это шаманство». Канеман в отличие от следующей в списке книги, показывающей особенности реверсивного мышления, не даёт новых техник — но показывает, где и какие ошибки мы совершаем при обычных процессах. Такой серьёзный дебаг мозга.
        Читать дальше →
      • Непрерывная интеграция и развертывание Docker в GitLab CI

        В этом руководстве рассмотрим вариант настройки непрерывной интеграции и развертывания Flask приложения на Docker Swarm через GitLab CI.

        Сначала мы рассмотрим настройку рабочей среды, включая создание серверов для нодов Docker Swarm. Затем создадим простое приложение Flask с Redis и подготовим GitLab CI для непрерывной доставки.
        Читать дальше →
        • +21
        • 30.4k
        • 7
      • Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov

          Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса.

          Например, организовать ответы на часто задаваемые вопросы клиентов. Сделать это через колл-центр, виджет на сайте или соцсети, наняв сотрудников — дело нехитрое. Актуальная задача — оптимизировать процесс, чтобы он осуществлялся автоматически, с минимальными погрешностями, и еще и в удобном пользовательском интерфейсе. Например, в голосовом помощнике «Алиса» от «Яндекса».

          В этой статье мы хотим рассказать, как эффективно решить задачу ответов на FAQ с помощью обработки естественного языка и как интегрировать решение в «Алису».


          Читать дальше →
          • +14
          • 5.4k
          • 9
        • Клиентские системы аналитики

            Представьте, что вы начинающий предприниматель, который только что сделал сайт и мобильное приложение (например, для магазина пончиков). Вы хотите подключить пользовательскую аналитику с небольшим бюджетом, но не знаете как. Все вокруг пользуются Mixpanel, Facebook analytics, Яндекс.Метрику и другими системами, но непонятно, что выбрать и как пользоваться.


            image

            Читать дальше →
          • Перенос веб-сервиса на Яндекс.Облако с AWS

              Всем привет! Меня зовут Виталий Давыдов, я основатель компании Poteha Labs.

              В конце прошлого года Яндекс запустил новый продукт для разработчиков — Яндекс.Облако, который предоставляет вычислительные мощности и сопутствующие сервисы для обработки и хранения данных. В этой статье я расскажу о том, как мы оценивали перенос одного из наших проектов на Облако, о его особенностях и тарифах.

              Обзор Яндекс.Облака
              Читать дальше →
            • Цитаты из книги «Кодеры за работой»


              Самообразование начинается с чтения полезных книг.

              Одной из таковых, с моей точки зрения, является книга Питера Сейбела «Кодеры за работой: Размышления о ремесле программиста» (Peter Seibel, Coders at work: Reflections on the Craft of Programming, 2009) — это 15 интервью с наиболее известными профессионалами в нашей области — Дональдом Кнутом, Кеном Томпсоном, Брэдом Фицпатриком и другими.

              Книга не содержит детальных рецептов о том, как стать правильным программистом. Это книга — персонифицированный взгляд в историю computer science и программирования.

              Почему мне показалось это важным? Вот цитата из книги:
              Я на каждом шагу сталкиваюсь с тем, что люди не осознают всё великолепие нашей истории. Многим программистам кажется странной мысль о том, что в 1970-х люди тоже что-то знали, понимали и умели. (Дональд Кнут, стр.523)
              И, главное — интервьюируемые так четко и ясно излагают свое виденье процесса разработки (равно как и других аспектов программирования), что я решил сделать небольшую подборку наиболее интересных, с моей точки зрения, цитат.
              Читать дальше →
            • Осторожно при покупке MacBook. Высокотехнологический способ мошенничества в оффлайне

                Доброго всем времени суток дорогие друзья. Давно я не писал на хабре и очень жаль что моя новая публикация касается мошенников. И не просто мошенников, про которых я где-то прочитал, а про мошенников, которые меня лично обманули.

                Цель этой статьи — обнародовать достаточно хитрый и не тривиальный вид мошенничества, на который я натолкнулся буквально на прошлой неделе. Дело сейчас находится в следственном отделе, поэтому любителей детективов я сразу разочарую: деталей следствия и деталей дела сейчас я разглашать не буду. Только после того, как дело будет закрыто.
                Вторая цель — это найти таких же обманутых как я, чтоб получить компенсацию и пришить к делу еще одно/два/три заявления.

                Как вы догадались — преступники найдены (забегая вперед, скажу, что это произошло естественно без помощи полиции). О том, чего стоит опасаться при покупке нового или б/у макбука, а также о том, как были найдены и пойманы преступники читайте под катом.

                Не хочу наступить на те же грабли.
              • Будущее вселенной

                • Translation
                Как-то я наткнулся на интересную тайм-ленту предполагаемых событий вселенной на википедии, но она была довольно скудной и без картинок, так что я залез в гугл и поискал «future time line», и первое, что увидел, — этот сайт. Мне очень понравилась эта статья и я решил перевести ее, заодно и вычитать ее получше.
                Все, что здесь изложено — лишь предположения и теории, вполне возможно, что все или некоторые события будут не такими. Весь пост представлен в виде тайм-ленты от 10000 до 10100 года, и содержит много интересных картинок и ссылок на вики, читать много и интересно.



                10 000 – 15 000 Н.Э.


                Гиперновая из звездной системы Эта Киля начинает воздействовать на наш регион Галактики


                Эта Киля – одна из самых больших и нестабильных звезд в нашей Галактике. Ее температура настолько высока, что ее гравитация не в состоянии удерживать газ, утекающий с ее поверхности по сформированным потокам вверх, от нее. Она впервые была замечена в 1843 году, когда ее звездная величина (читай величина свечения) достигла -0.8, сделав ее второй по яркости звездой в ночном небе.
                Она в дальнейшем утихла на какое-то время, и снова «засветила» в конце 1990-х. Эта флуктуация продолжается с периодичным вспыхиванием и затуханием, и будет продолжаться до тех пор, пока не случится неизбежное. Не в состоянии совладать с собственной массой и плотностью, она коллапсирует и, потом, превращается в одну из самых смертельных сил, известных в природе – в гиперновую.
                На какое-то время, этот колоссальный взрыв освещает всю галактику. Это будет достаточно ярко, чтобы заметить в дневное время с Земли, в то время как ночью это сравнимо с полной луной.
                Но гораздо больше вреда принесут убийственные струи гамма-излучения, выброшенные умирающей звездой. Они будут выброшены на таких высоких энергиях, что даже системы в тысячах световых лет от Эта Киля будут задеты. В результате, на многочисленных планетах в нашем регионе Галактики произойдет вымирание живых организмов в это время.

                Читать дальше →
              • Наш путь через тернии к звездам. История былого величия и мечты о будущем…

                  Последнее время в Сети активизировалось брожение вокруг космических изысканий. И это понятно, то там новые солнечные батареи изобрели, с удивительным КПД, то здесь микроспутники стандартизировали и Arduino в космос запустили, то то, то это. А когда Curiosity удачно примарсился и стал передавать изображения, тут уж сам Бог велел общественности взорваться в обсуждениях.
                  И это закономерно, назрело уже, так сказать. Больно уж много времени прошло с полета первого спутника, первого человека и высадки на луну. А воз, как говорится, и ныне там. Кардинально нового в космической отрасли ничего не произошло, никаких громких прорывов, только улучшения и улучшения… Отсюда и повышенный интерес к теме, люди чувствуют, что пришло время для новых свершений.

                  Далее прошу под кат, будет много эмоций и фотографий.
                  Читать дальше →
                • 20 самых популярных лекций TED Talks всех времён

                    Фонд TED с 1984 года проводит конференции, выбирая для них самые интересные темы и самые инновационные идеи. Например, на первой конференции 1984 года были представлены только что выпущенный Macintosh, инновационный компакт-диск от Sony, математик Бенуа Мандельброт продемонстрировал практическое применение своей теории фракталов, а специалист по искусственному интеллекту Марвин Минский разъяснил новую модель разума.

                    Каждое выступление (лекция) на конференции TED называется TED Talk и публикуется в онлайне, сейчас на сайте скопилось уже более 400 видеозаписей. Поскольку все они посвящены невообразимо интересным темам, даже сложно предположить, какие пользуются наибольшим интересом у зрителей. Официальный блог TED Blog опубликовал список Топ-20 лекций за все времена по количеству просмотров, собрав статистику с TED.com, Youtube, iTunes, Hulu, встроенных фреймов, количества скачиваний и т.д.
                    Читать дальше →
                  • Очередная реализация ActiveRecord на Objective-C

                      Хочу поделиться очередной реализацией паттерна ActiveRecord на Objective-C, а конкретно для iOS.

                      Когда только начинал использовать CoreData в iOS разработке, то уже тогда появлялись мысли о том, что это взаимодействие можно как-то упростить. Спустя некоторое время я познакомился с ActiveRecord из RubyOnRails, и тогда я понял чего мне не хватает.
                      Немного поискав на гитхабе нашел массу реализаций, но по разным причинам они мне не понравились. Одни написаны для CoreData, а мне она не нравится, в других нужно создавать таблицы руками, или писать raw sql-запросы. А в каких-то код был до неприличия ужасен, я и сам порой пишу не очень чисто, но огромный забор из вложенных if/switch/if/switch это чересчур.
                      В конце концов решил написать свой велосипед, без CoreData и без SQL для пользователя.
                      Главной причиной этой разработки был, есть и, надеюсь, будет — интерес к разработке.

                      Вот что из этого всего вышло.
                      А под катом небольшое описание возможностей и реализации (на самом деле много текста и кусков кода, резюме в самом конце статьи).
                      Читать дальше →
                    • Видеокурс по DevTools от Google и Codeschool

                        image

                        Известные нам по гениальным обучающим скринкастам Rails for Zombies, Try Ruby и Try Git — команда Codeschool объединилась с корпорацией добра для создания Try DevTools — подробнейшего обучающего курса из семи глав, который, конечно же, является абсолютно бесплатным.
                        Читать дальше →
                      • Знакомство с Processing 1.0

                          Цель написания этого топика — познакомить вас с замечательным языком Processing. Этот ЯП не может похвастать широкой функциональностью или богатыми выразительными средствами, но он способен предложить кое-что другое…
                          Читать дальше
                        • This is the Zodiac speaking

                            image
                            Зодиак – серийный убийца, совершавший свои преступления в США с 1968 по 1969 год.
                            Сам Зодиак приписывал себе 37 убийств, однако никакими фактами это не подтверждалось и на данный момент доказано, что он совершил только 5 убийств и ещё двое выжили после его нападения.
                            Зодиака нередко называют Джеком Потрошителем XX века из-за того, что он, так же как и его британский «коллега» не был пойман.
                            Считается, что Зодиак имел психическое расстройство – он желал к себе интереса. И для удовлетворения этого желания использовал письма, которые отправлял в различные издания. Только некоторые из них были не совсем обычными – это были шифрограммы.
                            Читать дальше →
                          • Чистый C++


                              Давайте знакомиться.
                              Я — Серега. (На фото — не я). Работаю в Intel. Вместе с коллегами пишу GPA. Программирую вот уже скоро 20 лет как. Ну, это если считать со школы. Последнее время накопилось много разных мыслей, которыми хочется с кем-то поделиться. Рассказать кому-то о том, что такое хорошо, а что такое плохо. Рассказывать можно и пустоте (так даже спокойней, никто не отвлекает и не суется со Своим Самым Правильным мнением), но это не очень эффективно. Поэтому буду сливать свои мысли сюда. Вдруг кому-нибудь пригодится…

                              В качестве введения
                              Многие считают, что есть два родственных языка — C и C++. При этом C++ — это якобы тот же C, только с двумя плюсами, т.е. ООП. Это очень распространенное заблуждение. «На самом деле все не так». C и С++ — это совершенно разные языки, не имеющие между собой практически ничего общего. Однако исторически так сложилось, что C++ синтаксически совместим с C, т.е. может компилировать программы, написанные на C. Из-за этой особенности четкая грань между языками отсутствует и существует множество кода, написанного на жуткой смеси этих языков. Причем пропорция этой смеси может меняться даже в рамках одной программы у одного автора.
                              Читать дальше →
                            • iOS Human Interface Guidelines на русском языке



                                Мои коллеги делают правку перевода iOS HIG с английского на русский языки. Когда они все закончат, выложат в интернет целиком, это будет самый полный перевод, самый качественный и самый свежий из ныне существующих.
                                Он не будет идеальным, но с вашей помощью мы можем сделать его лучше. Перевод имеет единую терминологию, что облегчает понимание Гайда целиком.

                                Пока идет правка перевода — главы Гайдлайна, по готовности, распространяются в форме рассылки. Когда закончим, то перевод руководства будет выложен целиком.

                                Подписаться на рассылку можно тут: http://guide.ramotion.com

                                После подписки первое письмо придет не сразу, скорей всего на следующий день.
                              • MVC умер, пришло время MOVE

                                • Translation
                                MVC феноменальная идея. У вас есть модели, самостоятельные кусочки состояний, представления которые самостоятельные кусочки UI, и контроллеры которые самостоятельные кусочки… эм?

                                Что?


                                Я конечно не первый кто это замечает, но проблема с MVC в том что в контроллеры пихают слишком много кода.

                                Чтобы исправить это, я использую новый паттерн: MOVE. Models, Operations, Views и Events.
                                Читать дальше →
                              • Свободный редактор GIMP — теперь нативное приложение для Mac OS X



                                  Популярный open source графический редактор GIMP (свободная и бесплатная альтернатива редактору Adobe Photoshop) наконец-то портирован на Mac OS X в виде нативного приложения!
                                  Читать дальше →
                                • Насколько крупны порносайты?



                                    Хорошо известна старая поговорка, гласящая, что Интернет был создан для порнографии. Увеличение скорости соединения по всему миру, онлайн-вещание видеороликов, видеочаты и живое общение, оптимизация трафика, огромные хранилища и безотказный хостинг — всё это лишь следствия запросов порноиндустрии.

                                    Согласно отчету принадлежащей Google рекламной сети DoubleClick, которая отслеживает посетителей по cookies, в числе 500 самых посещаемых сайтов сети есть десятки порнографической направленности. Xvideos, самый крупный порносайт мира, получает 4,4 миллиарда просмотров страниц в месяц, что в три раза больше, чем CNN или ESPN, и в два раза больше, чем Reddit. LiveJasmin, YouPorn, Tube8 и Pornhub — огромные веб-сайты, посещаемость которых ниже лишь гигантов уровня Google или Facebook.
                                    Читать дальше →