Мы сделали агрегатор новостей с фокусом на криптовалюты — intwt.com

    Привет Хабр!

    Рынок криптовалют растет каждый день, а вместе с ним растет и кол-во информации.

    Поэтому мы решили запустить проект intwt.com — это агрегатор новостей и постов из соцсетей для трейдеров и всех кто интересуется криптовалютами.



    Простой, удобный и понятный интерфейс сервиса призван сделать его реально эффективным инструментом для мониторинга важной информации.

    На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно.

    Каждый материал анализируется системой на упоминания криптовалют и популярность в соцсетях.

    Используя фильтр новостей вы можете настроить свою индивидуальную ленту, сохранить ее в своем аккаунте и если нужно включить трансляцию в свой телеграм канал.

    Мы постоянно отслеживаем важные индикаторы по 2716 криптовалютам и следим за появлением новых валют на рынке.

    Используя специальный интерфейс для просмотра списка криптовалют вы можете видеть лидеров роста и падения на рынке.

    Для каждой валюты можно посмотреть последние новости и все индикаторы на отдельной странице, например такие как Цена, Капитализация и т.д., а также график цены за весь период существования валюты на рынке.

    В личном кабинете вы можете сформировать портфель криптовалют и отслеживать его динамику на графике.

    На данный момент о монетизации не думаем, т.к. сервис совсем молодой и набирает аудиторию, но скорее всего это будет реклама и платный доступ по подписке к PRO функциям.

    Немного технических деталей


    Сервис можно разделить на две части

    1. Фронтенд представляет из себя SPA приложение написанное на Vue и бэкенд написанный на Go, который раздает минимальный HTML с контентом для поисковиков и код для запуска SPA приложения. Такой подход позволяет избежать серверного рендеринга и дружить с поисковиками. Хотя Яндекс нас сразу заблокировал, как дорвея.
    2. Парсер выделен в отдельный сервис со своей базой и админкой, так чтобы его можно было без проблем вынести на отдельный сервер. Здесь мы использовали Go, PostgreSQL, Beanstalkd для организации очередей парсинга и Rotating TOR proxy который позволяет избежать блокировки по IP. Для парсинга некоторых сайтов приходится использовать browserless chrome, чтобы обойти защитные механизмы. Админка для парсера сделана на Laravel.

    Все сервисы работают внутри Docker, на данный момент запущено 19 контейнеров. Все это деплоится через GitLab CI. Для мониторинга системы используем Prometheus и Grafana, а для лога ошибок Sentry.

    Что планируется дальше?


    Разработка мобильного приложения для ios и android, создание платформы для специалистов с возможностью размещать авторские статьи, видео и обзоры по криптовалютам. Подписка на автора. Ну и конечно автоматизированный регрессионный анализ влияния новостей на движение цены валюты.

    Будем рады услышать критику или идеи для развития проекта.

    P.S. настоящий автор поста Дмитрий, все вопросы к нему.
    Поддержать автора
    Поделиться публикацией

    Комментарии 11

      0

      Можно выбрать язык сайта, но почти все новости на других языках, да и не новости а просто лента из твиттера, почему просто не подписаться на твитерре на эти новости.

        +1
        Язык сайта это язык интерфейса. В фильтре новостей можно выбрать язык новостей, например русский и английский. Также там можно указать другие настройки фильтра. Постов из твиттера действительно много, но если они вам не нужны, можете отключить соцсети используя фильтр.
        +1

        Хайп же прошел и широкие массы забили на криптовалюты. Гопники у подъезда уже не подходят с фразами "есть крипта?!, а е.....".
        Кто ЦА?!

          0
          На данный момент ежедневный объем торгов криптовалютами ~50 млрд долларов, а это значит что тема все еще актуальна. Заметил такую тенденцию, что если биткоин начинает заметно рости, то и трафик на сайте поднимается.
            0
            На данный момент ежедневный объем торгов криптовалютами ~50 млрд долларов

            Очень спорная цифра, так как:
            1) большинство бирж специально накручивают объёмы торгов, чтобы быть повыше в CoinMarketCap;
            2) самые крупные сделки проводятся мимо бирж, по тихому, через OTC (это заметно по движению активов на кошельках «китов»)
            0
            Пару раз за последний квартал получал оплату в криптовалюте.
            ¯ \ _ (ツ) _ / ¯
              0
              А теперь расскажите где/кем работаете и все встанет на свои места.
                +1
                Программистом на удаленке. И что?
            +1
            Конкуренции на этом рынке, конечно много. Сами думали о похожем продукте, но отказались. Буду следить.

            А есть/будет какое-то разделение по тематике — например, я хочу отслеживать только связанное с лигал или биржами или только о разработке, без маркетинга и возгласов. Или только официальные анонсы, без частных разговоров?
              0
              Хорошая идея, подумаем над этим. Можно выделить основные категории и научить систему автоматически классифицировать посты по этим категориям.
              +1
              Спасибо за публикацию!
              Для трейдеров занимающихся виртуальной валютой, вы сделали большой объем работы. Думаю, посещая Ваш сайт, каждый найдет себе что-то интересное, хотя объем представленной там информации очень большой.

              «На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно»

              Мне кажется, посетителю сайта будет не так просто извлекать ценные знания из 3000 новых материалов. Лента коротких блоков информации – это хорошо. Может, стоит подумать об обработке этих коротких блоков информации, с целью их обобщения по тем или иным направлениям для удобства пользователей?
              В целом, молодцы. Сделан хороший первый шаг. Надеюсь, на этом не остановитесь. (Если сочтете интересным алгоритмическую поддержку с моей стороны – напишите: ericgrig@gmail.com)

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое