Pull to refresh
22
Karma
14.1
Rating
Кирилл Косолапов @kirillkosolapov

CEO DATA4

Пушкин – это нейросеть? Учимся распознавать сгенерированный текст

Amvera corporate blog Semantics *Mathematics *Machine learning *Artificial Intelligence

С появлением в 2020 году нейронной сети GPT3 и других архитектур – трансформеров, генерируемые тексты стали невероятно правдоподобными. Такими правдоподобными, что отдельно взятый текст, не несущий большой смысловой нагрузки, стало сложно отличить от написанного человеком. В статье мы разберем подход к определению сгенерированных текстов. И заодно выясним, является ли, по мнению алгоритма, Пушкин (и другие деятели искусства) искусственной нейронной сетью.

Суть подхода

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 1K
Comments 2

Используем нейросеть для генерации стихов в стиле «Евгения Онегина»

Amvera corporate blog Semantics *Algorithms *Machine learning *

Мне нравится концепция, согласно которой речь – это, в первую очередь, не способ коммуникации, а отражение сознания. В таком случае стихи - это отражение красоты сознания. Но сможет ли нейросеть сгенерировать стихотворения, похожие на рукотворные? Давайте попробуем сделать такой алгоритм.

Шаг 1 – выбираем архитектуру

Тренд последних лет в обработке естественных языков (NLP) - использование нейронных сетей. А если смотреть более узко, то - нейронных сетей архитектуры «трансформер», включающих блок внимания «attention». Суть подхода в том, чтобы использовать при кодировке как в энкодере эмбединга (вектор признаков на выходе слоя нейронной сети), так и в декодере, механизм «attention», позволяющий учитывать взаимосвязь между словами и «фокусировать внимание» нейронной сети только на контексте, имеющем значение для слова.

Одной из архитектур на основе трансформеров является ruBERT, его и возьмем. Но для чистоты эксперимента попробуем также использовать и более старый подход, а именно LSTM нейронную сеть.

Читать далее
Total votes 11: ↑7 and ↓4 +3
Views 1.7K
Comments 14

Как мы сделали свое Heroku-подобное облако

Amvera corporate blog Cloud computing *Business Models *Cloud services *Kubernetes *

Возможно, у вас была (или есть) потребность развернуть свой IT-проект, будь то простой бот, сайт, приложение или сложный высоконагруженный сервис. И, возможно, вы пользовались для этого AWS, MS Azure или другими провайдерами публичных облаков. 

Тогда вы знаете, что для использования таких облачных решений нужно иметь весьма «глубокие карманы». Так, чтобы развернуть обычный сервис распознавания речи на 20 потоков вы заплатите Яндексу за виртуальные машины и за СУБД 43500 руб. в месяц (расчет на основе нашего ASR). И это еще достаточно простой, пусть и требовательный к CPU сервис.  Кажется, облачные услуги должны быть более доступны с финансовой точки зрения. 

В этой статье мы расскажем, как делали свое облако, с чем столкнулись, и что в итоге получилось.

Читать далее
Total votes 5: ↑4 and ↓1 +3
Views 1.4K
Comments 6

One pixel attack. Или как обмануть нейронную сеть

Programming *Algorithms *Machine learning *Reading room Artificial Intelligence
Давайте познакомимся с одной из атак на нейросети, которая приводит к ошибкам классификации при минимальных внешних воздействиях. Представьте на минуту, что нейросеть это вы. И в данный момент, попивая чашечку ароматного кофе, вы классифицируете изображения котиков с точностью более 90 процентов даже не подозревая, что “атака одного пикселя” превратила всех ваших “котеек” в грузовики.

А теперь поставим на паузу, отодвинем кофе в сторону, импортируем все необходимые нам библиотеки и разберем как работают подобные атаки one pixel attack.
Читать дальше →
Total votes 34: ↑34 and ↓0 +34
Views 13K
Comments 13

Что влияет на выдачу кредита. Обзор соревнования Home Credit Default Risk

Data Mining *Algorithms *Machine learning *Popular science Artificial Intelligence
Рассмотрим, как работают алгоритмы в банковском скоринге, какие метрики используются и какие параметры заемщика влияют на то, выдадут кредит или нет. В статье описывается прошедший конкурс с kaggle по предсказанию вероятности дефолта и приводятся влияющие на риск дефолта параметры.

Ошибка первого и второго рода


Цель банка – заработать деньги. Первый риск, с которым сталкивается кредитная организация — дать кредит заемщику, который допустит дефолт. Дефолт может иметь разные причины, от финансовых трудностей заемщика, и заканчивая фродом.

Для банка это — ошибка первого рода.

Но если банк будет вести жесткую политику, и никому не выдает кредиты, даже тем, кто вернул бы деньги, то банк не заработает на процентах. Отказ в кредите ответственному заемщику – ошибка второго рода.

Для оценки качества принимаемых алгоритмом решений, используется коэффициент Джини (GINI). В экономике и в Data Science коэффициент Gini имеет разную интерпретацию. Для кредитного скоринга он рассчитывается, как

GINI = 2 ROC AUC — 1

Для оценки банковского скоринга используется стандартная ROC AUC кривая!



Читать дальше →
Total votes 23: ↑17 and ↓6 +11
Views 15K
Comments 22

Обзор Kaggle ML & DS Survey 2019. Или сколько зарабатывают ML специалисты

Python *Data Mining *Machine learning *Popular science Artificial Intelligence
Ежегодно Kaggle проводит опрос среди специалистов по анализу данных, и объявляет конкурс на поиск инсайтов из полученных данных. В этом году в опросе участвовало 19717 человек со всего мира. В статье рассматриваются лучшие обзоры и решения Kaggle ML & DS Survey 2019.


Читать дальше →
Total votes 10: ↑7 and ↓3 +4
Views 5.9K
Comments 5

9 подходов для выявления аномалий

Algorithms *Mathematics *Machine learning *Reading room Artificial Intelligence
В предыдущей статье мы говорили о прогнозировании временных рядов. Логичным продолжением будет статья о выявлении аномалий.

Применение


Выявление аномалий используется в таких областях как:

1) Предсказание поломок оборудования


Так, в 2010 году Иранские центрифуги были атакованы вирусом Stuxnet, который задал неоптимальный режим работы оборудования и вывел из строя часть оборудования за счет ускоренного износа.

Если бы на оборудовании использовались алгоритмы поиска аномалий, ситуации выхода из строя можно было избежать.


Читать дальше →
Total votes 17: ↑8 and ↓9 -1
Views 10K
Comments 0

Временные ряды в прогнозировании спроса, нагрузки на КЦ, товарных рекомендациях и поиске аномалий

Data Mining *Algorithms *Machine learning *Reading room Artificial Intelligence
В статье рассматриваются области применения временных рядов, решаемые задачи, и используемые алгоритмы. Прогнозирование временного ряда используется в таких задачах, как прогнозирование спроса, нагрузки на контактный центр, дорожного и интернет-трафика, решения задачи холодного старта в рекомендательных системах и поиска аномалий в поведении оборудования и пользователей.

Рассмотрим задачи подробнее.


Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views 8.9K
Comments 3

10 лайфхаков разработки рекомендательных систем

Data Mining *Algorithms *Machine learning *E-commerce management *Artificial Intelligence
В предыдущей статье мы обсудили основы устройства рекомендательных систем и кейсы использования. Узнали, что основной принцип заключается в рекомендации товаров, понравившихся людям с похожим вкусом, и применении алгоритма коллаборативной фильтрации.

В данной статье, будут рассмотрены лайфхаки рекомендательных систем на основе реальных бизнес кейсов. Будет показано, какие метрики лучше использовать, и какую степень близости выбрать для предсказания.


Читать дальше →
Total votes 11: ↑9 and ↓2 +7
Views 6.2K
Comments 6

Введение в рекомендательные системы

Data Mining *Algorithms *Machine learning *E-commerce management *Artificial Intelligence
В статье рассматриваются подходы по построению персонализированных товарных и контентных рекомендаций, и возможные кейсы использования.

Персонализированные товарные и контентные рекомендации используются для повышения конверсии, среднего чека и улучшения опыта пользователей.


Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Views 15K
Comments 4

Применение речевой аналитики в бизнесе

Monetization of IT systems *Sales management *Personnel Management *Reading room Business Models *
Конверсия в покупку — ключевая метрика бизнеса. Конверсия зависит каждого этапа воронки продаж, от маркетинга, до момента перевода средств на счёт. Если этап переговоров воронки продаж работает неэффективно, он пропорционально снижает общую конверсию продаж.
Технологии речевой аналитики улучшают показатели конверсии на этапе продаж. Навыки речи продавца напрямую влияют на вероятность сделки.



Работая над разработкой решений речевой аналитике в команде DATA4, мы убедились, что конверсия у продавцов, владеющих техникой переговоров и необученных сотрудников отличается в 2-3 раза.
Читать дальше →
Total votes 19: ↑6 and ↓13 -7
Views 3.5K
Comments 0

Капсульные нейронные сети

Algorithms *Big Data *Mathematics *Machine learning *Artificial Intelligence
В 2017 году Джеффри Хинтон (один из основоположников подхода обратного распространения ошибки) опубликовал статью, в которой описал капсульные нейронные сети и предложил алгоритм динамической маршрутизации между капсулами для обучения предложенной архитектуры.

У классических свёрточных нейронных сетей есть недостатки. Внутреннее представление данных сверточной нейронной сети не учитывает пространственные иерархии между простыми и сложными объектами. Так, если на изображении в случайном порядке изображены глаза, нос и губы для свёрточной нейронной сети это явный признак наличия лица. А поворот объекта ухудшает качество распознавания, тогда, как человеческий мозг легко решает эту задачу.


Для свёрточной нейронной сети 2 изображения схожи [2]
Читать дальше →
Total votes 40: ↑28 and ↓12 +16
Views 20K
Comments 9

Как внедрить технологии машинного обучения у себя в бизнесе

Project management *Start-up development Reading room Business Models *Artificial Intelligence
Согласно Gartner, машинное обучение на пике популярности. Занимаясь разработками и внедрениями решений в области анализа данных и машинном обучении, наша команда DATA4 накопила опыт по ключевым этапам и подводным камням, которым я и поделюсь в статье.


Читать дальше →
Total votes 24: ↑12 and ↓12 0
Views 6.5K
Comments 2

Принцип работы свёрточной нейронной сети. Просто о сложном

Algorithms *Data visualization *Machine learning *Reading room Artificial Intelligence
Translation
Глубокие нейронные сети привели к прорыву во множестве задач распознавания образов, таких как компьютерное зрение и распознавание голоса. Сверточная нейронная сеть один из популярных видов нейронных сетей.

В своей основе сверточную нейронную сеть можно рассматривать как нейронную сеть, использующую множество идентичных копий одного и того же нейрона. Это позволяет сети иметь ограниченное число параметров при вычислении больших моделей.


2D Свёрточная нейронная сеть
Читать дальше →
Total votes 33: ↑26 and ↓7 +19
Views 34K
Comments 11

Нейронные сети, фундаментальные принципы работы, многообразие и топология

Algorithms *Mathematics *Machine learning *Reading room Artificial Intelligence
Нейронные сети совершили революцию в области распознавания образов, но из-за неочевидной интерпретируемости принципа работы, их не используют в таких областях, как медицина и оценка рисков. Требуется наглядное представление работы сети, которое сделает её не чёрным ящиком, а хотя бы «полупрозрачным». Cristopher Olah, в работе «Neural Networks, Manifolds, and Topology» наглядно показал принципы работы нейронной сети и связал их с математической теорией топологии и многообразия, которая послужила основой для данной статьи. Для демонстрации работы нейронной сети используются низкоразмерные глубокие нейронные сети.

Понять поведение глубоких нейронных сетей в целом нетривиальная задача. Проще исследовать низкоразмерные глубокие нейронные сети — сети, в которых есть только несколько нейронов в каждом слое. Для низкоразмерных сетей можно создавать визуализацию, чтобы понять поведение и обучение таких сетей. Эта перспектива позволит получить более глубокое понимание о поведении нейронных сетей и наблюдать связь, объединяющую нейронные сети с областью математики, называемой топологией.

Из этого вытекает ряд интересных вещей, в том числе фундаментальные нижние границы сложности нейронной сети, способной классифицировать определенные наборы данных.

Рассмотрим принцип работы сети на примере
Читать дальше →
Total votes 49: ↑42 and ↓7 +35
Views 40K
Comments 40

Улучшение качества изображения с помощью нейронной сети

Algorithms *Image processing *Machine learning *Reading room
Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.


Пример улучшения качества изображения с использованием технологии Super Resolution.
Читать дальше →
Total votes 34: ↑31 and ↓3 +28
Views 60K
Comments 27

Классификация тем обращений в контактный центр

Semantics *Data Mining *Machine learning *
Здравствуйте, коллеги! В этой статье я кратко расскажу об особенностях построения решения по классификации тем обращений клиентов в контактный центр, с которыми мы столкнулись при разработке.

Определение тем обращений используется для отслеживания тенденций и прослушивания интересующих записей. Традиционно, эта задача решается путём проставления соответствующего тега оператором, но при данном подходе большую роль играет «человеческий» фактор, и тратится много человеко-часов работы операторов.


Читать дальше →
Total votes 12: ↑8 and ↓4 +4
Views 4.5K
Comments 0

5 принципов ведения технологического бизнеса, или как изменить мир

Professional literature *History of IT Popular science Finance in IT
Эта статья о том, что отличает успешный бизнес от провального, какие стратегии развития известны и какими наработками стоит воспользоваться. В статье рассматриваются идеи и подходы, которые помогут выбрать правильный вектор развития.

Подрывная технология


Автор книги «Дилемма инноватора» Клейтон М., провёл исследование с целью установить, на основе каких инноваций строится успешный бизнес, а на основе каких – нет. Инновации, условно деляться на 2 типа: подрывные и поддерживающие.

Поддерживающие, это технологии, совершенствующие и усложняющие продукт, направленные на увеличение стоимости. Подрывные, это технологии, упрощающие продукт и демократизирующие рынок. Только подрывные инновации меняют рынок.


Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views 7.8K
Comments 4

15 когнитивных искажений

Popular science Brain
Люди сталкиваются с большим объёмом информации, часть из которой достоверна, а часть освещает интересующую область односторонне, а иногда и сознательно искажённо.

Эта статья о том, как отличать достоверную информацию от искажённой, и о том, как правильно подавать информацию, чтобы убедить других людей.



Начнём с того, что люди не всегда мыслят рационально. Это данность, которая обусловлена принципами работы нашего интеллекта, выработанными в процессе эволюции. Условно, представим разум, разделённый на две Системы. Устройство разума не так однозначно, но описанное упрощение позволит понять причины искажений. Первая система генерирует решения и гипотезы быстро «если коснёмся горячего предмета, то отдёрнем руку». Вторая, принимает решения путём логических рассуждений. Первая Система генерирует гипотезы, а вторая принимает их или отвергает. Такой способ мышления медленный и энергозатратный. Логическое рассуждение используется людьми реже и требует больших усилий. Это причина большинства когнитивных искажений.

Так, галочка «по умолчанию согласен» позволила увеличить количество согласных на донорство до 86% в Швеции, тогда как в Дании, где при получении прав нужно самостоятельно ставить согласие, т. е. принимать осознанный выбор, количество согласных на донорство 4%.
Читать дальше →
Total votes 63: ↑62 and ↓1 +61
Views 156K
Comments 100

Разработка системы биометрической идентификации по речи

System Analysis and Design *Algorithms *Machine learning *
Sandbox
Здравствуйте, коллеги! В этой статье я кратко расскажу об особенностях построения систем биометрической верификации/идентификации, с которыми наша команда DATA4 столкнулась, создавая собственное решение.

Задача аутентификации личности используется в областях с необходимостью контроля доступа. Это банки, страховые компании, и другие области где используются конфиденциальная информация.

Традиционно, аутентификация использует принцип знания «ключа», такого как пароль, контрольное слово или номер паспорта. Описанный способ обладает недостатком – подтверждается не личность, а известная личности информация.
Биометрические решения лишены этого недостатка.
Читать дальше →
Total votes 21: ↑17 and ↓4 +13
Views 5.2K
Comments 5

Information

Rating
347-th
Works in
Date of birth
Registered
Activity