Пользователь
Кейсовая задача — предоставить клиентам возможность составлять вопрос на естественном языке, а не искать вопрос в списке FAQ‑раздела сайта. При этом система должна выдавать ответ из существующей базы знаний «Вопрос‑Ответ» существующего FAQ‑раздела.
Задача реализована с помощью определения контекстной близости вопросов.
Получился довольно экономичный и эффективный способ автоматизации ответов на часто задаваемые вопросы, позволяющий обеспечивать релевантные и быстрые ответы.
В 2022 году мы выпустили во внешний мир первую версию голосового робота приема заказов по телефону. Статья рассказывает о пути робота от «деревянного» до конверсии оформления в 80%, от негатива до принятия, от «уберите эту ерунду» до «пожалуйста, верните робота обратно».
В предыдущей статье я описал свой опыт обучения искусственного нейрона бинарной классификации и некоторые выявленные при этом особенности. Одной из выявленных особенностей была "обратная аномалия" - ситуация, при которой все объекты становились ошибочно классифицированными, а также ситуация, при которой коррекция весов приводила к увеличению количества ошибочно классифицированных объектов.
В данной статье показана необходимость учета влияния соотношения параметров объектов при коррекции весов как раз из-за таких случаев.
Статья о том, как я обучал один простой искусственный нейрон проводить бинарную классификацию линейно-разделимого множества объектов.
Рассуждения, результаты, выявленные особенности.
Личный опыт.
Распознаем речь по аудиозаписям диалогов сотрудников и клиентов.
Сохраняем по разным дорожкам, в тексте и с таймингом.
Модель Whisper, работаем в Colab.
Личный опыт.
Бывает, что при изучении материала по обучающей статье что-нибудь не работает, хотя коды копируются прямо из статьи.
В данном случае по обучающей статье был сделан Fine-Tuning модели T5 (text-to-text transfer transformer) по задаче машинного перевода, и в целом все получилось.
Личный опыт.
Искусственные Нейронные Сети являются мощными инструментами для решения многих задач и широко применяются различными организациями.
С некоторыми допущениями применение Искусственных Нейронных Сетей можно сгруппировать следующим образом:
Регрессия / Аппроксимация
Классификация / Кластеризация
Компьютерное зрение (Computer Vision)
seq2seq (Преобразование последовательности в последовательность)
Обработка естественного языка (Narural Language Process)
Данная статья посвящена примерам из группы задач "Компьютерное зрение (Computer Vision)"
Известно, что генерация текста с помощью GPT (Genarative Pretrained Transformers) так или иначе основана на вероятности. Рассмотрим поподробнее, к чему приводит такой подход - насколько "правдива" или "обманчива" такая генерация.
Давно известно, что Сбер разработал и опубликовал свою коллекцию генеративных текстовых моделей RuGPT3.
В данной статье тестируем ruGPT-3 XL прямо на демо-странице от Сбера.
Как проводится данное исследование:
даем RuGPT3 простые запросы.
"Простые" означает, что спрашиваем естественным образом, на естественном русском языке, без затравочных примеров и определения ролей.
Такие же запросы даем ChatGPT.
RuGPT3 - коллекция моделей от Сбер
Проводим автоматическое тестирование циклическим перебором вариантов.
Работаем в Colab, тестируем Small, Mediub, Large.
Параметры генерации совершенно неоптимизированы - это первый заход, чтобы посмотреть исходную ситуацию и сравнивать по мере улучшения.
Алгоритм тестирования
полный последовательный перебор
10 вопросов
3 модели: Small, Medium, Large
Несколько наборов параметров внутри каждой модели
Реплики сохраняем в гугл-таблице
В статье приводятся примеры результатов обучения нейронной сети (FNN с одним скрытом слоем, распознавание MNIST) сериями по 10 запусков на каждой паре (количество нейронов скрытого слоя, размера батча) и соответствующий вывод, связанный с вариативностью результатов.
В статье приведено исследование, зависит ли точность от количества нейронов скрытого слоя и размера батча или это случайный разброс, вызванный рандомностью инициации весов и рандомностью формирования каждого батча.
В статье рассмотрено влияние уменьшение шага обучения и Dropout на точность тестовой выборки при обучении FNN c одним скрытым слоем распознаванию изображений рукописных цифр из набора MNIST.
Меня все время сильно смущало, что в градиентных алгоритмах инициация весов происходит как-то "небрежно" - случайным образом. Для математика, привыкшего к четкости, это было как-то сомнительно. Итак, задача - сравнить результаты различных вариантов инициации - стандартной рандомной и некоторых фиксированных.
В статье представлены результаты обучения с различными наборами инициации весов и предложены соответствующие выводы.
Похоже, что Искусственный Интеллект уже достаточно освоился в нашем мире и пришла пора поручить ему реальные глобальные задачи человечества.
Многие ежедневные рутинные бизнес-процессы можно поручить Искусственному Интеллекту, освобождая время для более творческих или более эффективных задач.
В статье приведены примеры чат-ботов и голосовых роботов, постепенное внедрение которых возможно самостоятельно и без существенных затрат.
Начинаем создавать "управляющую" нейронную сеть, автоматически подбирающую гиперпараметры и архитектуры "контролируемых" нейронных сетей.
Фичей побольше, лямбду поменьше, еще dropout и batchsize...
- "играемся" с гиперпараметрами для практического понимания смысла значений и терминов.
Полезно при изучении обучения нейронных сетей.
Учим нейросеть играть в Шахматы, загрузив в нее датасеты уже сыгранных партий с известным результатом.
То есть никакого минимакса, деревьев и расчетов на несколько ходов вперед.
Идея в том, что если в нейросеть загрузить много партий, уже сыгранныx другими игроками, то нейросеть будет знать, как поступали другие игроки в соответствующих случаях и к какому результату это приводило. Нейросеть обобщит имеющийся опыт и будет делать ход на основе уже известного опыта и выявленных закономерностей, причем делать ход «мгновенно».
