Видео инструкция по созданию чат-бот с искусственным интеллектом
В видео показан процесс создания чат-бота с ИИ от компании Wikibot с базой знаний в Google Sheet. Ваш чат-бот будет понимать вопрос клиента и отвечает как человек.
Компания Jina открыла под лицензией Apache 2.0 модель машинного обучения для векторного представления текста — jina‑embeddings‑v2. Модель позволяет преобразовать произвольный текст, включающий до 8192 знаков, в небольшую последовательность вещественных чисел, образующих вектор, сопоставленный с исходным текстом и воспроизводящий его семантику (смысл). Jina Embedding стала первой открытой моделью машинного обучения, обладающей характеристиками, не уступающими проприетарной модели векторизации текста от проекта OpenAI (text‑embedding‑ada-002), также способной обрабатывать тексты, насчитывающие до 8192 токенов.
Для загрузки доступны два варианта модели jina-embeddings (базовая на 270 МБ и сокращённая размером 70 МБ), обученные на 400 млн пар текстовых последовательностей на английском языке, охватывающих различные области знаний. При обучении использовались последовательности размером 512 токенов, которые были экстраполированы до размера 8192 при помощи метода ALiBi (Attention with Linear Biases). В ближайшее время также планируют опубликовать крупную модель, которая будет охватывать 435 млн параметров.
Базовая модель включает в себя 137 млн параметров и рассчитана на использование на стационарных системах с GPU. Сокращённая модель включает 33 млн. параметров, обеспечивает меньшую точность и нацелена на применение на мобильных устройствах и на системах с небольшим объёмом памяти.
Источник: OpenNET.
Элемент умной одежды Humane AI будет работать под управлением GPT-4. При этом разработчики встроили специальный «индикатор доверия», который загорается каждый раз, когда камера, микрофон или другие датчики устройства каким-либо образом записывают данные.
При этом Humane AI сможет выполнять широкий набор функций, начиная от приёма звонков и заканчивая оценкой состава блюд.
Разработчики утверждают, что элемент будет крепиться к одежде благодаря специальному магниту.
Презентация Humane AI ожидается 9 ноября.
Что такое GoogLeNet?
Рассказывают наши эксперты из лаборатории больших данных.
GoogLeNet — глубокая свёрточная нейросеть, разработанная командой исследователей из Google в 2014 году для классификации изображений. «Le» в её названии — это отсылка к нейросети LeNet 5, одной из первых свёрточных нейросетей, способствовавшей развитию идеи глубокого обучения с 1988 года.
Главным отличием архитектуры GoogLeNet от других свёрточных нейросетей (CNN) является использование дополнительного модуля начальной обработки данных — Inception. Он параллельно применяет свёртки с разными размерами ядра (1x1, 3x3, 5x5), а затем объединяет вектора признаков. Это позволяет эффективнее выделять локальные и глобальные признаки анализируемого изображения.
Несмотря на глубокую архитектуру сети, состоящую из 22 слоёв, количество используемых параметров GoogLeNet остаётся относительно небольшим. Это достигается благодаря использованию свёртки 1x1, которая по сути работает как линейный фильтр и уменьшает размерность следующего слоя. Поэтому GoogLeNet менее требовательна к объёму памяти видеокарты, чем AlexNet и другие архитектуры без модуля Inception.
За счёт своей сбалансированности GoogLeNet показывает высокую точность классификации на изображениях различного размера. В 2014-м году она победила в соревновании ImageNet. С тех пор на её основе разрабатываются более современные нейросети, также использующие глубокую свёрточную архитектуру и концепцию модуля Inception.
Instagram** тестирует ИИ-функцию, которая позволит пользователям создавать стикеры из своих фотографий и размещать их в роликах или историях.
Им будет достаточно выбрать объект на фотографии, а инструмент удалит фон и создаст стикер, который можно будет разместить поверх другого контента.
Глава компании Адам Моссери кратко продемонстрировал на видео, как это будет работать.
Он рассказал, что, помимо создания стикеров из сохранённых в смартфоне фотографий, пользователи смогут выбирать «подходящие изображения в Instagram». Моссери не поделился подробностями, но, вероятно, речь идёт не только о собственных фотографиях пользователей, но и других снимках.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена;
** — запрещены в России.
В октябре 2023 WikiBot стал продуктом недели #1 на ProductRadar
Как пришла идея
Сложно было не заметить бум ChatGPT и искуственного интеллекта в целом. Мы начали экспериментировать с языковыми моделями и возможностями, пытались понять что может и чего не может ИИ, преимущества и ограничения. Поняли, что сходу получается крайне неплохой результат и есть огромный задел по улучшению. Дальше начали продумывать конкретные продуктовые кейсы, так и пришли к решению для отдела поддержки.
Сколько времени заняло от идеи до первого клиента
Первой нашей целью было найти трех клиентов за первый месяц. Примерно так и получилось. Среди этой тройки оказался Skillbox. Нам очень повезло с ними. Мы начали свои продажи с рассылки предложения на почты потенциальным клиентам, и одним из адресатов был публичный ящик hello@skillbox.ru. К нашему удивлению, нам ответили! Было примерно так: - Мы делаем крутого чат-бота с ИИ, предлагаем вам попробовать. - Ок, давайте пробовать! Так мы и погрузились в «прод-прод» и реальные кейсы пользователей ? Так что не бойтесь таких простых путей, как прямые продажи!
Наш сайт https://wikibot.pro
Наши новости https://t.me/wikibot_news
Что такое YOLO?
Разбираемся вместе с нашими экспертами из лаборатории больших данных.
YOLO (you only look once) — это архитектура детектора по распознаванию объектов в реальном времени. YOLO состоит из двух частей: encoder (свёрточные слои) и head (классификационный слой).
Энкодер выполняет роль первичной обработки изображений и извлечения признаков объектов. Обычно для этого используется Darknet или другая предобученная CNN.
Затем head принимает от энкодера признаки объектов и выполняет классификацию, после чего применяет пороговую фильтрацию и оставляет на выходе наиболее вероятные результаты.
Благодаря своей способности анализировать объекты одновременно на всём изображении, YOLO обеспечивает высокую скорость и точность распознавания объектов.
Также YOLO отличается хорошей обобщающей способностью. Он уверенно работает в различных условиях освещения и с разными типами камер (хотя и требует для этого большого количества обучающих данных, покрывающих различные условия). Это делает его востребованным в алгоритмах машинного зрения для роботов, дронов и автономного транспорта.
В микроблогах предлагают угадать по списку референсов, кто написал научную работу.
Список состоит из работ Юргена Шмидхубера — одного из самых цитируемых исследователей ИИ. На Google Scholar у него более 200 тыс. цитирований, индекс Хирша — 116.
Шмидхубер не стесняется своего статуса. Он даже хвастает им у себя на странице на сайте Института исследований искусственного интеллекта Далле Молле. Страница называется «Все самые цитируемые нейросети построены на работе, выполненной в моих лабораториях». В микроблоге Шмидхубер ещё более скромен: он говорит «нашей работе», а не «моей».
Вообще, преувеличить роль Шмидхубера сложно. Он мог бы побороться с Яном Гудфеллоу за право называть себя изобретателем генеративно-состязательных сетей.
Трансформеры — тоже развитие идей Юргена. 26 марта 1991 года он представил технику neural fast weight programmers. Аналог из наших дней — трансформеры с механизмом внутреннего внимания. Разве что ключ и значение в 1991 году назывались FROM и TO, соответственно. Как известно, термин «трансформеры» закрепился из работы 2017 года «Attention Is All You Need» Ашиша Васвани и других.
Впрочем, Юрген признаёт: это лишь демонстрирует ограниченность и самозацикленность англоязычного мира. На деле глубинное обучение зародилось в 1965 году в «Кибернетических предсказывающих устройствах» Алексея Ивахненко и Валентина Лапы академии наук УССР, считает Юрген.
Что касается документа со скриншота, это работа «One Big Net For Everything» 2018 года. Написал её тоже Шмидхубер.
Что такое "пирамида признаков"?
Рассказываем в рубрике #нейрословарь вместе с нашими экспертами из лаборатории больших данных.
Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. Она позволяет обнаруживать объекты на изображениях различных размеров, масштабировать их и автоматически подстраиваться под меняющиеся условия.
Для анализа изображения FPN объединяет информацию из разных слоёв нейронной сети, после чего создаёт «пирамиду» — иерархическую структуру признаков. Если на изображении есть сравнительно большой объект, то FPN обрабатывает его на более высоком уровне пирамиды, а мелкую деталь — на более низком.
FPN широко используется во всех сферах, применяющих машинное зрение. Например, пирамида признаков используется для автоматического диагностирования рака груди по маммограммам и в системах помощи водителю для распознавания участников дорожного движения.
Основные конкурирующие архитектуры для FPN — U-Net и SegNet. Они менее требовательны к ресурсам, но работают только с изображениями фиксированного разрешения и распознают объекты определённого размера. FPN лишена этих ограничений, поэтому в условиях меняющегося окружения показывает более стабильные результаты.
Голосовой помощник Alexa от Amazon уличили в некорректных ответах. Так, он заявил, что президентские выборы 2020 года в США сопровождались фальсификациями, а голоса избирателей украли. При этом помощник ссылался на стриминговый сервис Rumble, пользующийся популярностью у консерваторов.
При этом Amazon продвигает Alexa как надёжный источник новостей о выборах. Пресс-секретарь компании заявил, что конкретно эту ошибку в ответе уже исправили. Он также отметил, что Alexa работает с «достоверными источниками», такими как Reuters, Ballotpedia и RealClearPolitics.
Теперь на вопрос о выборах 2020 года помощник отвечает: «Извините, я не могу ответить на этот вопрос». Если спросить «Кто победил на выборах 2020 года?», то помощник правильно отвечает: «Демократ Джо Байден», ссылаясь на результаты выборов агентства Reuters. Но, если переформулировать его, то Alexa по-прежнему рассказывает о фальсификациях. Непоследовательные ответы Alexa могут отражать попытку разработчиков опираться на широкий спектр источников новостей по всему политическому спектру для решения проблем, связанных с предвзятостью, говорит Мередит Бруссард, доцент Нью-Йоркского университета.
В 2024 году ожидается, что более 75 млн жителей США будут использовать Alexa по крайней мере один раз в месяц.
«Во время выборов мы указываем источники и средства массовой информации, чтобы клиенты точно знали, откуда поступает информация», — заявила компания.
WikiBot участвует в конкурсе стартапов на ProductRadar
Огромная просьба поддержать нас и попросить это сделать своих друзей:
Зайдите на сайт productradar.ru
Войдите с помощью яндекс или google
Проголосуйте за WikiBot
С меня вкуснейший кофе у меня дома и разговор о саморазвитии (='.'=)
Джарет Баркетт [Jarett Burkett] представил LoRA для Stable Diffusion XL, которая помогает генерировать картинки в стиле инструкций «ИКЕА».
К многим предметам нидерландской компании приложены инструкции по сборке, выполненные в характерном стиле. Для простоты локализации товаров транснациональной сети магазинов слова на буклете (кроме названия) отсутствуют, что только усиливает запоминаемость образов. Поэтому икеевские инструкции любят пародировать за простоту и узнаваемость графического языка.
balalaika без уточненийК файлам проекта Ikea Instructions Баркетт приложил примеры работ. С этой LoRA он сгенерировал как людей, персонажей или предметы (хиппи, Барби с Кеном, гамбургер), так и процессы (сон).
Забавно, что модель с удовольствием вставляет в инструкцию шестигранник даже там, где он вряд ли нужен. В примерах он появляется в гардеробе Кена.
Bing Chat AI заблокировала генерацию картинок с Дрейком. Если упомянуть Drake в запросе на картинку, фильтр по стоп-слову выдаст предупреждение о невозможности генерации.
Встроенный в чат генератор картинок DALL-E 3 от OpenAI хорошо приспособлен выдавать любые образы по запросу пользователя. Этим незамедлительно воспользовались сетевые шутники. Канадский рэпер в их воображении ржёт как конь над детьми в снежных шарах, пилотирует Евангелион или просто (видимо, фантазия кончилась) руководит Третьим рейхом.
Вообще, у Microsoft хватает проблем с новым инструментом. Bing Chat AI с трудом пытается отфильтровать башни-близнецы Всемирного торгового центра в Нью-Йорке, на которые повадились запускать самолёты с Марио и Спанч Бобом за штурвалом.
Комбо, где атаки 11 сентября проводит Дрейк, тоже есть.
Ближайшие события
BBC присоединилась к СМИ, которые заблокировали для OpenAI сбор данных для обучения ИИ. Компания изложила принципы, которым она планирует следовать при оценке использования генеративного искусственного интеллекта.
Директор BBC по нациям Родри Талфан Дэвис заявил, что телекомпания оценивает технологию как способную принести «большую пользу аудитории и обществу».
Три руководящих принципа компании заключаются в том, что она всегда будет действовать в интересах общественности, отдавать приоритет таланту и творчеству, уважая права художников, а также будет открытой и прозрачной в отношении продукции, созданной искусственным интеллектом. BBC заявила, что будет работать с технологическими компаниями, другими СМИ и регуляторами, чтобы безопасно развивать генеративный ИИ и поддерживать доверие к новостной индустрии.
«В ближайшие несколько месяцев мы начнем ряд проектов, изучающих использование искусственного интеллекта как в том, что мы делаем, так и в том, как мы работаем, чтобы лучше понять как возможности, так и риски», — сказал Дэвис. Так, BBC изучит, как генеративный ИИ может повлиять на журналистские исследования и производство контента, обнаружение и архивирование публикаций, а также обеспечение персонализированного опыта.
Ранее CNN, The New York Times, Reuters и другие новостные организации уже запретили поисковым ботам получать доступ к их материалам, защищённым авторским правом.
Китайцы научились создавать и использовать в торговле очень реалистичных аватаров. Причём это аватары реальных людей - инфлюенсеров - умеющих активно двигать продажи. Вот статья об этом в MIT Technology Review: Deepfakes of Chinese influencers are livestreaming 24/7 | MIT Technology Review
1. Во-первых, очевидно, что Китай живёт в каком-то своём мире. Причём очень прогрессивном мире. У нас товары в интернете покупают на Озоне или в Яндекс Маркете, или на каком-то аналогичном маркетплейсе, который, по сути - это виртуальная полка с товарами. А у китайцев какие-то стриминговые платформы, которые заселены аватарами, круглосуточно втюхивающими ненужное барахло населению
2. Реклама и раньше-то была вещью в себе, а теперь и подавно... Крупнейшие компании мира (Гугл, Фэйсбук) зарабатывают деньги именно на рекламе. Реклама - это триллионы долларов. И это триллионы, которые всё равно, в итоге, платит потребитель. Реклама - это один из самых продаваемых "товаров в мире". И так как некоторые из крупнейших технологических компаний зарабатывают именно на рекламе, то и новые технологии во многом вертятся вокруг рекламы, а не вокруг того, чтобы полететь на другую планету, например. Вот и дип фейки прижились именно в рекламе
3. Раньше монополия на то, чтобы говорить, как человек, и выглядеть, как человек, была у человека. Сейчас это уже не так. Немного непривычно..
4. В статье есть пример того, как аватар вертит рекламируемый продукт перед "камерой". Интересно, как аватаров научили это делать...
Если проанализировать историю технического прогресса, то очень часто там можно встретить такой паттерн: одни люди пытаются повторить достижения природы (например сделать крылья и махать ими как птицы) а другие находят какой-то альтернативный механизм, который природа почему-то не использует и с его помощью решают ту же задачу успешнее. Примеры тому - винт, позволяющий людям летать и плавать быстрее всех живых существ, радиоволны для передачи информации, элетрический ток для передачи энергии и т.д.
При решении интеллектуальных задач происходит, на мой взгляд, нечто подобное. При создании шахматных программ Ботвинник долго пытался создавать их, опираясь на своё понимание устройства мышления шахматиста, а Амосов пытался создавать ИИ на основе своего понимания строения мозга человека. Но в ИИ "выстрелили" совсем иные механизмы.
Трансформеры, найденные на "обочине" "столбового пути" ИИ (в понимании нулевых годов) тоже "выстрелили" и скорее всего займут (как мне кажется) в ИИ роль винта в воздухоплавании.
В этом смысле их стоит изучать. Мне попалась очень хорошая лекция на этот счёт, которую я рекомендую посмотреть новичкам (как я) в этой жутко интересной области.
Секта водохлёбов добралась до искусственного интеллекта. Любители посчитать расход аш-два-о до этого с удовольствием приводили статистику, сколько ценного вещества нужно для выращивания, к примеру, говядины. Получается страшное: на килограмм стейка нужно более 15 тонн влаги — куда больше, чем для выращивания бобов сои или пшеницы. Предполагается, что затем такими числами нужно стыдить наглых любителей вкусить чужой плоти.
На деле речь идёт про осадки. Дождь и снег всё равно выпадут на лужайку, будет на ней пастись корова или нет. А вот выпас скота качество почвы лишь улучшит. (Про негативный эффект от засева огромных полей монокультурой говорить не принято вовсе.) Также внутри бурёнки не встроен портал в параллельное измерение, куда вода исчезает — всё потреблённое она рано или поздно отдаст обратно.
Некий микроблогер приводит график, согласно которому на обучение GPT-4 ушло в разы больше воды, чем потребляет в неделю аквапарк. Вывод простой: эдак скоро пить нечего будет.
Впрочем, к твиту приделали успокоительную пометку сообщества. Огромная корпорация Microsoft, которая хостит вычислительные мощности OpenAI, тратит на охлаждение своих многочисленных вычислительных центров лишь одну стотысячную процента потребления пресной воды США.
С само́й статистикой мало кто спорит: на обучение предыдущей версии GPT, GPT-3, ушло 700 тонн воды.
Как обычно, речь идёт про расход. Вода при этом уходит в почву или атмосферу, но не исчезает с планеты. Очевидно, что из цикла обмена воду не изымают.
Однажды наши эксперты из лаборатории больших данных вдруг заговорили о трансформерах (transformers). Оказалось, что это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google. Оно появилось в 2017 году и совершило настоящую революцию во многих областях машинного обучения, особенно в обработке естественной речи (NLP).
Ключевые элементы трансформеров — это энкодер и декодер. Первый выполняет преобразование входных данных в векторы, а второй генерирует ответ после ряда операций с векторами.
Это может быть текстовый ответ чат-бота, или озвученный с помощью синтеза речи ответ голосового ассистента. Если ответ формируется на другом языке, то мы получаем систему машинного перевода, вроде Google Translate.
За исключением вычисления средневзвешенного значения, все операции в трансформерах выполняются над отдельными векторами входной последовательности. Поэтому трансформеры можно эффективнее распараллелить и быстрее обучить, чем используемые до их появления рекуррентные нейронные сети (RNN).
Напишите, какие ещё термины из сферы машинного обучения вам хотелось бы разобрать в нашей рубрике #нейрословарь.
Всего через несколько часов начнется митап для Data‑специалистов — RSHB Data Integration Meetup. Приглашаем всех желающих послушать доклады, принять участие в обсуждениях и розыгрыше призов.
В программе:
Вячеслав Жуков, Aero — «Концепция Data Governance для систематизации работы с данными»
Антон Агеев, РСХБ‑Интех — «Управление данными как шаг к применению искусственного интеллекта»
Павел Филонов, независимый консультант — «Как оценить влияние DS‑метрик на итоговые бизнес‑результаты проекта»
Начало — 19:00 МСК
Бесплатная регистрация на онлайн‑трансляцию проходит на сайте РСХБ в цифре.
Инженер стартапа Airchat Сигил Уэн портировал GPT-2 на Apple Watch Ultra 2. Большая языковая модель запускается локально, прямо на запястье, на всех 4 ядрах нейроускорителя Neural Engine системы в корпусе Apple S9.
Здесь тяжело отыскать практическую ценность. Нейросеть пытается продолжать промпт. Для видеоролика выбор пал на фразу «The meaning of life is», которую GPT-2 развивает в связный текст с законченной мыслью. Генерация идёт медленно: заметно, что на токен уходит больше секунды. По достижении отметки в 30 токенов приложение падает.
Как предполагает Уэн, кончается память — у Ultra 2 всего 1 ГиБ ОЗУ. Автор проекта считает, что такая демонстрация на умных часах доказывает, что в дальнейшем часть вычислений искусственного интеллекта станет граничными (on edge), то есть будет выполняться в пределах конечных устройств.
Разработчик поделился произведённым на своём аккаунте GitHub.