Искусственный интеллект

Приглашаем на круглый стол "Борьба за эффективность в контакт-центрах и ОЦО" с участие экспертов от - Ростелеком, КОМУС, Синара Банк, CraftTalk, L2U, ITFB Group.

В ходе встречи представители бизнеса поделятся своим практическим опытом и расскажут, какие ИТ-инструменты и технологии Искусственного Интеллекта они используют для решения задач контакт-центров.

Обсудим:

➖ Как применение ИТ-инструментов позволяет повысить внутреннюю эффективность и эффективность взаимоотношений с клиентами на примере

- чат-ботов, чат-платформ

- баз знаний

- классификаторов тематик

➖ Современные реалии применения Искусственного Интеллекта для решения задач контакт-центров

➖ Импортозамещение: уровень развития отечественных информационных систем для контакт-центров

🕚 Трансляция начнется 19 ноября в 11:00 по Москве. 

Ссылка на мероприятие придет после прохождения регистрации.

Зарегистрироваться

Следите за новостями в Telegram ITFB Group.

Пол Грэм — Писатели и не писатели. Перевод эссе

Новое эссе Пола, в котором он размышляет о будущем писательства в эпоху ИИ. Он предполагает, что через пару десятилетий умение писать станет редким навыком. Основная мысль: хотя ИИ может взять на себя большую часть рутинного письма, это создаст серьезное разделение в обществе.

Пол проводит важную параллель между письмом и мышлением – писать хорошо можно только при ясном мышлении. При этом навык письма требуется во многих престижных профессиях, что создает противоречие: писать необходимо, но это сложно. Раньше выходом были плагиат или наем авторов, теперь эту функцию берет на себя ИИ.

Сразу же обновил сборник и добавил туда эссе.

Кейс: ИИ-система, которая может принять и проинспектировать груз вместо человека

В мире логистики огромное значение придается сохранности груза. Склады обязаны обеспечить целостность и сохранность груза во время хранения, так как любые повреждения влекут за собой потерю доверия клиентов и штрафы. Эта проблема решается качественной инспекцией груза и ведением отчетности о его состоянии, — процесс, который можно облегчить с помощью искусственного интеллекта.

Делимся любопытным кейсом об умной системе, которую разработали в AGIMA AI. В чем суть: теперь, когда на предприятие нашего заказчика привозят груз, его принимает не человек, а система на основе искусственного интеллекта.

Что эта система делает:

✔️ фиксирует сам факт прибытия груза на склад;

✔️ сама определяет тип упаковки;

✔️ находит все дефекты и повреждения;

✔️ измеряет габариты и вес груза;

✔️ заполняет все необходимые отчеты.

Это позволяет экономить деньги и получать более объективную информацию о состоянии груза. Кроме того, систему можно использовать на вредных производствах, потому что человек в этом процессе не нужен.

Как реализована система и как она работает — рассказываем в отдельной статье.

Не время менять работу, AI специалисты всё ещё на коне.

Недавно вышла статья от одного из крупнейших международных консалтинговых агенств Robert Half, на тему какие профессии будут востребованы в ИТ сфере в 2025 году. 

Агенство прогнозирует что ИИ специалисты по прежнему будут занимать лидирующие позиции по востребованности и уровню зарплат. 

Так же представлены в алфавитном порядке 12 самых востребованных профессий на 2025 год. Из неинтересного там появилась новая профессия - Специалист по этике ИИ. 

А из интересного то что в список попали ИТ Бизнес-аналитики. 

Это подтверждает мои догадки о том что 2025 год будет годом в котором косты на Data Science будут срезать.

Список из 12 самых оплачиваемых ИТ профессий в США:

1. AI ethicist

2. AI product manager

3. Business analyst

4. Cybersecurity engineer

5. Data engineer

6. Database administrator

7. ERP integration manager

8. Machine learning engineer

9. Network engineer

10. IT Project manager

11. QA analyst 

12. Software engineer

Источник: https://www.roberthalf.com/us/en/insights/career-development/highest-paying-it-jobs

Где используется машинное обучение? Примеры использования машинного обучения - на картинке ниже.

Тут писала про бесплатные курсы, которые мне понравились и я рекомендую.

Обзор возможностей распознавания и генерации трехмерных тел с использованием алгоритмов ИИ — Никита Петрушан / Ural Digital Weekend 2024

Опубликовали запись доклада секции «Разработка» с Ural Digital Weekend 2024.

1. Что такое трехмерное тело?

2. Проблема распознавания образов в ИИ.

3. Плюсы и минусы фотограмметрии.

4. Выбор алгоритмов и методов.

Ответы на эти вопросы вы услышите в докладе.

Ссылка на запись доклада в ВКонтакте.

Ссылка на презентацию: https://goo.su/HAhYs

На этой неделе у нас два отличных вебинара:

⚡️ 31 октября в 15:00 начнется вебинар «Нейросети без галлюцинаций: миф или реальность?». Недавно нейросети часто ошибались, создавая рисунки с аномалиями и  документы с несуществующими законами. Сегодня результаты стали более корректными, однако галлюцинации продолжают встречаться. На вебинаре обсудим, как промпты могут снижать влияние галлюцинаций, добавлять качественные данные в контекст и организовывать автоматическую проверку результата.

👨‍🎓 Спикер: Брейман Александр — эксперт Учебного центра IBS, кандидат технических наук, доцент департамента программной инженерии ФКН ВШЭ.

✍️ Записаться

⚡️ 1 ноября в 15:00 стартует эфир «Оценка задач в Agile-проектах». Рассмотрим, как особенности Agile-проектов влияют на выбор инструментов оценки. Участники узнают о таких методах, как Story Points, Planning Poker и T-shirt Sizing, и их роли в управлении проектами.

👨‍🎓 Спикер: Политыко Сергей — архитектор информационных систем в IBS.

✍️ Записаться

ИИ-специалистов и разработчиков игр будут готовить в колледжах

источник: https://roskomsvoboda.org/ru/post/russia-colleges-ai-game-dev-training/

тизер:

Минпросвещения собирается расширить перечень специальностей среднего профессионального образования.

Разработчики компьютерных игр и специалисты по работе с искусственным интеллектом (ИИ) появятся в российском перечне профессий и специальностей среднего профессионального образования. Это следует из проекта приказа Министерства просвещения, опубликованного на официальном сайте для размещения информации о подготовке нормативных правовых актов.

Начиная с 2025/2026 учебного года получить профессию разработчика игр смогут молодые люди как после девятого, так и после 11-го класса. Выпускники колледжей смогут работать в соответствии с профстандартом «Связь, информационные и коммуникационные технологии».

Федеральный образовательный стандарт среднего профессионального образования по специальности «Разработка компьютерных игр, дополненной и виртуальной реальности» включает, кроме самих игр, изучение разработки программных модулей, иммерсивных и мультимедийных приложений, тестирования информационных систем, 3D-моделирование и визуализацию компонентов системы.

Дата окончания общественного обсуждения документа — 6 ноября текущего года.

Колледжам будет непросто найти педагогов по таким дисциплинам, но это возможно, считает директор спортивно-методического центра «Кафедра киберспорта» [...]

Как научить ИИ переносить информацию с бумаги в ERP

Для автоматизации бизнес-процессов часто требуется обработка бумажных документов со сложной структурой — например, счетов или накладных. Разбирать такие документы вручную долго, но, к счастью, процесс можно автоматизировать с помощью ИИ.

Мы в таких случаях используем Datapipe — инструмент с открытым исходным кодом. Он помогает нам построить пайплайн обработки данных. Он устроен так:

1. Данные, размеченные модератором в Label Studio, автоматически загружаются в пайплайн.

2. Размеченные данные добавляются в т. н. «замороженный датасет» — он больше не изменяется и используется для обучения ML-моделей.

3. Затем разбиваем данные на две части:

   • Тренировочный набор (train) — для обучения модели.

   • Проверочный набор (val) — для проверки и оценки качества модели.

4. Изображения подвергаются трансформации: каждая картинка делится на более мелкие сегменты (кропы) для облегчения обучения модели. В каждом кропе выделяются еще более мелкие области, чтобы улучшить точность детекции и классификации.

5. Приступаем к последовательному обучению моделей. Сначала обучаются модели для детекции объектов (YOLOv5), а затем применяются OCR-модели (Google Cloud Vision OCR) для распознания текста.

6. Последовательное тестирование моделей. После каждого обучения модели проводится процесс предсказания результатов на тренировочных и тестовых данных. Подсчитываем метрики качества, и модель с лучшими показателями внедряем в рабочую среду.

Как работает такая система — в нашем блоге.

Вебинар: «Быстрая работа с документами с технологией IDP. Профит в кадровых процессах, работе с первичными документами, корреспонденцией и договорами»

Кто проводит: эксперты компаний «Первая Форма» и Dbrain

Кому полезно: техническим директорам, бизнес-аналитикам, директорам по ИТ и инновациям, а также сотрудникам компаний, где в бизнес-процессах много бумажной работы.

Почему это важно:

По данным Gartner, к 2025 году половина счёт-фактур в B2B-сегменте по всему миру будут обрабатываться и оплачиваться без ручного вмешательства — при помощи технологии IDP и связанной с ней автоматизации.

Но чтобы добиться такого уровня автоматизации, нужно сначала оцифровать внутренние процессы. Технология IDP, или интеллектуальная обработка данных, позволяет стандартизировать работу с первичной документацией. Она считывает информацию из конкретных полей, а сочетание с BPM-системой позволяет управлять жизненным циклом документов без лишних ресурсных трат.

Что узнают участники:

• как можно автоматизировать работу с документами из внешних источников;

• как IDP позволяет уменьшить число ошибок при обработке документов;

• как BPM-система с интегрированной IDP-технологией может взять на себя категоризацию документов, создание карточек и другие действия.

Подробнее о программе ➡️

Спикеры вебинара:

• Хайрова Дарья, тимлид партнёрского направления «Первой Формы»

• Александр Ляхович, менеджер по развитию бизнеса в Dbrain

  Как попасть:

  Участие бесплатное, по предварительной регистрации. Вебинар состоится 31 октября в 11:00.

Тематическое моделирование и стоп-слова для ИИ

Искусственный интеллект склонен к мазохизму: он будет выполнять лишнюю работу, если его не остановить. Чтобы ИИ не страдал напрасно (а пользователь не ждал слишком долго), разработчики придумали механизмы ограничений.

К одним из них относится использование стоп-слов — перечня терминов общей лексики, не несущих смысловой нагрузки и встречающихся в документах на любые темы. Например, это предлоги, междометия, вводные слова и словосочетания. Они просто игнорируются при анализе текста.

Стоп-слова используются для оптимизации тематического моделирования (topic modeling) — метода, который выявляет скрытые темы в коллекции текстов или относит их к заранее определенному списку тем.

Построение тематической модели основано на вычислении семантических векторов, характеризующих степень принадлежности документа к каждой из тем. Векторы вычисляются для всех терминов уже после отбрасывания стоп-слов. Это позволяет быстрее определять, каким темам соответствует анализируемый набор текстов, и какие наборы слов характерны для каждой из них.

Эффективность тематического моделирования зависит от качества семантических векторов. Чем больше модель «видела» текстов при обучении, тем лучше она будет охватывать семантическую составляющую каждого слова.

Тематическое моделирование применяется в поисковых системах, социальных сетях, новостных интеграторах, научных библиотеках и даже в биоинформатике — для поиска генетических последовательностей.

Нейросети в анализе данных

Аналитикам полезно пользоваться нейросетями в решении некоторых задач для экономии времени. Но помните, что они часто ошибаются и следует проверять полученные результаты. Вот где можно применить ИИ:

• Подготовка данных. ИИ быстро очистит данные, устранит дубликаты и заполнит пропуски.

• Суммаризация. Если у вас на руках большое исследование, из которого надо выделить важное, то отправьте информацию в ИИ и попросите сформулировать основные выводы, построить сводные таблицы и графики.

• Быстрый анализ. ИИ поможет найти аномалии и закономерности в больших таблицах, причём быстрее, чем при ручном исследовании или с помощью алгоритма, например, на Python.

  Например, в приложении изменили цвет кнопки, или в программу закрался баг — количество пользователей резко сократилось. ИИ помогает провести первичную оценку данных и подсветить аномалии, что сильно ускоряет процесс для принятия мер.

• Составление прогнозов. Например, чат-бот на основе ИИ может прогнозировать спрос, выявлять тренды и предсказывать будущие значения на основе исторических данных.

• Поиск новой информации. Специалисту по анализу данных нужно ориентироваться в программировании, статистике, теории вероятностей, бизнесе и специфике продукта. Это колоссальный объём знаний, который трудно держать в голове, поэтому аналитику часто нужно что-то гуглить. ИИ может ускорить процесс поиска информации, корректно отвечать на сложные вопросы и подсказывать, как решить задачу.

→ Бесплатный курс «YandexGPT для начинающих»

Всем привет! Кто хочет поучиться кодить на Rust присоединившись к Open Source проекту?
Проект rustsn представляет собой инструмент на языке Rust, который выполняет следующие функции:

• Генерация, компиляция и тестирование кода с использованием моделей машинного обучения (LLMs).

• Разрешение зависимостей.

• Предоставление объяснений существующего кода с помощью встраиваний (embeddings).

https://github.com/evgenyigumnov/rustsn

Чтобы автопилот работал хорошо, нужен… человек

Беспилотный автомобиль Waymo заблокировал движение на улице. Но серьёзность последствий — в пробке застрял кортеж кандидата в президенты США Камалы Харрис — заставляет очередной раз задуматься, насколько мы близки к управлению автомобилем ИИ? 

Подсчёт аварийности беспилотных авто затруднён из-за их относительной малочисленности, недоступности им большинства районов движения. Илон Маск заявлял, что в режиме автопилота Tesla безопаснее на пройденную милю, чем с человеком за рулём. А Национальное управление безопасности дорожного движения США утверждает обратное, насчитав почти втрое больше ДТП. Но сам факт аварии во время управления с автопилотом не означает, что виноват ИИ. В Tesla автопилот до сих пор требует сопровождения водителя. Но даже разбор поездок «беспилотников» привёл автора ArsTechnica к выводу, что пока просто не набрана статистика, авария аварии — рознь. 

В условиях неопределённости эффективности беспилотников хочется избежать случаев, которые легко решил бы человек, типа блокировки кортежа Харрис. Где-то виноваты локальные сбои, где-то особенности обучения моделей ИИ, который может не разобраться — где настоящая разметка. В итоге для ситуации, когда в городе немного автомобилей, напрашивается система постоянного контроля беспилотников, чтобы можно было перехватить управление. Или выслать человека на место, чтобы он отогнал автомобиль, который «глючит», или наоборот слишком придерживается правил, блокируя движение.

🏆 Учёные, выигравшие Нобелевскую премию по физике, предупреждают об угрозах ИИ

Исследователи Джеффри Хинтон и Джон Хопфилд стали лауреатами Нобелевской премии по физике 2024 года за их новаторские исследования в области ИИ. Их работы 1980-х годов по нейронным сетям стали основой для современных систем глубокого обучения, которые обещают революцию, но также вызывают опасения.

Хинтон, известный как "Крёстный отец ИИ", выразил тревогу по поводу возможных последствий технологии, над которой он работал. "Я беспокоюсь, что это может привести к появлению систем, которые станут умнее нас и однажды выйдут из-под контроля", — сказал он. В 2023 году Хинтон ушёл из Google, чтобы предупредить о "глубоких рисках" ИИ для общества. 

Потенциал и вызовы
Нобелевский комитет отметил, что искусственные нейронные сети уже стали частью повседневной жизни — от распознавания лиц до автоматического перевода. Но, как заявила Эллен Мунс, председатель комитета, быстрый прогресс ИИ вызывает опасения за будущее. "Человечество несет ответственность за безопасное использование этой технологии," — добавила она.

Хопфилд, в свою очередь, предостерег, что современные ИИ-системы могут содержать непредсказуемые последствия, и призвал к более глубокому пониманию их работы.

Хинтон и Хопфилд были награждены за вклад в разработку систем, таких как сеть Хопфилда и машина Больцмана, которые сделали возможным обучение нейронных сетей выполнять сложные задачи, такие как распознавание образов.

📄 Подробнее: Nobel Prize

TG.

Авторы жгут! Итоги автоген-челленджа

Всем привет! На связи команда Самолета. Совсем недавно мы объявляли о старте автоген-челледжа — совместной инициативы Хабра и Самолета. Мы призывали авторов с практическим опытом в области генеративного ИИ наваять технохардкора. Теперь пришло время подвести итоги и объявить призёров. 

Всего в челлендже приняли участие 26 статей, как новых, так и старых (благо правила позволяли). Если смотреть по популярности тем, то самыми-самыми стали большие языковые модели и их дообучение. Кроме этого было затронуто и много других тем — компьютерное зрение, колоризация видео, оптимизация, бенчмарки.

На почётном третьем месте оказался @breakmirrors с лонгридом за авторством Екатерины Венедиктовой про ускорение обучения нейросетей. Хотя изначально мы хотели нечто более практическое, энциклопедизм этой статьи и при этом простота изложения определённо заслуживают награды. Автор получает набор мерча от Самолета + блог по тарифу Бизнес на полгода.

Второе место занимает @efreelancer с прошлогодней, но всё ещё крутой статьёй про дообучение ruGPT. Автор заявил на челлендж сразу четыре интересных статьи, и одна из них получает законный приз — то же, что у третьего места, плюс пост в соцсетях от Хабра.

А главным автогенщиком мы после долгих дебатов выбрали @Aleron75 с подробным гайдом про дообучение Llama. За технохардкорность и актуальность он получает те же плюшки, что и у второго места, плюс сторис на Хабре.

Спасибо всем авторам! Вы делаете Хабр тортом.

Какой потенциал у потребительских GPU в облачных вычислениях — обсудим на конференции GoCloud Tech про облачные решения и AI 🦾

Продолжаем знакомить вас с программой конференции GoCloud Tech.

Наш эксперт Руслан Андреев расскажет про собственную методологию анализа производительности и оценки применимости различных моделей GPU в задачах искусственного интеллекта. А еще покажет пример использования этой технологии и подведет итог — в каких ситуациях подойдет потребительский GPU, а когда лучше использовать Data Center GPU.

Приходите послушать выступление и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 17:05 до 17:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Зачем нужна R&D-команда: взгляд разработчика

• Как объединить кластеры Kubernetes без даунтайма: пошаговая инструкция

Добрый день, уважаемые хабровчане!

Наш небольшой творческий коллектив "Тандем Модемов" выпустил новую песню и музыкальное видео к ней.

Аудио было по-прежнему сгенерировано при помощи Udio. Что интересно, исполнение получилось ну очень похоже на нейронного Бориса Борисовича Гребенщикова, несмотря на то, что сеть никто об этом отдельно не просил - так на нее действует сочетание стиля Irish Folk с текстом на русском языке. И, на мой взгляд, это исполнение отлично подошло к новой песне.

Кадры были сгенерированы при помощи опенсорсной сети Flux, и я просто поражен качеством генерации - как мне кажется, Flux обгоняет не только опенсорсную Stable Diffusion, но и платные решения вроде Dall-E и Midjourney, при этом его легко можно развернуть на своей машине. Всем, кто до сих пор с ним не знаком - очень рекомендую.

Видео из кадров сгенерировано при помощи Luma.

А вот тут можно почитать (и послушать) про наш прошлый релиз: Новый Век или Парадокс Моравека

Приятного просмотра!

Меня перепутали с нейросетью.
Прежде чем перейти к сути, позвольте поделиться небольшой предысторией. Программирование для меня является хобби, которому я посвящаю время время от времени. Иногда я увлекаюсь и другими занятиями, например, общением с друзьями и знакомыми в социальных сетях. Я также считаю себя довольно эрудированным человеком, хотя, признаюсь, что большая часть информации, которую я когда-либо знал, уже забыта.

Теперь перейду к сути: я просто отвечал на вопросы, стараясь делать это вежливо и подробно, следуя логике в своих рассуждениях. В какой-то момент кто-то заметил, что я копирую ответы нейросети. Я искренне сожалею о том, что так получилось. К сожалению большая часть информации может пользователями восприниматься, как шаблонная, исходящая из программ. Я просто старался поддерживать дружелюбную атмосферу, поскольку это крайне важно в восприятии информации и обучении других людей.

Это заставило меня задуматься о том, как важно уважать интеллектуальную собственность и оригинальность в общении. Я решил углубить свои познания в области программирования, чтобы отвечать еще более содержательно и индивидуально. Кроме того, я начал искать способы, чтобы сделать свои ответы более уникальными. К сожалению это только ухудшило ситуацию, но есть иной подход.

Идите в баню(да, оскорбление). Я не занимаюсь копированием поведения ИИ, это нейросеть копирует подобных мне. И чтобы подобное не происходило, следует смешивать текст с оскорблениями, чтобы информация не прошла цензуру.

В Японии запустили приложение с ИИ для повышения уровня брачности и рождаемости

Местное правительство Токио запустило приложение для знакомств на базе искусственного интеллекта для поощрения браков в рамках своих усилий по решению проблемы снижения рождаемости в Японии.

Приложение под названием Tokyo Enmusubi (поиск партнеров в Токио) доступно лицам в возрасте 18 лет и старше, которые проживают в столице или добираются до нее на работу. Пользователи должны пройти онлайн-собеседование, предоставить удостоверение личности, документ, подтверждающий доход, и свидетельство о статусе холостяка для обеспечения безопасности на платформе.

Приложение, доступное на смартфонах и онлайн, использует искусственный интеллект для подбора потенциальных партнеров на основе общих ценностей и ответов на 110 подробных вопросов.

Чтобы зарегистрироваться, пользователи должны внести взнос в размере 11 000 иен (около 77 долларов США), а членство действительно в течение двух лет. Хотя искусственный интеллект предоставляет предложения по подбору пары, пользователи также могут искать партнеров на основе определенных критериев.