Искусственный интеллект

Уже сейчас ChatGPT и «коллеги» оказывают огромное влияние на различные отрасли бизнеса, науку и обычную жизнь интернет-пользователя. При этом модели постоянно совершенствуются, становясь всё более умелыми — они получают новые возможности, функции, осваивают недоступные ранее для ИИ отрасли. Чего ожидать от следующей версии ChatGPT, GPT-5? Подробности — под катом.

Используя тексты, произведённые трудом реальных людей (необязательно защищённый авторскими правами контент, но и user generated‑контент, творчество людей в соцсетях и по всему интернету) без указания источников и вознаграждения авторов, ИИ‑компании сами обедняют плодородную почву, на которой расцветает их продукт: если люди будут идти за информацией, которая требует журналистской, редакторской, авторской, расследовательской работы к чат‑ботам вместо соответствущих профильных изданий, то, когда подобные издания существенно сократят масштабы своей репортёрской и расследовательской деятельности или просто вымурт из‑за нехватки средств к существованию, то и ИИ будет больше нечем отвечать, кроме переваривания уже устаревшей информации и собственных галлюцинаций.

С момента выхода первой статьи «Attention is All You Need» я с жадностью и любопытством, присущими любому исследователю, пытаюсь углубиться во все особенности и свойства моделей на базе архитектуры трансформер. Но, если честно, я до сих пор не понимаю, как они работают и почему так хорошо обучаются. Очень хочу разобраться, в чём же причина такой эффективности этих моделей, и есть ли предел их возможностей?

Такому изучению трансформеров «под микроскопом» и посвящена наша научная работа, только что представленная на конференции EACL 2024, которая проходила на Мальте — «The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models». В этой работе мы сфокусировались на наблюдении за пространством эмбеддингов (активаций) на промежуточных слоях по мере обучения больших и маленьких языковых моделей (LM).

Сложность планирования рабочих смен в ресторанах, фастфудах, кафе, отелях и колл-центрах часто связана с нерегулярными графиками, разнообразием рабочих ролей и требованием к специфическим навыкам сотрудников. Эффективное распределение смен напрямую влияет на качество обслуживания и финансовые показатели бизнеса.

Решение этой задачи подразумевает минимизацию рисков нехватки или избытка персонала и, как следствие, оптимизацию прибыли. В ответ на эти вызовы разрабатываются системы WFM, которые используют аналитику и автоматизацию для управления рабочим временем сотрудников, популярные во всем мире..

Приветствую! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee. В современном мире искусственный интеллект стал незаменимым помощником в различных сферах нашей жизни. Однако, я верю, что всегда нужно стремиться к большему, автоматизируя все процессы, которые возможно. В этой статье я поделюсь опытом использования Whisper и ChatGPT для создания ИИ‑секретаря, способного оптимизировать хранение и обработку корпоративных созвонов.

Хладнокровная машина, не знающая печали и жалости. Неумолимо и прямолинейно выполняющая поставленную ей задачу до конца. Таким запомнился зрителю терминатор из одноимённого фильма. Согласно его сценарию, бездушная машина прибыла к нам из будущего. И вот, именно сейчас мы подходим к тому времени, когда в мире из фильма машины берут верх над людьми.

Если обратить свое внимание на техническую сторону этого робота, то то, что удивляло в 1984 году, сейчас кажется чем-то знакомым, и уже маячит на горизонте. На каких же технологиях эти роботы построены там, глубоко внутри своего стального черепа?

Давайте всего на один день предположим, что Джеймс Кэмерон уже в 1984 году что-то знал и снял не фантастический фильм, а попытался послать нам предупреждение. Что если режиссёр фильма попробовал нас оградить от того, к чему может привести злоупотребление новыми технологиями и насколько мы смогли с их помощью приблизиться к созданию таких машин? Предлагаю сегодня, 1 Апреля 2024 года, провести глубокий и вдумчивый анализ механизмов работы терминатора и вместе найти ответ на этот животрепещущий вопрос.

В последнее время наблюдаются серьезные волнения, сколько еще программисты будут нужны и в каком качестве. Я решил свою лепту в нагнетании паники, но с долей оптимизма.

Для понимания и усвоения материала нужны только базовые знания питон (синтаксис и базовые понятия).

Не нужны знание и понимание html, css, xml, javascript(typescript), REST, Websockets,  и всех фреймворков для фронт и бэк Web-программирования.

В этой статье я собрал огромную коллекцию курсов, книг, и ресурсов для всех, кто любит и изучает машинное обучение. Сохраняйте себе эту подборку, чтобы не потерять, по мере выхода новых курсов, подборка будет обновляться.

Благодаря этим бесплатным курсам, вы сможете расширить свои знания и навыки в области машинного обучения, data science и искусственного интеллекта, повысить свою конкурентоспособность на рынке труда и открыть для себя новые возможности в карьере. Независимо от вашего уровня подготовки и опыта, вам обязательно найдется курс, который поможет вам достичь ваших целей.

Платные курсы могут оказаться достаточно затратными, особенно для новичков в области машинного обучения. При наличии достаточной мотивации и желания можно успешно освоить эту область без необходимости тратить деньги на платные курсы.

В машинном и глубоком обучении линейная регрессия занимает особое место, являясь не просто статистическим инструментом, но а также фундаментальным компонентом для многих более сложных концепций. В данной статье рассмотрен не только принцип работы линейной регрессии с реализацией с нуля на Python, но а также описаны её модификации и проведён небольшой сравнительный анализ основных методов регуляризации. Помимо этого, в конце указаны дополнительные источники для более глубокого ознакомления.

С момента выхода оригинальной статьи про трансформер прошло уже больше 7 лет, и эта архитектура перевернула весь DL: начав с NLP архитектура теперь применяется везде, включая генерацию картинок. Но та ли это архитектура или уже нет? В этой статье я хотел сделать краткий обзор основных изменений, которые используются в текущих версиях моделей Mistral, Llama и им подобным.

В отличие от Pytorch, где структура данных выстраивается налету после начала обучения нейронки – в TensorFlow граф статичен. В этой статье мы кратко расскажем про некоторые способы ускорения обучения путем изменения графа вычислений: XLA, GraphTransform Tool, квантизация, заморозка графа и сохранение легкого чекпоинта.  

Устали мониторить бесконечные групповые чаты в Telegram в поисках важной информации? Решение есть! Пишем компактное приложение на Python, которое будет делать это за нас с использованием LLM.

Гифка отображает пример использования, а из ограничений - только ваше воображение и кошелек :)

Пример с промптом, кодом и вообще полным проектом - внутри.

Или история о том, как научная статья "Вам нужно только внимание..." немного перевернула игру и индустрию ИИ. 

Трансформеры становятся сотами или попросту попадают в самые последние решения сферы NLP. Кстати, заслужили свою популярность они вообще недавно — только в 2017 году, когда курс доллара был 60 рублей, а для ТГ-каналов с новыми ИИ не исчислялись тысячами.

Сейчас, когда каждый чих в интернете может привести к новому стартапу или технологическому прорыву, большие языковые модели (LLM) занимают своё законное место на передовой научно-технического прогресса. Они умнее, быстрее и эффективнее человека в ряде задач: написание кода, создание контента, перевод текстов и многое другое. Однако, такая высокая степень умения ставит нас перед новым набором проблем – их безопасностью и устойчивостью.

Кто бы подумал, что искусственный интеллект кусается? На деле, конечно, дело не в физическом нападении, а в уязвимостях, которые могут быть использованы злоумышленниками. Большие языковые модели действительно могут попасть под угрозу, и влияние таких событий может оказаться далеко не виртуальным.

Меня зовут Дарья Лютова, я data scientist в ЦАД ВАВТ, также я учусь в магистратуре AI Talent Hub ИТМО и интересуюсь вопросами обучения и безопасности языковых моделей. В этом посте, вместе с вами, хочу пойти дальше простого обсуждения существования уязвимостей в LLM и предлагаю вникнуть в тему проблем безопасности, касающуюся больших языковых моделей, выявить слабые места и прийти к пониманию методов их укрепления. Очень надеюсь, что эта информация поможет тем, кто преследует цель не только достичь новых высот в области AI, но и удостовериться, что их достижения надежны и устойчивы к киберугрозам.

Пока весь мир затаив дыхание следит за большими языковыми моделями и одни грезят о том, как подсадят всех на свои сервисы LLM, а другие прикидывают как заменить бездушными симулякрами если не зажравшихся айтишников, то хотя бы штукатуров и бухгалтеров, обычным ML‑инженерам, по щиколотку в коричневой жиже машинного обучения, приходится решать приземлемые задачи чем бог послал.

В этой статье мы хотим представить вашему вниманию инструмент из нашего арсенала, который позволяет упростить и ускорить разметку, искать аномалии и контролировать генерацию синтетических датасетов с помощью нейросетевых моделей CVAE и нечеткой логики.

Модель Sequence to sequence

Рассмотрим принцип работы модели seq2seq, модификации, как верно подготовить данные для модели.

Люди часто не понимают “Эффект бабочки”, в котором микроскопическое изменение в начале может потом привести к весьма непредсказуемым последствиям. Понимание того, как устроен данный эффект, может дать другой взгляд на инвестиции и трейдинг, бизнес, маркетинг, политику и многое другое.

Это перевод статьи Якоба Стейнхардта, базирующейся на двух предыдущих, уже переведённых статьях: "Какой будет GPT-2030?" и "Внутренние стремления и внешние злоупотребления — переплетённые риски ИИ".

Я уже писал о способностях, которых можно ожидать от будущих ИИ-систем, на примере GPT₂₀₃₀ – гипотетического наследника GPT-4, обученного в 2030 году. GPT₂₀₃₀ обладала бы весьма продвинутыми способностями, включая сверхчеловеческие навыки программирования, взлома и убеждения, способность думать быстрее людей и быстро обучаться, разделяя информацию между параллельными копиями, и, возможно, другие сверхчеловеческие навыки вроде проектирования белков. Давайте называть “GPT₂₀₃₀++” систему, которая обладает этими способностями и, в дополнение к ним, умеет планировать, принимать решения и моделировать мир не хуже людей. Я использую допущение, что во всём этом мы в какой-то момент достигнем как минимум человеческого уровня.

Ещё я писал о том, как несогласованность, злоупотребления и их комбинация усложняют контроль ИИ-систем. Это относится и к GPT₂₀₃₀. Это тревожит, ведь, получается, нам придётся столкнуться с очень мощными системами, которые будут очень плохо поддаваться контролю.

Меня тревожат суперинтеллектуальные агенты с несогласованными целями и без надёжного метода контроля за ними. Для этого даже не обязательны конкретные сценарии того, что может пойти не так. Но я всё же думаю, что примеры были бы полезны. Поэтому я опишу четыре достаточно конкретных сценария того, как GPT₂₀₃₀++ могла бы привести к катастрофе. Они охватят как несогласованность, так и злоупотребления, и проиллюстрируют некоторые риски экономической конкуренции ИИ-систем. Я буду конкретно обосновывать правдоподобность “катастрофических” исходов – масштаба вымирания, перманентного обессиливания человечества и потери ключевой социальной инфраструктуры.