AI, ANN и иные формы искусственного разума
Привет, Хабр! Меня до сих пор зовут Владимир Садовский, я по-прежнему работаю программистом инструментария в Nau Engine, всё так же обожаю игры, и меня всё ещё не заменил искусственный интеллект. В прошлый раз я рассказывал о процедурной генерации в игровой индустрии. Пришла пора продолжить тему и взглянуть на другую сторону генеративной медали — искусственный интеллект.
Погнали!
В прошлой статье мы разобрали идею нашего компонентного анализатора и поделились результатами некоторых экспериментов, проведенных в лабораторных условиях. Результаты, полученные на маленькой части датасета в размере 3000 библиотек, вышли довольно оптимистичными. В этой статье опишем сложности, с которыми мы столкнулись при попытках применить решение на ~105к библиотек, и расскажем, как с ними справлялись.
Предобученные языковые модели генерируют качественный текст, сравнимый по качеству с человеческим (иногда даже превосходящий его). Но некоторые проблемы остаются даже у лучших LLM — сеть не понимает, что говорит. Может получаться хоть и виртуозный с точки зрения грамматики и лексики, но всё-таки неверный по смыслу результат.
Джим Саймонс — один из самых успешных менеджеров хедж‑фондов в истории. Основатель инвестиционной компании Renaissance Technologies и фонда Medallion — самого результативного и самого закрытого фонда в современной финансовой истории. Попробуем собрать информацию из разных источников и разобраться, в чем секрет успеха. Ведь подходы к управлению деньгами, используемые Саймонсом, будут полезны всем, кто управляет деньгами на фондовом рынке.
Привет, Хабр!
Меня зовут Данил Картушов, в этом посте я расскажу, почему и как именно pet-project'ы могут стать ключом к вашей карьере.
Надеюсь, что после этого поста ты сможешь раскрыть свой потенциал к обучению и по-новому взглянуть на процесс обучения.
Привет, Хабр!
Идея этого поста родилась при работе с геммологами, которые занимаются оценкой качества драгоценных изделий и драгоценных камней, оценкой стоимости и выявлением подделок. Исследования были направлены на то, чтобы выяснить, что может рассказать о внутренней структуре драгоценностей наша программа Smart Tomo Engine (ознакомиться с которой можно у нас на сайте Smart Engines).
Я Григорий Тумаков, CTO в Моризо Диджитал. Эта статья — про то, как мы в компании решили протестировать нейросети для рабочих задач.
Для начала опросил коллег, кто и чем уже пользовался для облегчения процессов разработки. Затем суммировал свой опыт, добавил комментарии коллег. Публикую наш опыт: что мы нашли полезного для себя в сфере нейронок. И мой собственный реальный проект, который я с помощью нейросетей сделал.
Disclaimer: это не полноценный обзор, а скорее эксперимент. Не судите строго 🙂
В прошлом году Дарио Амодей, руководитель известной компании Anthropic, занимающейся разработкой искусственного интеллекта, заявил в Конгрессе, что новые технологии искусственного интеллекта могут вскоре помочь неумелым, но злонамеренным людям проводить крупномасштабные биологические атаки, например, создавать и выпускать вирусы или токсичные вещества, которые вызовут массовые заболевания и смерть.
Сенаторы от обеих партий были встревожены, а исследователи ИИ в промышленности и научных кругах обсуждали, насколько серьёзной может быть эта угроза.
Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-сканерами и обработкой фотографий. В задачах часто использовал С++, хотя машинное обучение традиционно ассоциируется с Python. Этот язык программирования буквально захватил сферу, его используют повсюду — от обучающих курсов до серьезных ML-проектов.
Однако Python — не единственный язык, на котором можно решать задачи машинного обучения. Так, альтернативой может стать С++. Если последний вам ближе, вам будет интересен и полезен этот текст.
Под катом разберемся:
• как организовать работу с данными и загрузку обучающего датасета,
• как описать структуру нейронной сети,
• как использовать уже готовые алгоритмы машинного обучения из доступных библиотек и фреймворков,
• как организовать конвейер обучения сети,
• как использовать предобученные глубокие сети для решения задач.
На Хабре не раз и не два писали об искусственном интеллекте, который превосходит человека в разных настольных и компьютерных играх. Но это специально обученные агенты, которые специализируются на какой-то конкретной игре. А можно ли разработать систему, способную взаимодействовать с трёхмерным окружением любой игры без длительной предварительной подготовки? Корпорация Google считает, что да, и подтвердила свои слова делом. Она создала агента, способного на это. Какие возможности у новой разработки?
Далее пойдёт речь про бэггинг и мой самый любимый алгоритм — случайный лес. Не смотря на то, что это одни из самых первых алгоритмов среди семейства ансамблей, они до сих пор пользуются большой популярностью за счёт своей простоты и эффективности, зачастую не уступая бустингам в плане точности. О том, что это такое и как работает, далее в статье.
Привет! Меня зовут Василий Землянов, я занимаюсь разработкой ML-инфраструктуры. Несколько лет я проработал в команде, которая делает споттер — специальную маленькую нейросетевую модельку, которая живёт в умных колонках Яндекса и ждёт от пользователя слова «Алиса». Одной из моих задач в этой команде была квантизация моделей. На пользовательских устройствах мало ресурсов, и мы решили, что за счёт квантизации сможем их сэкономить — так в итоге и вышло.
Потом я перешёл в команду YandexGPT. Вместо маленьких моделей я стал работать с очень крупными. Мне стало интересно, как устроена квантизация больших языковых моделей (LLM). Ещё меня очень впечатляли истории, где люди берут гигантские нейросети, квантизируют в 4 бита и умудряются запускать их на ноутбуках. Я решил разобраться, как это делается, и собрал материал на доклад для коллег и друзей. А потом пришла мысль поделиться знаниями с более широкой аудиторией, оформив их в статью. Так я и оказался на Хабре :)
Надеюсь, погружение в тему квантизации будет интересно как специалистам, так и энтузиастам в сфере обучения нейросетей. Я постарался написать статью, которую хотел бы прочитать сам, когда только начинал изучать, как заставить модели работать эффективнее. В ней мы подробно разберём, зачем нужна квантизация и в какой момент лучше всего квантизовать модель, а ещё рассмотрим разные типы данных и современные методы квантизации.
GPT стремительно ворвался в нашу жизнь и разделил аудиторию на две неравные части: технооптимистов и технопессимистов. Как ни странно, технопессимисты — это преимущественно профессионалы, способные трезво оценить результат, который демонстрирует GPT. А технооптимисты — люди, не достигшие вершин профессионализма. Их завораживает та лёгкость, с которой GPT генерирует тексты, картинки и видео на самые разные темы.
Споры относительно пользы или вреда от использования GPT не утихают. Я же хочу предложить вашему вниманию альтернативный взгляд: дело не в самом инструменте, а в способах его использования.
В этой статье я расскажу, как профессионалы усиливают свою мощь, задействуя интерактивные возможности GPT.
О компании Cerebras на Хабре писали несколько раз, чаще всего с упоминанием того, что она создала самый большой в мире процессор. И сейчас та же ситуация — она повторила свой рекорд, разработав гигант с 900 тыс. вычислительных ядер. Конечно, это чип не для обычных пользователей, а для работы в отрасли искусственного интеллекта. Что это за процессор и на что он способен? Подробности — под катом.
Сингапур — небольшое островное государство с площадью всего 734 кв. км и населением 5,9 млн человек. В 1960-х там не было ничего, кроме трущоб, а сейчас его называют одним из самых технологически продвинутых мест планеты.
Одно из самых впечатляющих преобразований — цифровизация госуправления. В то время, как в некоторых странах только начинают внедрять биометрическую идентификацию, «всевидящее око» Сингапура знает всех своих граждан в лицо в прямом смысле этого слова. А еще — следит за каждым их движением при помощи десятков тысяч камер и беспристрастных роботов-полицейских. Что это — концепция комфортного и безопасного города будущего или же цифровой ГУЛАГ? Понятное дело, что всё куда как сложнее. Разбираемся.
Мир, в котором мы с вами живём и который непосредственно ощущаем, является объёмным: расположение любой точки в нём можно описать тремя координатами, и этот факт элементарно зашит в нашу природу. Чем больше “понимания” система искусственного интеллекта будет иметь относительно истинной сущности вещей, включая их расположение, форму и объем, тем легче она будет справляться с задачами, которые до сих пор мог выполнять только человек.
В этой статье разберём, как ИИ помогает решать одну из ключевых задач робототехники, а именно - понимание и ориентация в объёмных пространствах!
В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения.
При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов.
В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе.
В этой статье собраны все основные понятия для написания текстовой подсказки для генерации изображений с помощью нейросети.
Если вы хотите создавать качественные изображения, нужно понимать (или просто запомнить) некоторые профессиональные термины и приемы, используемые художниками и фотографами.
В этой статье мы разберем такие ключевые факторы, как высокая детализация, освещение, стиль изображения и другое.
Приватный GPT - это готовый к производству проект искусственного интеллекта, который позволяет задавать вопросы о ваших документах, используя мощь больших языковых моделей (LLM), даже в сценариях без подключения к Интернету. 100% приватный, никакие данные не покидают ваше окружение выполнения в любой момент.
Запуск на Windows Subsystem для Linux (WSL) с поддержкой GPU может значительно улучшить его производительность. В этом руководстве я проведу вас пошаговый процесс установки PrivateGPT на WSL с использованием ускорения GPU.