Pull to refresh
12
3
Калимулин Михаил Игоревич @exwill

Vision developer

Send message

Интеграция LLM в корпоративное хранилище данных

Level of difficultyMedium
Reading time11 min
Views3.6K

В данной статье рассматриваются способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов. В рамках исследования также изучаются методы пост-обработки результатов SQL-запросов с целью улучшения точности и адаптивности моделей к конкретным характеристикам и особенностям баз данных.

Работа включает в себя анализ существующих решений и методов оценки эффективности LLM в контексте их интеграции в корпоративные информационные системы. Особое внимание уделяется применению Preference Learning via Database Feedback — подхода, направленного на обучение моделей на основе обратной связи от баз данных, что способствует более точному и адаптивному выполнению запросов пользователей.

Исследование также охватывает разработку примеров интеграции LLM в реальные корпоративные хранилища данных с целью демонстрации практической применимости и эффективности предлагаемых подходов.

Читать далее
Total votes 9: ↑8 and ↓1+8
Comments5

Эпоха пара: Введение / Вес воздуха

Reading time16 min
Views22K

Введение




В центре двора университета Райса, где проходил обучение автор этих строк, на постаменте находятся три огромных гранитных плиты, расположенные вертикально, горизонтально и под углом 45° к горизонту. При этом менее заметной, но более значимой для моего юного впечатлительного сознания оказалась другая скульптура, "Энергия", расположенная в северной части двора, рядом с фасадом лаборатории Аберкромби. На ней изображён рельеф бородатой библейской фигуры, одетой в набедренную повязку, которая левой рукой забирает у Солнца лучи, а правой мечет их на Землю. Скульптура прославляет инженеров. Действительно, практически вся энергия, которую использует человечество, происходит от Солнца, в том или ином виде. Это откровение поразило меня, когда я был студентом. Частичным исключением можно считать лишь ядерную и геотермальную энергии, поскольку они происходят от давно умерших солнц, а не от нашего текущего.
Читать дальше →
Total votes 36: ↑34 and ↓2+45
Comments8

Разбор документа про AGI от Леопольда Ашенбреннера, бывшего сотрудника OpenAI

Level of difficultyMedium
Reading time11 min
Views33K

Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment, опубликовал документ под названием «Осведомленность о ситуации: Предстоящее десятилетие», в котором он делится своим видением будущего ИИ. Основываясь на своих знаниях в этой области, Ашенбреннер предсказывает стремительное развитие искусственного интеллекта в ближайшее десятилетие.

Мы прочитали этот документ объемом в 165 страниц за вас. В этой статье расскажем о ключевых идеях Ашенбреннера и о его прогнозах на будущее искусственного интеллекта.

Читать далее
Total votes 51: ↑48 and ↓3+59
Comments211

Как мы собираем данные для обучения Kandinsky

Level of difficultyHard
Reading time14 min
Views2.3K

Всем привет! Наша команда в Sber AI занимается генеративными моделями и сегодня мы расскажем про очень важный этап разработки моделей для генерации фотореалистичных изображений и видео — процесс сбора и фильтрации данных. Про этот этап очень редко подробно рассказывают разработчики и исследователи таких известных генеративных моделей как DALL-E 3, Stable Diffusion, MidJourney или SORA. Генеративные модели уже многих впечатлили своими возможностями создавать максимально реалистичные изображения и видеоролики, а качественные данные — далеко не последняя причина, по которой такого качества генераций удалось достичь.

Читать далее
Total votes 18: ↑17 and ↓1+20
Comments0

Быть или не быть: вопросы расшифровки данных после атаки программ-вымогателей

Reading time6 min
Views5K

В этом блоге мы кратко расскажем, что происходит после шифрования ИТ-инфраструктуры, что чувствует жертва, какие действия предпринимаются ею для восстановления своей инфраструктуры. Что следует и не следует делать пострадавшим от атаки вымогателей, что могут предложить им ИБ-компании в таких случаях, рассказал Андрей Жданов, главный специалист по анализу вредоносного кода и проактивному поиску угроз Лаборатории цифровой криминалистики F.A.C.C.T.

На конкретном примере продемонстрируем нестандартный подход по поиску решения по расшифровке данных.

Читать далее
Total votes 4: ↑4 and ↓0+5
Comments17

Шпаргалка для создания идеального промпта LLM

Level of difficultyEasy
Reading time10 min
Views9.4K

Большие языковые модели могут производить любую последовательность символов на каком угодно языке в любом формате данных (включая языки программирования, аудио и видео). Соответственно и качество этой последовательности может быть самым разным. Иногда мы получаем многословные запутанные объяснения с галлюцинациями и устаревшими знаниями, а иногда ― элегантную функцию на Python решающую сложную задачу,  идеальное название для бренда, а скоро и первую серию будущего бестселлера. Более того, модель может надёжно и точно ответить на миллионы вопросов ваших клиентов, сопоставить запросы из сотен позиций с многотысячным каталогом, самостоятельно обработать заявки по страховым искам, обучить робота или перебрать новые патентные заявки в поисках конфликтов со старыми. Однако чтобы полностью реализовать потенциал LLM, необходимо научиться мастерски давать им подсказки. А как это делать, я расскажу в этой статье.

Читать далее
Total votes 31: ↑31 and ↓0+43
Comments18

Подробная пошаговая инструкция как настроить сервер на Linux и подключение по API к ChatGPT. Для Python и Node.js

Level of difficultyEasy
Reading time9 min
Views11K

ChatGPT набирает все большую популярность, ведь он может помочь человеку или даже заменить его в ряде задач. С ним можно взаимодействовать не только через графический интерфейс, но и по API. Таким образом его можно встраивать в свои системы, чтобы решать практические задачи бизнеса. Сейчас реализую подобный проект. Решил написать статью, где подробно и пошагово описываю, как настроить сервер Linux (Ubuntu) для интеграции по API с данной нейросетью, на примере Python (Flask) и Node.js (Next.js). Опять же, вы можете использовать не Ubuntu, не Flask и не Next.js, просто адаптировав примеры под себя.

В данной статье описано, как развернуть демо проект от OpenAI (описание здесь: Build your application), а затем доработать его, чтобы задавать свои собственные произвольные вопросы, в том числе и на русском. Также в конце статьи скажу немного про параметры API запросов и модели. Все команды и действия будут из консоли.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments2

Интуитивное понимание пространств и ядер в машинном обучении: Часть 1

Level of difficultyHard
Reading time9 min
Views6.6K

При изучении темы ядер (kernel) в ML/DS программы вузов, роадмэпы и видео на YouTube обычно рассматривают её через призму SVM, не говоря уже о всеми любимых курсах:). Казалось бы, это неплохо: вот тебе краткое объяснение и модель, которая использует ядра. Но, увы, в этих областях желательно понимать многие процессы интуитивно, так сказать — «тяжело в учении, легко в бою». К тому же, эта тема нечто большее, чем просто метод; она позволяет связать многие вещи в машинном обучении в единую картину через пространство, что я и хочу показать в этой статье.

Читать далее
Total votes 20: ↑18 and ↓2+20
Comments12

На какие AI Coding Assistants стоит обратить внимание в 2024?

Reading time8 min
Views11K

Не является секретом, что LLM в настоящее время являются неотъемлемой частью нашего рабочего процесса. Особое внимание заслуживает AI Coding Assistant — искусственный интеллект, или просто программный помощник, который поддерживает разработчиков, помогая писать более качественный и точный код, тем самым экономя время и ресурсы.

Давайте рассмотрим различные программные помощники, доступные на рынке для разработчиков с разными уровнями навыков, включая как бесплатные, так и платные варианты.

Но прежде чем мы погрузимся в детали этих инструментов, давайте ответим на вопрос: "Что такое эти помощники?".

Приятного прочтения(:

Читать далее
Total votes 19: ↑19 and ↓0+20
Comments11

Как обучают GPT

Level of difficultyEasy
Reading time6 min
Views8.7K

Привет, Хабр! Меня зовут Родион Уколов, я занимаюсь искусственным интеллектом в компании Friflex. Мы помогаем компаниям внедрять модели машинного обучения и развиваем свои цифровые продукты.

Может быть, вы помните статью моего коллеги о том, как решать реальные задачи с ChatGPT. В этой статье я предлагаю попробовать глубже разобраться, что из себя представляет GPT-модель и как ее обучают. 

Читать далее
Total votes 13: ↑12 and ↓1+13
Comments3

GPT-4, Claude 3, Gemini Pro или опенсорс — как выбрать LLM под свою задачу?

Level of difficultyMedium
Reading time10 min
Views21K
image

Несмотря на то, что сейчас из каждого утюга рекламируется доступ к ChatGPT и GPT-4, вообще говоря, в мире существует несколько больше разных поставщиков LLM (больших языковых моделей), и некоторые из которых могут гораааздо более эффективнее решать какие-то конкретные задачи.

Я уже полгода веду проект VseGPT.ru с доступом к разным LLM из России по OpenAI API (ну, и через вебчат). Львиная доля работы — подключение новых нейросетей. Сейчас их уже свыше 60, и каждую я попробовал хотя бы раз, ну, когда подключал.

Правда, сайт LLMExplorer, собирающий данные об опенсорс нейросетях с портала Hugging Face, говорит, что их там уже более 33 000 штук. М-да.

В общем, вероятно, я не знаю о текстовых сетках всё, но определенно знаю кое-что — хотя бы в пределах своего скромного опыта в 60 сеток. Так что кому интересно — прошу под кат.
Читать дальше →
Total votes 25: ↑24 and ↓1+31
Comments28

Ускорение инференса LLM

Level of difficultyMedium
Reading time13 min
Views8.2K

Инференсом ML-модели называют процесс её работы на конечном устройстве. Соответственно, чем больше мы разгоняем инференс, тем быстрее работает модель. Скорость может зависеть от разных условий, например, от архитектуры, которую вы выбрали для модели, или от железа, на котором работает устройство. Кроме того, проблема тяжёлого инференса остро ощущается на больших языковых моделях (LLM) так остро, как ни на каких других моделях.

Меня зовут Роман Горб, я старший ML-разработчик в команде YandexGPT. Тема инференса LLM заинтересовала меня, потому что я занимался R&D в квантовании сеток для CV-задач. Сегодня я расскажу, как безболезненно увеличить скорость инференса. Сперва разберёмся, зачем это нужно, а потом рассмотрим разные методы ускорения и фреймворки, которые могут в этом помочь.

Ускоряемся
Total votes 26: ↑25 and ↓1+30
Comments9

Дивергентное мышление: человек vs GPT-4

Reading time10 min
Views5.8K


За последние годы применение больших языковых моделей искусственного интеллекта стало крайне распространенным явлением. Популярность ChatGPT повлекла за собой море дискуссий на тему правильности применения таких систем как с практической, так и с этической стороны вопроса. Рассматривая тот или иной ИИ, ученые сравнивают его возможностями с возможностями человеческого мозга. К примеру, ученые из университета Арканзаса (США) провели исследование, в ходе которого сравнивали креативное мышление людей и ChatGPT-4. Какие параметры сравнивались, как себя показал ChatGPT, и какие выводы можно сделать по результатам данного исследования? Ответы на эти вопросы мы найдем в докладе ученых.
Читать дальше →
Total votes 14: ↑8 and ↓6+7
Comments2

OpenAI запускает GPT Store — как создать свой custom GPT с внешними API вызовами

Level of difficultyEasy
Reading time7 min
Views14K

Вчера вечером, 10 января 2024 г., OpenAI официально запустили GPT Store.

Давайте разберемся, что это такое, и что оно дает. А затем создадим свой собственный GPT и добавим его в GPT Store.

Концепция "custom GPT" в терминах OpenAI - это кастомный набор инструкций (custom prompt), который может быть создан любым пользователем ChatGPT с подпиской Plus. Каждый такой custom GPT за счет своего набора инструкций хорошо заточен под решение своей конкретной задачи. Есть custom GPT, которые хорошо пишут код, есть custom GPT, которые играют роль репетитора или психотерапевта и т.д.

Таким образом, GPT store - это большая библиотека инструкций для разных задач внутри ChatGPT. Она создается и поддерживается комьюнити и очень сильно напоминает google play market или apple app store.

Процесс создания Custom GPT заключается в том, что в интерфейсе ChatGPT пользователь составляет подробные инструкции, что и как его GPT должен делать, дает описание, придумывает название, примеры использования и т.д. - всё это сохраняется на серверах OpenAI.

Читать далее
Total votes 33: ↑33 and ↓0+33
Comments11

Подключение Google Gemini Pro к проекту на Python

Level of difficultyMedium
Reading time4 min
Views7.8K

Несколько дней назад я решал задачу подключения Yandex GPT, и главной сложностью там было освоение Yandex Cloud Console. В остальном API - вылитая LLaMa 2.

С Google Gemini история иная. Документация консоли содержит те самые вставки "New to Google Cloud", отсутствие которых вдохновило меня писать про Yandex GPT. При работе с консолью есть нюансы, их и выделим ниже по тексту. Но в целом, можно просто следовать документации, и всё получится.

В Google Cloud теперь доступны два пространства, с которых можно начинать: Vertex AI Studio и Model Garden. Первая предназначена для экспериментов с моделями и отладки промптов. А вторая - библиотека моделей, где всего их на сегодня 56, среди них упомянутая LLaMa 2, PaLM 2, знаменитый тем, что на нём работет Google Bard и, возможно, скоро мы увидим прорыв в медконсультировании Med PaLM 2, Gemini Pro. Мы сегодня коснёмся только Gemini Pro Vision, поскольку именно она заявлена как главный прорыв.

Подключить модель просто, весь процесс состоит из четырёх шагов.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments17

Эволюция метрик качества машинного перевода. Часть 3

Reading time5 min
Views2.1K

Как правильнее всего измерять качество машинного перевода? Многие слышали о BLEU, но на самом деле метрик много. В этой статье расскажем, какие существуют метрики, как они эволюционировали и какие сегодня наиболее адекватны. Часть 3: безреференсные нейросетевые метрики, сравнение адекватности различных метрик.

Читать далее
Total votes 2: ↑2 and ↓0+2
Comments0

Чат-боты на все случаи жизни. 7 инструкций по созданию мини-приложений в Telegram

Level of difficultyMedium
Reading time5 min
Views34K

Telegram-боты — хорошая возможность вписать какую-то важную функциональность в понятную и простую платформу мессенджера. Не нужно думать об отдельном сайте и интерфейсе. Также боты — хорошая возможность для новичков в разработке реализовать свой мини-проект. Идея может быть как совершенно фановая — например, создавать стикеры из мемных сообщений друзей, так и быть частью функциональности сервиса — например, платежной системы.

В подборке под катом — семь инструкций по созданию Telegram-ботов с разной функциональностью. Сохраняйте статью в закладки: пригодится как начинающим, так и опытным разработчикам.

Выберите интересующего вас бота:

Паттерны взаимодействия с ботами
Веб-приложение на Node.js и React
Платежная система с Payments
Карманный ChatGPT, которому можно отправлять голосовые сообщения
Бот для генерации сложных паролей
Бот для создания стикеров из сообщений
Бот для мониторинга погоды на Python
Читать дальше →
Total votes 35: ↑32 and ↓3+40
Comments13

В каких задачах оглупел ChatGPT и как это исправить

Reading time10 min
Views21K

Объяснение GPT 3.5 и 4.0, почему женщины лучше мужчин, в марте и июне 2023 года, источник

В относительно короткой истории программного обеспечения немало примеров, когда разработчикам удавалось настолько ухудшить продукты, что теми переставали пользоваться. Например, Windows ME (2000) или RealPlayer. Возможно, сейчас на эти старые «грабли» наступила и компания OpenAi. В результате последних обновлений ChatGPT-4 стал работать объективно хуже, что подтверждается не только жалобами на Reddit, но и результатами научного исследования специалистов из Стэнфордского университета в Беркли. Одновременно с этим вышли новые версии альтернативных LLM, такие как FreeWilli2 (первая нейросеть, которая побила GPT 3.5 в отдельных бенчмарках) на базе LLaMA 2. О разработке аналогичной модели объявила Apple и другие компании.

Проблему отупения ChatGPT можно обойти, если переключиться на более ранние версии этой модели. Но не факт, что это поможет самой компании OpenAI, ведь в июне 2023 года количество пользователей ChatGPT уже снизилось (впервые с момента выпуска этого продукта).
Читать дальше →
Total votes 16: ↑13 and ↓3+14
Comments14

Простейший бот «на движке» WEB WhatsApp

Level of difficultyMedium
Reading time6 min
Views7.9K

Доброго времени суток всем!

Продолжу изгаляться над Web версией Whatsapp и попробую превратить его в подобие телеграмм-бота. Тем более, что все это бесплатно и не требует никаких внешних сервисов.

Я не буду повторять все действия, которые нужны для для запуска python c необходимыми пакетами, он описаны в моей предыдущей статье: https://habr.com/ru/articles/737990/

Только упомяну, что в данном боте (его код будет ниже) не требуется подключение autoit, так как он не предусматривает отправку файлов в ответ на запрос.

Теперь опишу суть задумки. Так как нет специализированного сервера, то придётся использовать выделенный компьютер (виртуальную машину, docker-образ & etc). На нём в цикле запускать робота, который будет просматривать группу, где подключены все пользователи бота, и отвечать на их запросы. Данный робот ничего умного не умеет, кроме как отправить назад, в группу текст сообщения с префиксом "Echo:". Но с учетом предыдущего поста, думаю, что можно превратить его в полноценного "ответчика".

А сейчас, подробнее по структуре бота. Он реализован в классе, который называется whatapp(). В нём есть следующие методы:

Читать далее
Total votes 4: ↑3 and ↓1+3
Comments0

Information

Rating
955-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity