Как работать с помощью разных ИИ прямо в VSCode: AIConfig Editor

Обзор

AIConfig Editor превращает VS Code в генеративную среду разработки, позволяющую в единой универсальной песочнице запускать модели любого провайдера (OpenAI, Google, Hugging Face, с вашего локального компьютера...) или в любой модальности (текст, изображение, аудио).

Подсказки и настройки модели сохраняются в файле .aiconfig.yaml или в .aiconfig.json, исходный код которых можно контролировать и использовать в вашем приложении через AIConfig SDK.

За подробностями обращайтесь к полной документации

EditorUI

Демо-видео

Как начать?

Первый запуск

1. Установите расширение AIConfig Editor.

2. Запустите команду AIConfig: Welcome (CMD+SHIFT+P → AIConfig: Welcome) и следуйте инструкциям.

Welcome

3. Для вдохновения загляните в наши шаблоны

Дальнейшие запуски

• СоздайтеUntitled aiconfig с помощью команды AIConfig: Create New (CMD+SHIFT+P → AIConfig: Create New), чтобы запустить его.

Ключевые фичи

• Доступ к локальным и удаленным моделям в одном месте. Получите доступ ко всем генеративным моделям ИИ в одном месте, прямо в вашей IDE. Из коробки поддерживаются текстовые, графические и аудиомодели.

• Универсальная песочница промпт-инжиниринга. Переключайтесь между моделями, объединяйте подсказки и создавайте их шаблоны. Используйте эти подсказки в коде через AIConfig SDK.

• Контроль версий подсказок. Управляйте подсказками и настройками модели в файлах конфигурации, которые вы можете поместить в систему контроля версий прямо рядом с кодом.

• Подключайтесь к собственным моделям и конечным точкам. Расширяйте AIConfig, чтобы работать с любой моделью и конечной точкой. Подробности см. в разделе пользовательские модели.

Поддерживаемые модели

Это расширение поддерживает все основные модели от основных провайдеров. Чтобы узнать больше, пожалуйста, посмотрите https://aiconfig.lastmileai.dev/docs/overview/model-parsers/.

Провайдер	Модель	Язык	Поддержка
OpenAI	GPT3.5	Python	✅ Встроена
OpenAI	GPT4	Python	✅ Встроена
OpenAI	Dall-E 3	Python	✅ Встроена
Azure OpenAI	GPT3.5, GPT4	Python	✅ Встроена
AWS Bedrock	Claude	Python	✅ Встроена
Конечные точки вывода HuggingFace	Генерация текста, преобразование текста в изображение, текста в речь, обобщение, перевод, автоматическое распознавание речи	Python	✅ Встроена
Google	PaLM 2	Python	✅ Встроена
Google	Gemini	Python	✅ Встроена
Meta* [организация признана экстремистской и запрещена в России]	Llama 2	Python	? Расширением
Meta	Llama Guard	Python	? Расширением
Пайплайны трансформеров HuggingFace	Генерация текста	Python	? Расширением

Как это работает

AIConfig Editor — это пользовательский интерфейс для AIConfig. Последний представляет собой схему JSON/YAML для хранения подсказок генеративным ИИ, а также хранения моделей и их настроек в виде файла конфигурации.

Например, посмотрите этот aiconfig, который обрабатывает вызов функций и цепочку подсказок.

• При установке расширение устанавливает pip-пакет python-aiconfig в ваше окружение Python.

• Когда вы открываете файл *.aiconfig.yaml в VS Code, расширение запускает Python-сервер, на котором работает AIConfig SDK.

• Когда вы редактируете и запускаете запросы в редакторе, для запуска этих запросов сервер использует AConfig SDK. Это дает вам большую гибкость, поскольку вы можете установить дополнительные расширения AIConfig в окружение Python и использовать их в редакторе.

Расширяемость и настраиваемость

Когда вы используете редактор AIConfig, расширение устанавливает python-aiconfig в ваше окружение Python. Дополнительные расширения и зависимости можно установить в том же окружении Python, а затем использовать их в редакторе AIConfig.

Инструкции

1. Запустите pip3 install <extension_package> в вашем окружении Python (например, pip3 install aiconfig-extension-hugging-face для моделей Hugging Face через конечные точки трансформеров, диффузоров и моделей логических выводов)

2. Запустите команду AIConfig: Create Custom Model Registry (CMD+SHIFT+P → AIConfig: Create Custom Model Registry).

ModelRegistry

3. Зарегистрируйте дополнительные модели из пакета, например импортированного на шаге 1.

Скопируйте полный пример

from aiconfig_extension_hugging_face import (
    HuggingFaceText2ImageDiffusor,
    HuggingFaceTextGenerationTransformer,
    HuggingFaceTextSummarizationTransformer,
)

from aiconfig import AIConfigRuntime


def register_model_parsers() -> None:
    """Register model parsers for HuggingFace models."""

    text_to_image = HuggingFaceText2ImageDiffusor()
    AIConfigRuntime.register_model_parser(text_to_image, text_to_image.id())

    text_generation = HuggingFaceTextGenerationTransformer()
    AIConfigRuntime.register_model_parser(
        text_generation, text_generation.id()
    )
    text_summarization = HuggingFaceTextSummarizationTransformer()
    AIConfigRuntime.register_model_parser(
        text_summarization, text_summarization.id()
    )

HuggingFace

4. Откройте *.aiconfig.yaml (например, CMD+SHIFT+P → AIConfig: Create New), и теперь в редакторе можно использовать собственное расширение! Чтобы определять собственные расширения, пожалуйста, посмотрите документацию о расширяемости AI Config Editor.