Большие модели, маленькие токены. ЛЛМ - битва за контекст (ч.1)

[Diamon33]

TL;DR:

1. Уделяйте внимание цене токенов и размеру контекста. Спасибо, капитан.

2. Избегайте любой шляпы за пределами ASCII, а лучше вообще общаться только английскими символами. Модели обучали в первую очередь на английских материалах. Невероятно, но факт.

3. Любой текст - это текст, в том числе код, URL и т.д. Токенизация может отличаться для, казалось бы, одинакового семантически текста. Уму непостижимо.

ШТОШ.

 И уже буквально в момент появления скиллов у меня было ощущение, что это самая значимая штука, которую они сделали за последнее время. Возможно, даже посерьёзнее, чем в своё время были MCP

О нет, они изобрели MCP, но индексированные, самая значимая штука™. Сначала появился search_tool и ask_user_a_question_tool, но то ж детали.

/s

P.S. Начинать статью с

Когда я выкладывал первую главу этого цикла статей в свой телеграм-канал (@laxcity_lead)

Это все равно что после "Здрасьте" начать штаны снимать. Мода такая сейчас?

Далее:

Не зря мой маркетплейс 

 пишите в комментариях здесь или в Telegram.

Подписывайтесь на телегу

Читатели на Хабре, похоже, идиоты, после первого предложения не поняли.