Контекстное окно длиной 4 миллиона токенов в Llama-3 8B (V0.1) ?‍?

8 мая 2024 г. представители Gradient AI опубликовали в X (*запрещена в России) следующий пост:

"Мы активно расширяем границы возможностей моделей с большими контекстными окнами, поэтому мы с радостью представляем раннюю версию нашей модели Llama-3 8B на 4 млн токенов, которую мы выложили на huggingface.

Несмотря на то, что её совершенствование потребует времени, на сегодняшний день, из всех моделей с исходным кодом в открытом доступе, Llama-3 8B имеет контекстное окно, которое вмещает самое большое количество токенов.

Если вам нравится то, что вы видите, следите за нами и нашими друзьями@CrusoeEnergyтак как мы продолжаем оказывать помощь сообществу!"

Также следует отметить, что контекстное окно на 4 миллиона токенов примерно соответствует тексту длиной 3 миллиона слов.

Для справки, во всех книгах серии Гарри Поттер на языке оригинала суммарно содержится порядка 1,084,170 слов.

Gradient AI: Искусственный интеллект для бизнеса

Gradient AI представляет собой платформу искусственного интеллекта (AI), специально разработанную для работы с данными и корпоративными задачами. Она предлагает быстрый и простой способ интеграции AI в бизнес, обеспечивая максимальную ценность с минимальными усилиями.