От токенизации до генерации: как я с нуля написал GPT для Python-кода

[DarkDGG]

Статья от LLM, о том как сделали LLM, М-да. Причём, не исключено, что и код написала LLM.

И зачем, это спрашивается, читать?

[gegemoniya]

Вообще, заметил, что люди попросту пропадают из цепочки создания и потребления интернет контента, на хабре вообще нынче большинство статей не из нишевых сфер это наглый ии, ии копипаст, ии перевод и далее по списку. Статьи пишут ии, скрапят их тоже ии, мы больше не нужны.

[DarkDGG]

В последнее время больше комментарии читаю, чем статьи. Интереснее и полезнее выходят, в сравнении со многими статьями.

Хотя и там начинает появляться нечто, сгенерированное явно LLM. Хотя казалось бы, уж комментарии-то можно самому писать...

[sbabich]

А кто то заставляет читать?

[sedovaevangelina]

Круто. Отлично показано, как из ничего можно собрать рабочую GPT для кода и реально понять, как это работает изнутри. Особенно понравился подход с токенизацией Python и разбором ошибок, полезно для любого, кто хочет попробовать LLM самому.

[Orbit_Dev]

Отличная статья и проект! Очень знакомо звучат "ошибки в архитектуре" — я сам недавно прошёл через похожее, когда писал 3D-глобус на Python и Ursina. У меня целые страны "уплывали" в океан из-за того, что визуальная и математическая сферы просто не совпадали. Потребовались недели, чтобы понять: нужен калибровочный коэффициент и смещение по широте/долготе для каждой страны.

Ваш подход к токенизации кода через AST — очень крутая идея, спасибо, что показали реализацию. Я тоже стараюсь учиться на реальных проектах, хотя иногда кажется, что проще пойти по пути готовых решений.

Если интересно посмотреть, что у меня получилось с 3D-графикой и координатами, то вот ссылка (проект бесплатный и open source):
https://orbitdev-cmd.github.io/orbit-site

Ещё раз спасибо за статью — мотивирует не бояться сложных задач!