Компиляторы нового поколения: Искусственный интеллект на службе у кода

[sidewinder1]

И ни слова про работу специалистов по очистке мусора сгенерированного Vibe Coding! Поэтому такой фидбек

[vadimr]

Статья на arxiv.org, указанная как оригинал, не лишена смысла, но тут запощен какой-то нейробред по её мотивам.

[KonstantinTokar]

Автор, что такое "демократизация разработки компиляторов"?

[Gizensha]

То же, что и демократизация искусства, и с этого точно так же горит у гейткиперов от него, как и у прогеров.

[avetissian]

В самое яблочко! сами сидят без работы. а вместо того, чтобы что-то новое изучить, испускают желчь. думают, что смогут остановить прогресс своими минусами

[FSmile]

Прогресс и так остановлен ИИ безумием

[avetissian]

Вам никто не мешает двигать прогресс старыми методами. только почему-то прогресс был в зарплатах айтишников, а не в айти в последние годы.

[TimurZhoraev]

Главный вопрос - каково будет контекстное окно для подобного рода оптимизации, иными словами, предельные ограничения по локальной модели, обеспечивающие сносное время компиляции или оптимизации, включая обратную связь по модифицированному коду. То есть если время компиляции составляет 1 с для обычного компилятора и даёт 100% производительность и время 1 ч для NN-компилятора, который даст 105%, то и вопрос а зачем такое нужно, при этом обычный выполняется на Pentium III а NN подавай нечто с тремя кулерами.

[avetissian]

Вы не путайте. в статье речь идёт в принципе о компиляции с помощью LLM, а они бывают разные. сейчас слабые архитектуры на трансформерах, реже на диффузии. но есть перспективные архитектуры моделей с иерархическим обоснованием и прочие крутые штуки, для которых не нужно большое контекстное окно в силу архитектуры. вы правильно говорите, что контекстное окно - слабое место современных LLM, но именно поэтому они и развиваются. у процессора ZX80 тоже были слабые места, именно поэтому мы сейчас на других работаем

[TimurZhoraev]

В любом случае в том или ином виде данное окно будет присутствовать. Некая матрица уравнений, которую необходимо решить за заданное время, будь то нейросеть или классические алгоритмы вроде обратной матрицы. То есть в конечном итоге всё скорее всего свернётся к виртуальной машине, работающей над токенами, но это уже не нейросеть а нейропроцессор, исполняющий некие команды абстрактной виртуальной машины, созданной из контекста. То есть аналог отхода от комбинационной логики (нейронов, за исключением, пожалуй, структур Хопфилда с внутренней ОС) к полседовательностной, где нейрон уже просто нелинейная ячейка памяти а вместо весов коэффициенты в логарифмической шкале. Сейчас контекстное окно требует (поправьте если ошибаюсь) экспоненциальную зависимость объём сети равный экспоненте от окна. Последовательностное же будет требовать полином, но время расчётов будет расти быстрее. Вообщем сейчас между архитектурами идёт борьба не между собственно объёмом этого окна, а зависимостью ресурсов для его обеспечения.

[FainFortRana]

А если модель сгаллюцинирует на этапе компиляции , что тогда ?

[DarkDGG]

На этом наши полномочия — всё.

[avetissian]

сгалюционировать может и живой разработчик, это другая проблема. для этого и существуют всякие тесты и бенчмарки, чтобы оценить риск такого явления

[HardlinePeak936]

Так в том и шутка — тесты и прочее действительно помогут, но лично я НЕ стану использовать компилятор, который может по велению левой пятки у госпожи Фортуны мне изгадить код в любом месте неограниченное число раз. При этом не сообщив, а заставив самостоятельно разбираться и... Даже не отлаживать, а тупо перекомпилировать с надеждой на чудо и лучший результат — теоретически, выходной код такого компилятора может быть паршивым всегда. Па-па-пааа...