LLM с новым алгоритмом внимания в контекстное окно которой помещается весь проект с библиотеками и документацией, И почему  пока звучит неубедительно все, кроме $465 млн. инвестиций.

На днях стартап Magic анонсировал новую LLM модель с контекстым окном в 100 млн. токенов как многообещающий прорыв в области разработки ПО. Во-первых из-за гигантского контекстного окна, в которое буквально можно запихнуть целиком со всеми библиотеками и документацией весь проект (10 млн. строчек кода), а во вторых из-за нового механизма внимания, который позволяет модели действительно работать со всем этим контекстом. Рассмотрим насколько это инновационно и что можно понять из анонса Magic. (Спойлер - HashHop простой и логичный механизм, но как это все работает и работает ли понять пока невозможно).

Как  разработчики большой мультибрендовой торговой площадки (Faire) внедрили автоматизированные c LLM  Code Review (статья - мой перевод для нашего ТГ канала посвященного разработке софта при помощи LLM). 

В Faire мы верим в ценность код-ревью и всегда придерживаемся этой практики. Хотя многие аспекты код-ревью требуют глубокого понимания проекта, существуют также множество общих требований, которые можно учесть без дополнительного контекста. Например, наличие ясного заголовка и описания, достаточное покрытие тестами, соблюдение стиля кода, выявление изменений несовместимых между сервисами.

Похоже, что LLM хорошо подходят для выполнения таких общих задач код-ревью. Имея достаточно информации о pull request: метаданные, diff, логи сборки и  отчеты о покрытии тестами, можно эффективно настроить LLM для добавления полезной информации, выявления багов или потенциально опасных изменений и даже автоматического исправления простых ошибок.

Большие языковые модели могут производить любую последовательность символов на каком угодно языке в любом формате данных (включая языки программирования, аудио и видео). Соответственно и качество этой последовательности может быть самым разным. Иногда мы получаем многословные запутанные объяснения с галлюцинациями и устаревшими знаниями, а иногда ― элегантную функцию на Python решающую сложную задачу,  идеальное название для бренда, а скоро и первую серию будущего бестселлера. Более того, модель может надёжно и точно ответить на миллионы вопросов ваших клиентов, сопоставить запросы из сотен позиций с многотысячным каталогом, самостоятельно обработать заявки по страховым искам, обучить робота или перебрать новые патентные заявки в поисках конфликтов со старыми. Однако чтобы полностью реализовать потенциал LLM, необходимо научиться мастерски давать им подсказки. А как это делать, я расскажу в этой статье.

Три года назад в Artezio в поисках партнера для разработки софта обратилась британская компания Congenica, занимающаяся  автоматизацией анализа и интерпретацией генетических исследований. Основная миссия Congenica – это внедрение генетической медицины в стандартный процесс здравоохранения, создание системы поддержки принятия клинических решений. Найти значимые генетические аномалии в задумке должно быть не сложнее, чем сдать анализ крови. Сейчас с нашим back-end разработчиком Артемом расскажем, как работают такие проекты.