Джон Леннон в 1967 сказал (словами песни) - «All You Need Is Love», и это стало революционным посланием миру. Вторую революцию с этими словами через 50 лет (только вместо Love - Attention) совершила статья группы авторов, в результате мы получили мир LLM-GPT: Attention is all you need. Но сейчас выходят сотни статей по темам AI и анализа/обработки данных, где в заголовке все то же ... All You Need. То есть статьи, претендующие на некую... хм, революционность и безапелляционность. Так ли это? Я исследую технологии, и решил провести эксперимент: отобрать с начала 2024 по март 2025 и перевести аннотации к статьям с "All You Need" в заголовке. Возможно, из этой кучи [зерна] лично вы сможете выудить для себя пару жемчужин?

Это перевод свежей статьи от 12 февраля 2025 года об Automated Capability Discovery (ACD) — автоматическом обнаружении возможностей и ограничений больших языковых моделей (LLM), таких как GPT, Claude и Llama. Идея в следующем: использовать одну модель ("учёный") для генерации задач, которые затем решает другая модель ("испытуемый"). Это позволяет автоматически и систематически выявлять как сильные стороны модели, так и её слабости, которые могут быть неочевидными при использовании традиционных методов оценки.

Методика открывает такие глубины знаний, зарытые в моделях, какие ни один человек не додумался бы включить в тесты... Возможно, эта статья войдет в пантеон работ по теории и практике LLM.

Ключевой энергетической характеристикой человеческого тела (и тела животного) является скорость метаболизма - количество энергии, используемой телом в единицу времени. Я изучаю энергию во всех её проявлениях, историю и теорию энергетики, и не смог пройти мимо этой работы. Представляю перевод классической, "ламповой" статьи M.A. Холлидея и др. исследователей 1967 года, написанной прекрасным научным языком, в которой приведены результаты исследований об энергетических характеристиках организмов людей и млекопитающих, не устаревшие и в наше время...

И пройдите внизу опрос: насколько принципы потребления энергии на кг массы тела живых организмов применимы к роботам?

Эмоций, чувств и их оттенков много, они разные, и чтобы во всём этом разобраться, соберем их... в базу данных или датафрейм. Заодно установим связи между эмоциями, а также попробуем оценить разные числовые «эмоциональные коэффициенты»... Имея такую базу данных, мы сможем научить LLM (да и самих себя!) распознавать эмоции и их оттенки, лучше понимать человека. В этой статье описываются практические моменты создания такого «датафрейма эмоций». Важно упомянуть, что такую работу автор смог проделать только благодаря нескольким LLM, работа с которыми на порядки сократила объем работы по сбору и обработке информации (но текст статьи я писал по‑старинке — руками...)

"Мы представляем фундаментальное открытие, которое бросает вызов нашему пониманию того, как сложные рассуждения возникают в больших языковых моделях" - так нескромно начинается аннотация к свежей статье от 5 февраля 2025 года. Авторы приводят результаты эксперимента, в котором небольшое количество хорошо подобранных задач с ответами может "всколыхнуть и заставить работать" весь "спящий" внутри LLM объем знаний, которые она накопила, перелопатив гигатонны текста. Возможно, данная работа войдет в список обязательных к прочтению статей по теории нейросетей.

Немного вызывающее название статьи отсылает к известной работе Внимание - всё, что вам нужно. На этот раз речь пойдет о качестве данных, на которых обучают LLM. Оказывается, качественный учебник (как концентрат знаний в любой сфере) в разы сокращает потребность и в памяти, и в мощности GPU, и в деньгах инвесторов...

Если у вас, как и у меня, собралось много книг в формате pdf, или статей, например, из arXiv, можно попробовать создать что-то вроде продвинутого каталога или БД имеющегося у вас добра, да еще и с переводом на русский. Рассмотрим основные способы, как использовать имеющиеся бесплатные, безлимитные и безвипиэновые LLM.

Эта статья от 23 января 2020 года не так известна, как "Всё, что вам нужно - это внимание". Но, думаю, впоследствии она войдет в новейшую техноисторию как аналог трёх законов Ньютона для LLM (сами авторы статьи сравнивают открытые ими принципы с законами термодинамики). Возможно, именно благодаря аргументам большой группы специалистов OpenAI, изложенным в этой статье, инвесторы поверили, что GPT-1 имеет будущее, нужно только на порядки больше параметров, оборудования, данных и миллиарды долларов инвестиций. И всё заверте...

В нашем быту, в домашней жизни вполне могут появиться несколько технологий, которые круто изменят этот самый быт, повседневную жизнь - так, что, перефразируя услышанное в одном фильме, «наш быт, каким мы его знали, уже никогда не будет прежним»… И вполне может статься, что инвесторы, на волне некоторого разочарования зеленой энергетикой, нейросетями, и в целом интернетом и сферой ИТ, вложатся в технологии, которые коренным образом изменят устоявшиеся практики в быту, создадут рынки с многомиллиардными оборотами - ведь быт есть у каждого из нас, и многие хотели бы его радикально улучшить и готовы за это заплатить, сразу или в кредит...

Предлагаю обсудить перевод оригинальной статьи с методикой интересного теста ARC Prize, — об него сломали виртуальные зубы все LLM, кроме нашумевшей o3 от OpenAI, которая на основании решения 75,7% некоторыми начинает уже считаться как «тот самый, сильный ИИ», «почти сильный ИИ», «посильнее почти всех человеков ИИ»... А еще организаторы раздают призы с призовым фондом $ 1 000 000. Сможет ли этот тест подвинуть знаменитый Тест Тьюринга?

Попросил несколько ведущих LLM придумать и решить занимательную задачу про программистов. Вот что из этого вышло... Удачной пятницы!

На вопрос отвечают несколько LLM: GPT-4, Claude 3.5 Sonnet, LLAMA 3.1 405b instruct, а также две русскоязычные: YandexGPT 2 и GigaChat от Сбера.

Далее мы проводим разбор «за» и «против» для каждого аргумента / группы схожих аргументов (философских, биологических, эволюционных, технологических, экономических...) Ключевой вопрос: смогут ли искусственные нейросети достичь сходной с человеком «мощности мышления» — схожими с человеческими либо отличными от человеческого, «нечеловеческими» методами?

Вопрос крайне дискуссионный, желающие оценить и покритиковать эти аргументы приглашаются в комментарии...

Собрались как-то летним днём 1956 года Клод Шеннон, Герберт Саймон, Джон Маккарти и... понеслось... Но очень медленно.

По мере того как большие языковые модели (LLM) набирают популярность в различных областях, галлюцинации - искажения в результатах LLM - создают риск дезинформации и раскрытия конфиденциальных данных. В статье рассказывается о причинах возникновения галлюцинаций и изучаются методы их устранения.

Особенности и отличия семейств LLM в одной статье. Разберемся, что это такое, как они развивались и чем отличаются друг от друга. Рассмотрим характеристики основных моделей (GPT-3, GPT-4, Gemini, LLAMA, Claude и др.). Для новичков и желающих упорядочить знания в сфере LLM.

Это перевод популярного лонгрида Тима Детмерса "Выбор графического процессора для глубокого обучения: мой опыт и советы".

Глубокое обучение (Deep learning, DL) - область с высокими вычислительными требованиями, и выбор графического процессора будет в корне определять ваши возможности в этой сфере. Какие характеристики важны при выборе нового GPU? Оперативная память GPU, ядра, тензорные ядра, кэш? Как сделать экономически эффективный выбор? Мы рассмотрим эти вопросы, заодно разберемся с распространенными заблуждениями, разберемся в характеристиках GPU, дадим советы, которые помогут вам сделать правильный выбор.

Обнаружил серию статей по принципам организации информации и базам данных от математика из Стокгольмского университета и с энтузиазмом перевожу. Моя уверенность в том, что реляционки с 3-й формой нормализации - лучшее, что придумало человечество, резко убавилась... Я бы назвал это "субъективной теорией информации", автор называет "Transitional modeling", но обычно это применяется под названием "якорная модель данных"...

Это перевод статьи от 10 февраля 2023 года Melanie Mitchell и David C. Krakauer, в которой разбираются основные аргументы и позиции относительно того, могут ли современные LLM "понимать" в человеческом или каком-либо ином смысле...

Мнения исследователей разделились почти поровну (!), а на какой стороне вы? Примите участие в опросе...

Документация к сложным библиотекам на питоне (напр. pandas) хранится в doc-строках и разбросана по сотням страниц сайта. В этой статье мы с помощью небольшого кода упакуем её (информацию из документации для каждого класса и метода) в... датайфрейм. Но зачем? Во-первых, это прикольно так её можно быстро искать и анализировать. Во-вторых, изучим некоторые встроенные питоновские средства работы с документацией. Наконец, такой датафрейм потенциально может стать основой для обучения/дообучения GPT-моделей писать более корректный, безошибочный, использующий всевозможные функции и их аргументы, код...

Ежегодно в конце лета российский литературный мир гадает, выйдет ли новая книга Виктора Пелевина, и о чём она будет? Например, в прошлом году интрига накалилась до предела. А в этом году - тишина. Но не совсем тишина - на нескольких сайтах появились сгенерированные тексты "о новой книге Пелевина", которые, возможно, являются своеобразной "игрой с читателем" в преддверии нового романа. Или нет? Попробуем проанализировать.