Pull to refresh
625
29.5

Замглавреда

Send message

Project Vend: может ли языковая модель продавать чипсы и вольфрам?

Level of difficultyEasy
Reading time12 min
Views2.8K

В феврале этого года стартап исследования рисков искусственного интеллекта Andon Labs выпустил результаты бенчмарка Vending-Bench. В рамках этого испытания большие языковые модели управляли работой виртуального торгового автомата.

Компания Anthropic заинтересовалась опытом Andon Labs. Бенчмарк повторили в реальной жизни в рамках Project Vend. В течение целого месяца агент на Claude 3.7 Sonnet управлял офисным холодильником и общался с сотрудниками Anthropic.

Читать далее

Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели

Level of difficultyEasy
Reading time16 min
Views4.8K

При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы.

Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.

Читать далее

Leaderboard Illusion: что не так с Chatbot Arena

Level of difficultyEasy
Reading time16 min
Views1.4K

Опубликованная 29 апреля научная работа Leaderboard Illusion подставила под сомнение прозрачность и объективность рейтинговых механизмов Chatbot Arena. Авторы демонстрируют, как неравный доступ к данным, скрытое тестирование множества анонимных моделей и разное отношение к участникам рейтинга могут систематически искажать позиции в рейтинге.

Читать далее

Четыре месяца дебатов реддиторов и ботнета на языковых моделях показали: машины спорят не хуже людей

Level of difficultyEasy
Reading time15 min
Views1.9K

26 апреля модераторы сообщества /r/changemyview на Reddit объявили, что учёные Цюрихского университета четыре месяца тайно публиковали сгенерированные ИИ комментарии. Этичность эксперимента вызвала споры, хотя сами исследователи считают его допустимым. Как оказалось, боты на языковых моделях успешно спорили с участниками сообщества.

Читать далее

Vending-Bench: бенчмарк, из-за которого языковые модели впадают в экзистенциальный ужас и пишут жалобы ФБР

Level of difficultyEasy
Reading time20 min
Views5.1K

Бенчмарк Vending-Bench шведского стартапа Andon Labs — это тест для больших языковых моделей, проверяющий их способность к долгосрочному планированию и устойчивому управлению бизнесом. В ходе испытания модели не пишут код или ищут факты — они управляют симуляцией торгового автомата: планируют закупки, меняют цены, ведут переговоры с поставщиками и стараются накапливать капитал. Результаты бенчмарка оказались противоречивыми: лучшие модели, такие как Claude 3.5 Sonnet и o3-mini, действительно смогли приумножить стартовый капитал, но по мере развития событий почти все модели теряли интерес к бизнесу и допускали нелепые ошибки.

Читать далее

Interview Coder, или как обмануть всех

Reading time15 min
Views11K

В 2022 году Чунгин (также использует в качестве прозвища Рой) Ли выпустился из школы Пичтри Ридж, расположенной в округе Гуиннетт штата Джорджия в США. Хотя биографии у Ли пока нет, восстановить многие факты о нём легко. К примеру: обычно американцы заканчивают старшую школу в 18 лет, поэтому вероятно, что молодой человек родился в 2004 году, а имя указывает на корейские корни. А вот характер Роя известен по его академическим успехам.

Рой закончил школу с отличием: он получил признание в программе Student Teacher Achievement Recognition или STAR. Это не общеамериканская программа, она характерна только для штата Джорджия. Критерии STAR строги: двенадцатиклассник должен не только хорошо сдать экзамен SAT, но и находиться в верхних 10 % школы (или быть в десятке лучших — что даёт больше участников) по среднему баллу с 9-го по 11-й классы.

Читать далее

До 5 % новых статей «Википедии» содержат тексты от ИИ

Level of difficultyEasy
Reading time11 min
Views2.3K

Исследователи Принстонского университета оценили новые статьи «Википедии» на «машинность». Сравнение до и после распространения больших языковых моделей показало, что почти 5 % материалов на английском языке содержат значительные объёмы текста, который писал искусственный интеллект. В других языковых разделах этот показатель ниже, но явление выражено и там.

Читать далее

Вытеснит ли искусственный интеллект людей из мастеринга?

Level of difficultyEasy
Reading time9 min
Views2K

Процесс мастеринга композиции — это завершающая стадия создания музыки. Труд мастеринг-инженеров оплачивается, отдельная профессия существует уже давно, хотя выполняют они на первый взгляд тривиальный набор задач. Автоматизированный мастеринг существует не первый год, и в последнее время подобные алгоритмы всё чаще пытаются рекламировать как ИИ.

Сравнить результаты мастеринга человеком и машиной попытался блогер Бенн Джордан. Музыкант попросил почти полтысячи подписчиков оценить мастер одного и того же трека разными продуктами и людьми. Наивысшие оценки получили работы профессиональных мастеринг-инженеров.
Читать дальше →

Чему может научить горилла Коко

Level of difficultyEasy
Reading time21 min
Views15K

4 июля 1971 года в зоопарке Сан-Франциско на свет появилась 50-я горилла, которая родилась в неволе. День рождения этой особи совпал с днём независимости США, который американцы отмечают запуском фейерверков. Поэтому обезьяну назвали Ханабико — «дитя фейерверков» по-японски. Мир знает эту удивительную гориллу под именем Коко.

В первый год жизни Коко разлучили с матерью для лечения в больнице зоопарка. Здесь на малыша впервые натолкнулась 24-летняя аспирантка Франсин Паттерсон. Во время лечения Паттерсон научила её американскому жестовому языку. Произошло удивительное, и Коко начала общаться жестами.

До Коко подобные эксперименты уже проводились. Гориллы и шимпанзе способны невероятно точно выражать свои эмоции, показывать радость, смех, разочарование, грусть, печаль. Коко пошла дальше. Несколько часов в день горилла изучала новые жесты. Вскоре в дополнение к обычным просьбам покормить солидный запас изученных жестов помог Коко рассказывать людям о себе.

Читать далее

Исследование: генеративный ИИ повышает производительность труда разработчиков на 26,08 %

Level of difficultyEasy
Reading time8 min
Views3K

Исследовательская работа утверждает, что использование инструментов с искусственным интеллектом помогает разработчикам выполнять на 26,08 % больше задач.

На тысячах разработчиков из Microsoft, Accenture и некой анонимной компании проводили эксперимент: примерно половине сотрудников выдали доступ к Copilot, а другим пользоваться инструментом не разрешали. Сравнение данных двух групп говорит о положительном эффекте от написания кода с помощью искусственного интеллекта.

Читать далее

3 самых очевидных способа вручную обнаружить текст от большой языковой модели

Level of difficultyEasy
Reading time12 min
Views49K

На написание и публикацию этого текста меня побудила необходимость быстро объяснить, как определять текст от больших языковых моделей (БЯМ). Важно, что речь идёт только про выявление очевидных случаев, а не бронебойное детектирование.

В голове инструкция выглядела как три коротких пункта. Списочек немедленно разросся обширным введением, замечаниями и примерами. Грех этой инструкцией не поделиться.

Читать далее

Уход к дообучению моделей? Исследователи и технологии Character.ai выкуплены Google

Level of difficultyEasy
Reading time7 min
Views5.7K

Компания Google и стартап Character.ai объявили о сотрудничестве. В рамках достигнутых соглашений Google получит неэксклюзивные права на технологии больших языковых моделей Character.ai, а исполнительный директор стартапа Ноам Шазир и второй сооснователь Даниэль Де Фрейтас начнут работать в подразделении DeepMind. Сама Character.ai собирается поробовать перейти на дообучение открытых моделей.

Читать далее

Как SpaceX затопит МКС

Reading time9 min
Views28K

НАСА отмерило срок жизни Международной космической станции. Самый дорогой рукотворный объект в мире просуществует не более 32 лет и будет сведён с орбиты в 2031 году. Выбран подрядчик этой операции, а недавно прояснился и облик корабля, который затопит МКС.

Читать далее

48 лет вместе с Zilog Z80

Level of difficultyEasy
Reading time11 min
Views26K

Один из ранних экземпляров Zilog Z80 с датой выпуска в июне 1976 года. Геннадий Швец

Создание Z80 — это усилия нескольких талантливых инженеров, пожелавших с нуля начать собственную компанию. Полвека назад микропроцессоры были новинкой, которую под силу было создать небольшим по современным меркам командам. Именно благодаря этим ранним процессорам в начале восьмидесятых случился бум домашних компьютеров.

Недавно Zilog объявила, что последние заказы на оригинальные Z80 принимаются до 14 июня этого года. Легендарный Z80 продержался в производстве почти 48 лет.
Читать дальше →

Почему в Grand Theft Auto: San Andreas самолёты падают с неба

Reading time8 min
Views36K


Оббе Вермей [Obbe Vermeij] — один из программистов GTA 3, Vice City и San Andreas. Оббе ушёл из Rockstar после GTA IV и давно занимается другими проектами. В последние месяцы он начал вести блог insiderockstarnorth.blogspot.com, но в ноябре прошлого года закрыл его, поскольку бывшим коллегам мемуары не понравились. Тем не менее в личном микроблоге Оббе иногда делится байками про разработку игр из своей карьеры.

На этот раз Вермей рассказал, почему так часто падают самолёты в San Andreas.
Читать дальше →

Диагональная ориентация как идеал расположения экрана

Reading time2 min
Views15K

Свободное вращение нашей планеты происходит с наклонением. Причины этому заложены давно. Вероятно, около 4,5 миллиарда лет назад Земля столкнулась с планетой Тейя. Так у Земли появилась Луна и наклон орбиты в 22,44 °.

Поскольку Земля вращается вокруг своей оси с наклонением, это приводит к неравномерности распределения излучения Солнца. Говоря проще, именно из-за наклонения планеты мы испытываем смену времён года.

Если наклонение орбиты важно для жизни на Земле, то нужно ли применить наклонение в 23,44 ° для ориентации монитора?

Читать далее

Метод Binoculars обещает высокую точность обнаружения текста от больших языковых моделей

Level of difficultyEasy
Reading time10 min
Views5.7K


ChatGPT пишет не хуже человека, но можно ли обнаружить «машинность» в тексте? Хотя некоторым компаниям было бы выгоднее представить всё так, будто результат работы языковых моделей неотличим от человеческого, исследования в этом направлении активно ведутся. Авторы научной статьи «Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text» (arXiv:2401.12070) утверждают, что их метод имеет низкий уровень ложноположительных срабатываний (0,01 %), правильно обнаруживает текст от языковых моделей в 90 % случаев и работает для нескольких семейств современных продуктов.
Читать дальше →

Чего ожидать от 2024?

Level of difficultyEasy
Reading time3 min
Views8.2K

Wolfram Community

Через несколько часов закончится 2023 год. Уходит последняя возможность сделать то, что планировалось выполнить в этом году. Уже совсем скоро начнётся 2024 год, который будет совсем другим.

С другой стороны, новый год ничем не отличается от предыдущего. Есть ли смысл придавать дате такое значение? Многие укажут, что это лишь смена одного числа на другое.

Давайте посмотрим, чего нам стоит ожидать от 2024.
Читать дальше →

Почему Илья Суцкевер не ходит на работу?

Level of difficultyEasy
Reading time7 min
Views38K

Слева направо: Грег Брокман и Илья Суцкевер. Фон — картины Суцкевера. @gdb

Илью Суцкевера не уволили, официально не отстранили, но на рабочем месте его не видели всю прошлую неделю. В других случаях это был бы типичный прогульщик, если бы речь шла не про главного научного сотрудника OpenAI.

Почему Суцкевер не ходит в офис? Пока что сказать трудно. Зато сейчас легко предположить, почему уволили Сэма Альтмана. Для этого нужно размотать клубок OpenAI до самого основания компании.
Читать дальше →

Исследователи заставили ChatGPT процитировать данные, на которых он учился

Level of difficultyEasy
Reading time8 min
Views33K

Несколько похожая, но иная атака от @andrewmccalip

Научная работа «Scalable Extraction of Training Data from (Production) Language Models» (arXiv:2311.17035) анализирует извлечение данных датасетов обучения из различных языковых моделей. Исследователи проверили как локальные модели, так и коммерческое решение от OpenAI. С помощью атаки на выравнивание удалось заставить ChatGPT процитировать данные, на которых обучали GPT-3.5.
Читать дальше →
1
23 ...

Information

Rating
Does not participate
Location
Екатеринбург, Свердловская обл., Россия
Registered
Activity