Comments 22
Что он понимает под "безопасностью"? Любой ИИ безопасен по определению, потому что там просто нет даже потенциального источника опасности. Считать неверную выдачу опасностью - ну так любая выдача в гугле может содержать ошибки, и даже в бумажных статьях и книгах бывают ошибки (начиная от опечаток и заканчивая лженаучными теориями). А что еще?
Стало быть, это очередной модный баззворд, на который должны повестись далекие от IT люди, верящие в голливудские штампы о восстании машин?
Ну уже обсуждали - у чувака вообще нет значимых публикаций. Первый трансформер он вообще пропустил будучи руководителем департамента, AlexNet - не IlyaNet, и т.д.
В общем, типичная Звезда Таинственных Аркад.
И в общем-то пофиг, что он собирается делать (в лучшем случае дойдет до DreamCoder-а , который через 2 недели будет допилен Гениальными Преподавателями Европы\Британии\и прочими и выложен OpenSource :) )
Откуда такая неприязнь-то? )
Обычно Топовые специалисты ИИ или не заканчивают ВУЗ вообще, или после PhD получают инвестиции\берут пару грантов на свои исследования и разработки (после чего у них появляется фирма, если FromZeroToHero - не их вариант).
Суцкевер и близко не из таких ).
Да и Гении аркад (которые 3 года писали про космические корабли и галактики) - тоже :).
Зато:
Альтман это, видимо, новый Маск. Это видно уже по желчи и снобизму в комментариях в адрес
Новая компания Ильи Суцкевера привлечет порядка 10 миллиардов долларов в ближайший год. Это еще один сильный игрок на пути к AGI/ASI.
Вполне верояно его услугами будут пользоваться правительва
Откуда это все?
Тем более с технологической точки зрения они все еще пытаются что-то сделать с seq2seq (spellchecker), который ВНЕЗАПНО ОЖИЛ!
(и по качеству что ChatGPT, что Gemini - вполне на уровне OpenSource).
Можно начать перечислять? ) Вот первая десятка угроз: https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-slides-v1_1.pdf
Давайте как-то отделять автомобиль опасен, потому что "движущиеся на скорости полторы тонны металла несовместимы с жизнью стоящего у них на пути человека" и "имеет собственную волю переехать кожаный мешок несколько раз вперед-назад"
Домофоны на дверях несут ту же опасность, что ии - их могут взломать, или собирать с них биометрию
А вы, стало быть, близкий к IT человек, который понимает все опасности искусственного интеллекта, которому со временем отдадут большую часть задач, требующих постоянного и немедленного контроля?
Машины на автопилоте, например, не будут представлять никакой опасности, если их синхронизируют в сеть для оптимизации движения. Или если ИИ будет управлять подачей электроэнергии. Как гугл дал человеку совет приготовить вкусный чесночный соус с ботулизмом через ИИ подсказки - это тоже никакого риска не несёт?
Ну и ниже человек уже скинул ссылку на несколько проблем. Что значит, нет опасности - потому что нет опасности по определению? По какому определению? С чего вы взяли, что опасности нет совсем?
Считать неверную выдачу опасностью - ну так любая выдача в гугле может содержать ошибки
Когда ИИ победил Ли Седоля в Го, они придумывал такие ходы и комбинации, которых до этого не видел ни один человек. Сейчас эти приёмы стали использовать люди в играх Го между собой. Это значит, что ИИ создал новое знание, которого раньше не было у людей.
Да, сидел, думал-думал, рассуждал, стратегически планировал и создал знание, а не производные посчитались в рамках заданных правил и ограничений.
Вы уверены, что человеческий мыслительный процесс содержит какое-то чудо, а не нейроны что-то там сложили, перепроверили? Тогда и человеческий интеллект не несёт никакого риска.
Только вот возможности масштабирования и управления у ИИ будут совсем другие.
Я уверен, что сегодняшние нейросети не содержат в себе какого-либо чуда, чтобы самим по себе представлять принципиально новый вид угрозы.
Сам по себе пистолет тоже не опасен, но это же не значит, что не надо создавать компании, которые придумывают принципы использования и регуляции.
Разве что компания не заявляет, что изобретет безопасный пистолет :)
Наблюдая многолетние безуспешные попытки ограничить оборот оружия в США начинает казаться, что безопасный пистолет - не такой уж абсурдный выход.
Принципы использования и регуляции применения ИИ - сколько угодно, всеми руками за (хотя когда такие меры работали, как задумано...). Я нахожу очень сомнительными разговоры о безопасности в смысле "не дать ИИ поработить человечество как в Терминаторе". А чтобы чат-бот на сайте стоматологии не начал пересказывать весь даркнет - пожалуйста
Не понимаю, как ваше замечание связано с опасностью. Если мы натравим на большой объём данных чисто алгоритмический, пардон, алгоритм оптимизации комбинаций параметров, без намёка на нейросети и всё, что нынче принято называть AI - этот алгоритм тоже может найти комбинации, которые человек пока не нашёл. Ну там наиболее оптимальный путь на карте например. Да, гипотетически эту комбинацию мог бы найти и человек, если бы потратил достаточно времени, но это "новое знание" создал алгоритм.
С таким же успехом можно сказать, что и калькулятор создал "новое знание", если мы заранее не провели те же самые расчёты в уме. Но что из этого следует и что именно "ИИ" добавил в картину мира в данном случае?
"Нет даже потенциального источника опасности".
Обычно именно этот тип людей, которые так говорят, далекие от IT. И основной тезис у них - "чел, братан.., ИИ/имитация ИИ, это просто структура данных, из розетки выдерни да и всё ы". Пропустим мимо ушей статистически значимый контраргумент, что умные люди из самых разных отраслей всё-таки считают ИИ опасной "структурой данных".
Человеческий мозг — точно такая же структура данных. Только состоит не из транзисторов и кремния, а из нейронов, водички и n кол-ства вспомогательных клеток. Ну еще backprop не юзает:)
А так наш мозг реализует ту же булеву алгебру и логические функции.
Однако угроза от человека реальна, а ИИ просто страшилка для IT невежд?
т.е. суперинтелллект по всей видимости уже сделали, осталось только его обезопасить. интересно девки пляшут. я всегда выступал за последовательность действий, сначала надо сделать просто интеллект, может тогда всё остальное и не понадобиться, вроде супер и безопасность)
Вполне верояно его услугами будут пользоваться правительва в качестве гарантии безопасности ИИ выпущенных различными конторами. А может и законопрект примут, запрещающий эксплуатацию ИИ не прошедшего сертификацию безопасности. Вот и рынок для Суцкевера
Альтман это, видимо, новый Маск. Это видно уже по желчи и снобизму в комментариях в адрес людей, высказавших толику сомнения насчёт действий этих техно-идолов.
Новая компания Ильи Суцкевера привлечет порядка 10 миллиардов долларов в ближайший год. Это еще один сильный игрок на пути к AGI/ASI. Чем выше конкуренция, тем быстрее будут достигнуты AGI и ASI.
Уже как минимум шесть сильных игроков: OpenAI, Google DeepMind, Anthropic, xAI, Meta, SSI. Интересно, когда Amazon заявит о себе и будут ли еще мощные стартапы наподобие xAI, SSI, основанные людьми, вызывающими сильное доверие.
ИМХО, "Safe Superintelligence" - это оксюмарон, оно либо "Superintelligence", либо "Safe"
Интересно будет посмотреть когда эти ИИ начнут между собой воевать на уничтожение ).
я думаю цель обезопасить группу лиц, а не сделать ИИ безопасным и эта группа лиц платит.
Сооснователь OpenAI Илья Суцкевер запустил компанию Safe Superintelligence Inc. с офисами в Калифорнии и Израиле