Pull to refresh

Comments 214

Лет 5 тому назад все (самые умные) предсказывали что self-driving машины вот уже совсем скоро будут, и все таксисты помрут. До этого виртуальная реальность должна была заменить обычную, а до этого каждый второй хотел купить 3D телевизор, поскольку все фильмы теперь только в 3D будут.. А бум дот-комов кто помнит? А сколько было хайпов которых мы даже не запомнили или не заметили? Прогресс какой-то будет, это несомненно. Модельки/ЛЛМки улучшаться будут. Но никакой экспонентой уже и не пахнет, тут уже даже не логарифм, а сигмойд какой-то. Угрохают в 10 раз больше компьюта, а выхлоп выростет на пару процентов.

Тут ведь ещё какой вопрос?

Например, проектирование самолёта (не с нуля, естественно) занимает чуть ли не раза в два меньше времени, чем его испытания и сертификация.
Т.е. если даже сверхумный ИИ сможет проектировать самолёты то:

  • не факт что по деньгам это обойдётся дешевле (гигаватт-часы - это сотни миллионов и миллиарды долларов)

  • всё равно надо будет испытывать и сертифицировать как и самолёт разработанный людьми

Т.е. процесс имплементации задумок ИИ никто не отменял. И далеко не факт, что недоразвитое человечество вообще сможет сделать то что богоподобный ИИ нафантазировал. От сотен гигаватт вкаченных в датацентр космические корабли просторы не забороздят.

Т.е. нам не нужен AGI любой ценой. Нам нужен ИИ который даст приемлемый результат за адекватную цену.
Собственно почему у нас практически нигде нет 100% роботризации на заводах? Хотя об этом уже лет 50 как говорят и стремятся? Правильно! Потому что во многих случаях человек сделает всё тоже самое дешевле и, нередко, быстрее.

Учитвая разницу между ресурсами, нужными на обучение нейросети и на инференс, можно смело предположить что ни одна страна мира банально не сможет себе позволить обучение ИИ, эксплуатация которого будет стоить миллионы. По поводу имплементации - сложность в сертификации самолёта как раз в бюрократии, а не в самих испытаниях. Никто годами круги не наматывает ведь. И тут даже туповатый, но надёжный (т.е., не галлюцинирующий) ИИ ускорит процесс на порядки.

И далеко не факт, что недоразвитое человечество вообще сможет сделать то что богоподобный ИИ нафантазировал

Ну если он прям такой уж богоподобный, то дадим ему сотню "атласов" и пусть сам строит, в чём проблема?

Так то ясно, что полная замена рабсилы на машинную невозможна и бессмысленна, но ускорить многие процессы можно на порядки.

C надежным ИИ в целом проблема. Текущая работа вся построена на генерировании наиболее вероятного токена следующего, а не на верификации какой-то. Как обучили - так и генерирует. Верификация вся на человеке, отказ от ответственности, вот это все вот.

ну и в целом по тексту документа автор скорее просто "мечтает". Ничего нового, люди в начале промышленной революции тоже мечтали о великих вызовах и преобразованиях. Такова природа людей на гребне волны.

Уже более, чем очевидно, что LLM никогда не станет сильным ИскИном. Оно же решения принимать в принуипе неспособно. ИМХО, будущее за моделями "ситуация - действие" вроде "Q learning". Говорилки - максимум одна из подсистем ИИ будущего, но никак не основа.

Причём, обратите внимание, обучено оно на материалах, полученных из интернета. Медленно и печально: ин-тер-нета. Ну да, ну да, сто миллионов обезьян за печатными машинками, ну вы понели. А люди от обученного на этих материалах ИИ ожидают прорыва в науке...

Ну да, ну да, сто миллионов обезьян за печатными машинками, ну вы понели. А люди от обученного на этих материалах ИИ ожидают прорыва в науке...

Ну так текущие версии не для науки разрабатывались, потому и учили их другому. Что мешает в дальнейшем более развитые версии ИИ обучить на всей базе учебной и научной информации существующей в мире?

Что мешает в дальнейшем более развитые версии ИИ обучить на всей базе учебной и научной информации существующей в мире?

Ну вот как обучат — тогда и поговорим.

У меня для вас плохие новости: по качеству научный и учебный материал далёк от идеала. А уж сколько там банально ошибочных и подтасованных результатов даже в технических журналах...

Идеал - это вообще недостижимая абстракция. Какие бы проблемы не были с существующими учебными и научными материалами, тем не менее люди их вполне успешно используют для обучения и научной деятельности - результат мы видим по развитию научно-технического прогресса. Соответственно есть надежда, что и высококачественный ИИ сможет такие материалы адекватно переварить для своего развития.

люди 

Ключевое слово.

Давно ли ИИ научился критически мыслить?

А вот если человекоподобных роботов подключить, чтобы сидели в лабе и обучались тому, как реальный мир устроен...

Сразу оговорюсь, я оголтелый AGI-оптимист, так что не воспринимайте на 100% серьезно.

Тут в соседей новости (https://habr.com/ru/companies/bothub/news/823338/) есть цифры недо-интеллека:

Anthropic Claude 3.5 Sonnet
Anthropic Claude 3.5 Sonnet

Мне кажется, весьма неплохо для ин-тер-нета.

Добавьте к этому непрерывные алгоритмические улучшения (в обсуждаемой статье об этом изрядно или гуглите transformer grokking или почитайте https://arxiv.org/abs/2405.15071) и потенциально генерацию данных для обучения предыдущим поколением LLM. Повторите процесс 10 тысяч раз - и получите и датасет посильнее, и обученные модели поумнее. Пока ничего фундаментально запрещающего бесконечное улучшение, не видно.

С одной стороны, Вы безусловно правы, ничего по-настоящему бесконечного ждать не стоит.

С другой стороны, думал, по ссылке не анекдот, а исследование, подтверждающее выход обучения на логарифмическую кривую или плато. Как появятся такие - буду рад признать, что нынешняя парадигма себя исчерпала.

Вы уж извините, приходится так делать — а то приходят всякие альтернативно одарённые и с испражняются в карму, типа "ты кого сынком назвал!!!"

исследование, подтверждающее выход обучения на логарифмическую кривую или плато

Для меня оно очевидно, а из ИИшников никто в здравом уме такое исследование заказывать не будет — им же этого слона ещё продавать...

Учитвая разницу между ресурсами, нужными на обучение нейросети и на инференс, можно смело предположить что ни одна страна мира банально не сможет себе позволить обучение ИИ, эксплуатация которого будет стоить миллионы

Зависит от эксплуатации и того сколько эта эксплуатация позволит сэкономить или наоборот заработать.

Ну то есть если брать какой-нибудь бюрократический аппарат, то в куче стран там можно миллиарды экономить если грамотно к делу подойти. Или там в здравоохранении, в общественном транспорте или ещё куче других вещей.

Верно, я про то, что мы в принципе не можем создать нейросеть, для инференса которой нужны какие-то невероятные мощности и она использовала бы их эффективно т.к. на её обучение нужно на много порядков больше вычислительных ресурсов. Так что если придумают сильного ИИ - его станут пихать везде.

Если смотреть на это с точки зрения автоматизации — можно просто дорабатывать CRM и процессы бюрократии. Это гораздо более предсказуемо в управлении, отдаче и результате. Да и процессы все равно надо будет кому‑то прорабатывать. И поддержка ДЦ для обычного кода будет, почти наверняка, стоить дешевле всех этих центров обработки данных для ИИ.

Ну и деньги в таких процессах обычно не цель, они средство обеспечения функционала. Бюрократический аппарат — это люди, если их заменить, какую‑то часть (а может и не часть) сьэкономленных денег вы все равно отдадите им под видом базового дохода/пособия или получите безработицу и социальные проблемы. А учитывая, что эти люди голосуют, вы врядли захотите делать безработными своих избирателей. Только в рамках каких‑то очень долгосрочных программ, долго, с заменой им работы(на что?). Поэтому вам, как политику и лицу принимающему решения, который должен думать о следующих выборах, гораздо проще принимать решения, в которых никто работу не теряет, а лучше находит. Например открывает новое подразделение по доработке процессов)

В условной чисто капиталистической корпорации — да, можно попытатся, но это очень странная игра с непонятным исходом. И раньше появления агентов, которых можно будет выстраивать прямо в цепочку — непонятно как осуществимая.


 В сущности ИИ/LLM щас уверенно кушает только одну нишу рынка — это персональный поисковик. Остальное — фантазии. Поэтому Гугл и прыгает так высоко, чует что это грозит его рынку. Поэтому МС и спонсирует все это мероприятие и пихает его в bing со страшной силой.

Вот тут-то диктатура и получает преимущество. Потому что при диктатуре властям не нужно думать, кто там и как за них проголосует. Да и проблему утилизации "лишних" людей диктаторы могут решать предельно эффективно.

Сейчас диктатуры "сыплются" на сложностях с воспроизводством интеллектуальной элиты (люди с интеллектом хоть немного выше среднего, при этом нацеленные на создание интеллектуального продукта, а не на аппаратные игры, как-то быстро заканчиваются, после чего начинается деградация во всех областях). Но ведь "сильный" ИИ как раз и решает эту проблему!

В мире, где есть "сильный" ИИ, демократии попросту не способны конкурировать с авторитарными режимами.

UFO just landed and posted this here

Главная проблема диктатур в другом - отрицательный естественный отбор на всех должностях.

Это не признак диктатур. Это признак попыток построить социализм.

Это признак всех вертикальных иерархий со слабой обратной связью. Крупные корпорации ничем не лучше - они ж "too big to fail", обратная связь размывается, на рынок и потребителя кладётся болт, а менеджмент занимается всем чем угодно кроме работы.

А дальше - биокомпьютер чтоб самовоспроизводился

Имхо: тут еще проблема в том, могут ли роботы/ИИ задать уже ВЕРХНЮЮ планку на стоимость и качество труда? А-ля "какой смысл ученому расти до уровня нобелевского лауреата, если теперь надо только верифицировать идеи ИИ?"

могут ли роботы/ИИ задать уже ВЕРХНЮЮ планку на стоимость и качество труда?

— Вам ничего нельзя объяснить. В том-то и дело. Ведь в этом заключается последнее испытание. Даже после отсева в День образования девять человек из десяти, попавших сюда, оказываются не совсем подходящими для творчества, и нет такого прибора, который помог бы нам выделить из этой десятки того единственного, кто нам нужен. Десятый должен доказать это сам.

— Каким образом?

— Мы помещаем вас сюда, в приют для слабоумных, и тот, кто не желает смириться с этим, и есть человек, которого мы ищем. Быть может, это жестокий метод, но он себя оправдывает. Нельзя же сказать человеку: "Ты можешь творить. Так давай, твори". Гораздо вернее подождать, пока он сам не скажет: "Я могу творить, и я буду творить, хотите вы этого или нет". Есть около десяти тысяч людей, подобных тебе, Джордж, и от них зависит технический прогресс полутора тысяч миров. Мы не можем позволить себе потерять хотя бы одного из них или тратить усилия на того, кто не вполне отвечает необходимым требованиям. 

(Айзек Азимов. "Профессия".)

Только я хотел написать что этим мечтам почти столетие и привести цитату оттуда.

А в итоге робот-философ у Азимова пришел к выводу что человечеству роботы не нужны.

Т.е. процесс имплементации задумок ИИ никто не отменял. И далеко не факт, что недоразвитое человечество вообще сможет сделать то что богоподобный ИИ нафантазировал. От сотен гигаватт вкаченных в датацентр космические корабли просторы не забороздят.

Это вопрос наличия эффективного интерфейса для взаимодействия с физический миром, и вполне возможно это лишь временное ограничение. По идее ничто не мешает AI улучшать уже имеющиеся приборы, манипуляторы, видеокамеры, роботов и т.д. В перспективе, проектировать новые фабрики, затем самостоятельно строить и производить всё это.

Например, проектирование самолёта (не с нуля, естественно) занимает чуть
ли не раза в два меньше времени, чем его испытания и сертификация.

В проектировании самолетов не силен, но о биологии/медицине представление некоторое имею.
Основная проблема не в самих испытаниях и сертификациях, а в том, что очень часто они дают отрицательный результат. То есть вещество разработали, ожидали хороших эффектов, а при испытаниях оно оказалось неэффективным или вылезли всякие побочки, в итоге годы работы и кучи денег в мусорку.
Если ИИ будет настолько крут, что сможет предсказывать большую часть таких провалов еще на этапе разработки, то уже одна такая ранняя отбраковка может очень сильно удешевить разработку новых препаратов. А человеческих способностей для такого анализа уже не хватает - организм и процессы в нем очень сложны и многочисленны, все зависимости отследить у человека не получается.

Верная мысль - производственные, строительные, энергетические ресурсы человечества ограничены. И если мы хотим тотально увеличить с помощью ИИ промышленный потенциал человечества надо разрабатывать термоядерные электростанции, которые будут питать роботов и заводы по их производству. Хотя можно теоретически сделать огромные поля солнечных батарей.

Также нужны автоматические исследовательские центры под контролем ИИ, где будут в автоматическом виде проводиться эксперименты: примерно как было показано в фильме "превосходство".

Строительные роботы также должны массово производиться, чтобы создавать новые автоматизированные заводы и научные центры. Примерно как во втором аватаре, когда было сказано, что строительные роботы построили за год на Пандоре больше, чем было построено до них за 30 предыдущих лет.

Если это все дело проработает какое-то время и достаточно разовьется, то можно будет задуматься о реализации мегапроектов, которые требуют колоссальные ресурсы и сейчас выглядят фантастикой. Например, превращение пустынь в цветущий рай или остановка глобального потепления, колонизация других планет.

Но здесь закономерно возникает вопрос согласованности целей ИИ, который контролирует этот весь промышленный и научный потенциал, и целей человечества. Потому что в развитой форме потенциал ИИ будет больше потенциала всего человечества и если ИИ окажется враждебным у нас будут большие проблемы.

100% роботизации нет потому, что прибыль с робота не получишь. Кто покупать будет, если всё роботы будут делать? Роботам только амортизация нужна, а человеки, безработные, даже кредит взять не смогут, ибо безработные. Безусловный базовый доход? А кредит подо что давать? Тут экономические причины, а не технические.

Да зачем далеко ходить - ai winter уже не первый раз происходит. Лет через 5 это все схлопнется, как схлопывалось и до этого.

>Прогресс какой-то будет, это несомненно

прогресс уже есть, рисует лучше 99% художников, обыгрывает человека почти во все игры, и это при числе параметров меньше в тысячи раз чем в мозге.

А вот такого, чтобы и рисовал, говорил и обыгрывал нету

Это называется мультимодальность - ChatGPT 4o уже может в базовые вещи.

рисует лучше 99% художников

Ну да, конечно.

Вам слово "сюрреализм" что-то говорит? :)

Тут надо учитывать исходный запрос. Если в нем было что-то про сюрреализм, то результат нормальный, в противном случае - ошибка.

А когда художники-сюрреалисты собственно придумали этот самый сюрреализм, то они это тоже по конкретному запросу сделали? Или просто потому что они художники и они так видят? :)

Я не искусствовед, но думаю, что скорей всего, т.к. искусство - это, как правило, отражение политических, экономических, социальных реалий современников, а не просто картинки и другие произведения в вакууме.

Ну вот вам и ИИ делает "отражение политических, экономических, социальных реалий". Ровно так как он это "видит" :)

Они могут видеть по разному. И делать картины в "нормальном" стиле. Сюрреализм их выбор, от которого они могут отказаться. Нейросеть не может

Ваша оценка того, что 99% художников — сюрреалисты, несколько преувеличена.

P.S. В моём словаре для слова "сюрреалист" записано определение "дурень, который рисованию так и не доучился, а жрать хочется, поэтому вместо этого стал разводить лохов на бабки".

Ваша оценка того, что 99% художников — сюрреалисты, несколько преувеличена

Я нигде такого не писал.

В моём словаре для слова "сюрреалист" записано определение "дурень, который рисованию так и не доучился, а жрать хочется, поэтому вместо этого стал разводить лохов на бабки".

Бывает.

Иван Крамской, "Христос в пустыне", 1872 г.

Увидь я это изображение без подписи - был бы на 100% уверен, что это выхлоп нейронки. Проблемы с пальцами, на лице явные артефакты от применения ADetailer, неконсистентность стилей (пейзаж фотореалистичный, а фигура явно рисованная).

В работах известных мастеров прошлого можно без проблем отыскать кучу того, за что бранят нейронки. Просто нейро-хейтеры берут лучшие работы живых художников, часто ещё и реставрированные, сравнивают с худшими работами операторов нейронок - и радуются: ура, ваши нейронки - хрень.

на лице явные артефакты от применения ADetailer

нам рассказывали на истории живописи, что Крамской в этой картине несколько лет(!) лицо Христа перерисовывал, никак не мог достичь желаемого.

И вот то, что называют "искушением Христа в пустыне" - фактически - это просто многодневное размышление: понимая, что далее его ожидает, остановиться и прожить жизнь обыкновенного человека, или пойти дальше, быть казненным и тем самым триггернуть что-то, попробовать этим дать человечеству нечто большее.

И много людей в вашем окружении могут нарисовать картинку такого уровня? :)

И много людей в вашем окружении могут нарисовать картинку такого уровня?

В моём — много.

(Просто у меня окружение такое. Вон, в частности, один нарисовал картину, из которой я иконку сделал.)

UFO just landed and posted this here

вот именно. что "пофиксили". Это не нейронка поняла, что с пальцами что-то не так, а разработчик её зомбировал.

Не надо ровнять конкретный набор весов с всей нейронкой.

Что произошло - некий информационный конструкт мутировал и видоизменился под воздействием внешних объяснений (не словами, да - другими способами объясняли). С точностью до терминологии - 'понял'.

Как вы там, все верите в миазмы?
5-10-20-50 лет в масштабах вселенной - ничтожная погрешность. Навязчивый скептицизм равнозначен невежеству, простите.

Аналогии в стиле "с атомной бомбой тоже думали что она не возможна" никогда не работают. Нужно смотреть на реальное положение вещей, это гораздо надежнее.

Если посмотреть реально - сейчас мы действительно обнаружили нечто обнадеживающее в AI. Сначала это были сверточные сети: если просто подавать картинку в нейронную сеть, она не сильно эффективна, но если подобрать правильную архитектуру, которая позволяет сети эффективно отражать закономерности в изображении, сеть становится сколь угодно умной в распознавании изображений. Аналогичная вещь случилась с трансформерами. Все что нужно - архитектура которая позволит сети эффективно отражать закономерности обущающего тестового материала. И тогда случается волшебство - обученная сеть достигает уровня, когда она ведет себя в точности как спонтанно реагирующая человеческая память и даже лучше.

Открытием здесь было два факта. Первый факт - вменяемого числа искуственных нейронов достаточно чтобы достичь почти человеческого уровная реакции и понимания матерала. Это было неожиданно, учитывая насколько сложны нейроны мозга и насколько их много.

Второй факт - даже обычного алгоритма обратного распространения достаточно чтобы в нейронной сети отразились и разложились все знания мира, как это делает биологический мозг.

Дальше вопрос - что еще у нас есть? Вроде пока больше ничего. Мы можем взять миллион примеров любого разумного но спонтанного поведения (с немедленной реакцией без планирования) и найти архитектуру для сети, которая это поведение воспроизведет. Сейчас это дело техники. С этим похоже и придется работать инвесторам.

Что касается некого принципиального прорыва - может быть найден новый способ обучения, не требующий так много информации, или может оказаться что достаточно большая сеть вдруг сама по себе станет умнее чем материал на котором ее обучали. Это все может случиться а может не случиться, точно так же как это было раньше. Здесь ничего не поменялось.

IMHO, свёрточные сети выстрелили, когда появился достаточный набор данных - ImageNet1K, так то они были давно известны, ими ещё Лекун баловался в конце 90х для распознавания цифр и подписей.

Что касается некого принципиального прорыва - может быть найден новый способ обучения, не требующий так много информации, или может оказаться что достаточно большая сеть вдруг сама по себе станет умнее чем материал на котором ее обучали.

А еще можно попытаться не торопиться, а построить телеуправляемого андроида, воткнуть его в качестве 'тела' для сетки и воспитывать ее лет 20 точно так же как человека воспитывают. С полноценными периодами 'сна/отдыха', где сеть дообучается на том, что она в течении 'бодрствования' увидела и в контексте запомнила.

НИР "Или шах, или ишак"?
Полагаю перспективнее начать с "первичного бульона". При удачном раскладе на дольше хватит. А если вдруг "не прокатило", то хотя бы без статьи за экстремизм обойдется.

НИР "Или шах, или ишак"?

Да нет, серьёзно. Если нам нужен(а вот точно нужен? Судя по всему все хотят уже сверхчеловеческий) интеллект, близкий к человеческому - то и нужно создавать его способами, близкими к человеческим. Иначе получим может и интеллект, но 'инопланетный', после чего иметь головную боль, что оно мыслит не так и делает совершенно непредсказуемые и неудачные с нашей точки зрения выводы/решения.

Можно подумать, что все люди совершают предсказуемые и удачные решения и думают одинаково. Или что известен научно достоверный способ воспитать человека так, чтобы он думал «правильно» и далее по списку.

Если нам нужен (а вот точно нужен? Судя по всему все хотят уже сверхчеловеческий) интеллект, близкий к человеческому - то и нужно создавать его способами, близкими к человеческим.

Вы не создаёте человеческий интеллект. Он сам такой получается с тем или иным успехом. Вы никак не контролируете этот процесс. А на входе вы имеете для этого мозг, который не вы создали и о работе которого не имеете, по сути, никаких разумных представлений. Казалось бы, простая и естественная мысль: хотите создать разум - поймите сначала, как он устроен и как он работает. Иначе вы получите тупой автомат, который ещё и лажает время от времени. В результате вам придётся тратить свой естественный интеллект на то, чтобы понять, что вам тут лопатой набросали. А вы-то мечтали, поди, совсем о другом. Это классическая фобия о человеке - придатке машины. Ей много лет.

С другой стороны, самолет у нас крыльями не машет как птица, а машина лапами не перебирает как лошадь. Вполне вероятно что и в сфере ИИ более эффективные другие подходы, чем у природы.

Тем более, что человеческий интеллект сам по себе во многом "черный ящик" и люди друг друга зачастую понимают с трудом и "отмочить" ту еще дичь могут совершенно неожиданно, так что за эталон понятной системы тоже странно брать.

машина лапами не перебирает как лошадь

BigDog смотрит на Вас с непониманием

Ви так говорите, как будто это что-то плохое.

самолет у нас крыльями не машет как птица, а машина лапами не перебирает как лошадь

Такая механика в некоторых случаях имеет преимущества: по крайней мере она более универсальная. Думаю машина с ногами может как сносно бегать, так и преодолевать сложные препятствия.

Насчет атомной бомбы, как и любого другого проекта инженерного — вопрос был в исследованиях, испытаниях и освоении производства. Никто не сидел и не думал из серьезных ученых/разработчиков, что это невозможно. Скорее думали о том, сколько для этого всего надо сделать. Это как с ИТЭР — все знают что делать, но есть организационные и технические сложности вытекающие из не‑приоритетности этого проекта для участников.

Сверхразум даст военное преимущество, сравнимое с ядерным оружием. [...] Авторитарные режимы могут использовать сверхразум для мирового господства и тотального контроля внутри страны. История показывает опасность диктатур. Ашенбреннер говорит о том, что свободный мир должен победить авторитарные державы в этой гонке.

Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.

В любом случае хорошие останутся, ведь именно они напишут мемуары.

Если судить прочитанные мною мемуары, то останутся плохие, которые вовремя сдались/уехали/сменили сторону.

Это отчасти заблуждение. Геноцид индейцев например был официально признан.

Если бы Гитлер победил, написал мемуары и эти мемуары считались бы в современном мире адекватными и нормальными - такой мир был бы либо замкнутой антиутопией как в книге "1984", в котором население скажет что угодно, лишь бы не поехать в лагеря на урановые рудники. Либо этот мир был бы самоуничтожен в результате какого-либо внутреннего коллапса. Этот мир не может существовать долго даже в относительно нормальном состоянии, такая ситуация нестабильна.

Вы оптимист.

Если бы Гитлер победил,

то победил бы и Геббельс и его наследники. "Mein Kampf" вполне популярен в современном мире. И в большинстве обществ достаточно 10% идеологически заряженных лидеров, чтобы 80% "тех, кому не интересна политика" следовали в общем фарватере, а 10% оппозиции были ошельмованными маргиналами. И без всяких урановых рудников.

Просто хочу напомнить про одного "победившего Гитлера". Хотя он, конечно, был повменяемее. Всё-таки наследник Цивилизации, а не потомок голозадых варваров из лесов.

Да, чувствуется «Порода»...

Разум — это наше право, а доброта — это наш долг.

Вот кстати да. Многие тут на Хабре уверены, что вой американских леваков про системный расизм - это исключительно плод их воспалённого сознания. Но если плотно пообщаться с обычными американцами, (обычными не в смысле карикатурного реднека, а в смысле среднего "прогрессивного" представителя Силиконовой Долины, например), то быстро понимаешь о чём идёт речь. Они относятся к представителям других наций как к каким-то там ни на что не способным отсталым аборигенам. Так что легко верится, что внутри своего общества одни ведут себя примерно похоже по отношению к другим. При этом больше всего пещерного нацизма демонстрируют как раз те самые леваки, кто воют про системный расизм. Вот даже в этой статье всё сквозит этой темой национального превосходства - типа нельзя позволять другим строить свой AGI, а то что это удумали папуасы авторитарные!

Как по мне, это старый - добрый трибализм. Если у соседа будет большая палка - он побьёт меня, если у меня больше - то я его.

Безумное двоемыслие, кстати. С одной стороны эти люди рассказывают, что представители всех племен и их видение мира одинаково ценны (основная левая идея), с другой же стороны рассказывают, что нам нужна палка побольше, чтобы всем другим племенам набить кочерыжку (основная правая идея). Можно уважительно относиться к представителям обоих идей, можно уважительно относиться к тем, кто ищет срединный путь между этими полюсами - людям, кто считает у обоих идей есть плюсы и минусы и пытаются найти некий баланс между ними (основная идея центризма). Но невозможно уважать людей, которые декларируют эти две противоречащие друг другу вещи одновременно.

Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!

А если они всё же к нетолерантным относятся толерантно, то выходит, что они поощряют нетолерантность, поэтому снова-таки толерантными не являются.

Налицо кризис. Движение толерантности в тупике.

Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!

Толерантность, грубо говоря, это про "не лезть в жизнь и дела других людей". Но только до того момента пока их "жизнь и дела" не начинают лезть в ваши "жизнь и дела".

То есть как только "противники толерантности" начинают влиять на жизнь "сторонников толерантности", то толерантность прекращается "по определению".

Те, кто выступают за толерантность, крайне нетолерантно относятся к тем, кто против толерантности. Стало быть, какие же они тогда толерантные?!

Потому что парадокс толерантности. (Ну или сильно-сильно короче в русском варианте)

Какое-то у них другое определение толерантности похоже. В википедии например:

Толера́нтность (от лат. tolerantia — «терпение, терпеливость, способность переносить») — социологический термин, обозначающий терпимость к иному мировоззрению, образу жизни, поведению и обычаям. Толерантность не равносильна безразличию. Она не означает также принятия иного мировоззрения или образа жизни, она заключается в предоставлении другим права жить в соответствии с собственным мировоззрением.

И дальше:

Проявление толерантности также не означает терпимости к социальной несправедливости, отказа от своих убеждений или уступки чужим убеждениям, а также навязывания своих убеждений другим людям.

Какое-то у них другое определение толерантности похоже.

Ну да. Если верить той же статье - это одна из причин/решений парадокса. Лингвистическая. То, что одним и тем же словом называются разные понятия и результате все запутывается до логического противоречия.

Это аналогично парадоксу лжеца. Биение по категориям не являтся бинарным.

Лжец может сказать правду, если это в его интересах

UFO just landed and posted this here

можно уважительно относиться к тем, кто ищет срединный путь между этими полюсами - людям, кто считает у обоих идей есть плюсы и минусы и пытаются найти некий баланс между ними

Знакомо...

Соглашатель:

Милые! Ну, не надо! Не подымайте ругань!
Бросьте друг на друга коситься.
Протяните руки,
обнимите друг друга.
Господа, товарищи,
надо согласиться.

Француз (злобно):

Чтоб я согласился?
Это уж слишком!

Рыбак: (злобно. И рыбак и француз костыляют шею соглашателю).

Ах ты, соглашатель!
Ах ты, соглашателишка!

Соглашатель (отбегая, побитый, скулит).

Ну вот,
опять...
Я ему по-хорошему,
а он...
Так вот всегда:
зовешь согласиться,
а тебе наложат с двух сторон.

Это суть философии дао (и одной из их притч).

Вот толь следование этой философии выражается в "пусть они перебьют друг друга, а я в сторонке постою и помедитирую, а потом помогу выжившим". Не работает, если в ходу пошли огнеметы.

типа нельзя позволять другим строить свой AGI, а то что это удумали папуасы авторитарные!

Для таких утверждений есть основания. В авторитарных странах к управляющим системам страны чаще приходят родственники или друзья главного. Они не прошли соответствующий отбор на уровень своей компетенции, чтобы быть допущенными к такой сложной работе. А грамотно управлять страной - очень сложная работа. В неавторитарных странах вероятность этого ниже, а значит такая страна автоматически будет управляться в среднем более компетентными людьми.

>В неавторитарных странах вероятность этого ниже, а значит такая страна автоматически будет управляться в среднем более компетентными людьми.

Это если неявно предполагать, что "приход родственников или друзей главного" это главная или хотя бы основная причина прихода некомпетентных людей к управляющим системам страны.

Есть множество других возможностей - "купил должность", "политический назначенец", "выбранный голосованием популист", для примера. Какие из этих вариантов дают гарантии, что выбранный человек прошёл "соответствующий отбор на уровень своей компетенции"?

И как минимум двух последних вариантов в не авторитарных странах больше по определению.

Ну и выходцы из правильных семей обычно вполне умные люди. Достаточно посмотреть на элиту- очень мало там людей со стороны

Я не знаю с кем вы там общались, но мой опыт категорически несогласуется с вашим описанием. Наверное, вы путаете представителей других наций с поклонниками традиционных ценностей. Последнее, да, вопринимается как атавизм, но даже в России эти ценности недостаточно популярны, чтобы вопринимать их как характеристику всей нации. Ну или вы общались с радикальными товарищами, для которых и 90% жителей США тоже недостаточно прогрессивны.

Да, при этом вспоминая, что чертежи ядерной бомбы утекли ко всем кто был сильно заинтересован. Да ещё и во времена когда отсутствовали такие жирные каналы информации как сегодня. Как эти люди собираются сохранить любую революционную технологию в тайне когда на протяжении всей истории это не удавалось?

Насчёт самой статьи - ничего нового.

Я не знаю какой у вас жизненный опыт, но мне кажется вам стоит попутешествовать по океании/пацифику и посмотреть чем живут представители нативных народностей так называемые индженики. Далеко не сразу, но вы возможно начнёте таки оспаривать/сомневаться во всеобще признанных гуманитарных тезисах о том, что представители всех расс одинаково убоги. Нет, не одинаково и таки есть коррелеция между рассой человека и тем чего от него ожидать не зная этого человека. Это конечно не повод быть рассистом - автоматически и безапелляционно навешивать какие-то характеристики на основании только лишь рассы, но игнорировать праяры/базовые вероятности полученные от рассы тоже глупо, а иногда и фатально глупо.

Вопрос не в том, есть ли эта кореляция. Если вы возьмете двух случайных представителей одной рассы то весьма вероятно что один будет обладать блестящим умом а второй будет читать с трудом. То что все люди разные это и так общеизвестно.

Вопрос в том что делать. Сейчас на западе решили, что лучшая стратегия - верить что разницы между рассами и нациями нет или что она не так существенна. Результат этой стратегии - вавилонское смешение народов и культур в котором одни страны начинают деградировать, другие обогащаются в смысле цивилизованности. Наилучшая ли это стратегия никто не знает, но как есть.

Если показательно убить пару плохих, то остальные плохиши начинают вести себя гораздо лучше. Факт!

Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.

Например?

Подозреваю, Адольф желал всемирного добра и счастья всем хорошим арийцам. Он же наверняка не считал себя злодеем.

А ещё был Пол Пот. Там с помощью мотыг и мачете забили 3 миллиона "плохих", приближая светлое будущее.

Мао, Сталин, Ленин, Энвер-паша, Саддам, Багосора... (Прошу прощения у остальных, кого забыла)... Это я ограничилась лишь 20 веком.

Подозреваю, Адольф желал всемирного добра и счастья всем хорошим арийцам

Имхо, нет. Если посмотреть на его ближайших друзей - там в основном отморозки и дегенераты. Просто по личностям и характеру людей видно, что они крысы, как во многих криминальных группировках ОПГ.

Глубоко в душе Гитлер кайфовал от зрелища концлагерей. Т.е. стремился скорее не сделать лучше арийцам, а заставить страдать других.

А сказки про добро - это популизм, чтобы усидеть на троне и быть популярным.

Не не, вы сказали о нескольких проектах, когда люди которые формально и по общим признакам могли считаться хорошими решили убить всех плохих. Такого просто не было никогда. Фашисты со своим культом силы и совершенства и особождением от химеры совести никак не могли считаться "хорошими" ни в какой объективной ситсеме координат. И аналогично про остальных. Зачем обязательно черное называть белым а белое черным? Что это пошла за тенденция и к чему она приведет?

UFO just landed and posted this here

Любой человек, любой подлец и негодяй в глубине души считает себя хорошим и правильным человеком. Это не касается наверное только совсем уж паталогичечких психопатов.

Так что те, кого вы считаете отмороками и дегенератами таковыми себя не считали, не считала их такими и подавляющая частью общества.

А Сталин, Ленин, Дзержинский и вся эта компания — это другое, позвольте спросить? Если уж кто ОПГ, так у этих даже больше оснований таковой считаться.

Это не важно кто кем себя считает. Хорошие люди отличаются от плохих тем что они не делают другим того что не пожелали бы себе, если кратко. А не тем кто их кем считает.

Вы пишете:

Если убить всех плохих, то в мире останутся только хорошие люди. Несколько таких проектов в истории человечества уже пытались провернуть.

Но это не правда. Никогда хорошие люди такого не оргазовывали и никто никогда не задавался такой целью. Все было наоборот - эгоистичные люди которые любили только себя звали убить всех слабых, чужих, других, но никогда тот кто исповедует гуманизм не может быть одновременно источником бедствий (т.е. в принципе конечно может, но это не тот масштаб проблем и всегда есть большие сомнения относительно виновников бедствий). Подобный релятивизм, когда белое и черное - все едино, приведет к третьей мировой.

Хорошие люди отличаются от плохих тем что они не делают другим того что не пожелали бы себе, если кратко.

Кант, мягко говоря не универсален. Есть много как бы "объективных" определений "хорошести" (например "чукчанский": хороший тот, кто мне приносит пользу).

И если вы не уловили мысль начального сообщения - то подсказываю: это стёб над вот такими как вы, считающими, что существуют абсолютные моральные нормы которым все обязаны следовать. И предупреждение о том, к каким кровавым гекатомбам приводит такая точка зрения.

Абсолютных моральных норм не существует, как не существует вообще ничего абсолютного, даже математической истины. Но существуют определенные работоспособные тенденции. И к кровавым последствиям приводит как раз отрицание этих тенденций. И никогда - следование им.

Но сейчас пошла мода на полный релятивизм. Дескать ваше добро, гуманизм и ценности относительны и приносят еще больше горя чем отрицание этих ценностей. Но это чистой воды обман. Единственно, что приятно чувстовать себя умным отрицая все подряд. Но поверьте, это дело как раз не хитрое и это любой умеет.

Это как если вам предлагают одеяло когда вам холодно, а вы начинаете рассуждать сколько людей были задушены одеялами, сгорели от сигареты и одеяла и так далее. Это бессмысленное занятие. И делается это в двух случаях: чтобы оправдать зло с которым ты ничего не можешь поделать и чтобы просто показаться себе умнее других. Как-то так.

Из этого абзаца становится понятна цель и целевая аудитория оригинального текста. Цель — получить грошей на защиту от Страшного АГИ™. Целевая аудитория — американские военные или связанные с ними инвесторы.

Дано: Лада Гранта, нужно а) оптимизировать конструкцию с точки зрения сборки, все операции по сборке должны выполняться роботом, б) оптимизировать материалы, износ деталей на 10% при 10 летней эксплуатации или пробеге 1 млн км, в) отпускная розничная цена оптимизированной версии 5 млн рублей, г) базовый технические характеристики (скорость передвижения, потребления топлива, динамика не должны ухудшиться). Вот, есть у меня подозрение, что инженеры Тойоты с такой задачей потенциально справятся, а ИИ сможет?-)))

С задачей установить отпускную цену Гранты в 5млн справится и АвтоВАЗ. Оптимизировать материалы и производство - не справится и тойота, там место проклятое -)

2025-2026 годам эти машины, как ожидается, превзойдут по интеллекту выпускников колледжей, а к концу десятилетия станут умнее, чем любой человек

И наконец-то построят термояд. /s

Или выучат C++

Может, всё-таки возьмёте термояд?

его уже и без них...

И наконец-то построят термояд

А потом, видимо, применят. Наконец-то.

Мы прочитали этот документ объемом в 165 страниц за вас

Ну вот же ИИ уже захватил мир

Ну вот же ИИ уже захватил мир

А ведь предупреждали!

— Давай свои заметки, - не слишком охотно сказал Фэй, протягивая руку. Он поймал шелестящие листки, выскользнувшие из пальцев Гастерсона, аккуратно разровнял их у себя на колене, а затем, передал через плечо своему щекотуну, который защелкнул клешни на полях с обеих сторон и довольно быстро стал вести верхний лист дюймах в шести от своего единственного глаза.

— Но я хотел, чтобы это прочитал ты, — ошеломленно сказал Гастерсон, не отрывая глаз от происходящего.

— Пух-Бах сделает это лучше меня, — заверил его Фэй. — Уловит суть, не выплескивая с водой ребенка.

— Но, черт подери, это ведь все о нем, — еще настойчивее сказал Гастерсон. — Он не будет объективен.

— Он сделает лучше, — повторил Фэй, — и более объективно. Пух-Бах настроен на подробное реферирование. Перестань беспокоиться. Это беспристрастная машина, а не подверженный ошибкам эмоционально неустойчивый человек, сбитый с толку обманчивым сознанием.

[...]

Гастерсон вышел, толкнув вращающиеся двери. Он уже примерился сделать шаг на медленно движущуюся транспортную ленту. А потом, подчинившись порыву, резко толкнул дверь и заглянул внутрь.

Погрузившись в вялую задумчивость, Фэй сидел в той же позе, в какой Гастерсон его оставил. Пух-Бах на его плече торопливо сучил своими маленькими металлическими ручонками, разрывая заметки на все более мелкие клочки. Он бросил обрывки, которые стали медленно падать на пол

—Фриц Лейбер. Ночь волка

(конец немного предсказуем)

Сдается мне, что всю эту тему раздувают по полной только ради одного - рынка ценных бумаг и стоимости акций компании Nvidia, которая по сути сейчас весь рынок и двигает в основном, на кону у крупнейших фондов мира огромные бабки, которые еще надо перевести из воздуха в прибыль, а в нынешних экономических условиях это не просто. Подобные расходы на электроэнергию для супер AI звучат фантастически и что-то мне подсказывает, несут как раз характер "привлечь больше хомяков" в сектор и надуть ценник, мы же как никак в мире сплошных спекуляций в экономике живем. История знает подобные пампы, и всегда они заканчивались одним и тем же, в IT секторе в последний раз крахом дот комов... Это все правда не отменяет высокого потенциала развития AI, но его возможности как по мне сильно преувеличивают.

Если всё так, как описано в статье, то это равносильно что обнаружили эскадрилью инопланетян, которые прибудут к 2030 году. По фантастическому сценарию фильма, человечество объединяет усилия.

Ну, кое-какая польза от всего этого есть: при таких расходах энергии на ИИ им станет намного сложнее убеждать людей в том, какой страшный урон экологии наносит трата энергии биткоином.

сдается мне что это один из "специалистов по этике" которых уволили из OpenAI поняв что они бесполезны чуть более чем полностью

Не совсем, он экономист. Чел закончил колумбийский университет лучшим на курсе (valedictorian) в 19 лет, при том, что английский даже не его родной язык. Его бы радостно взяла на работу любая компания мира.

Думаю, всё более тривиально. Если ты хочешь быть уважаемым исследователем безопасности ИИ, то сначала нужно убедить всех в своей нужности, а для этого нужно убедить их в ужасной опасности, которую вот-вот будет представлять ИИ, если никто не будет тебя слушать и давать тебе много денег. Антивирусные компании этот же подход успешно практиковали годами.

Что требуется:

  • Полностью изолированные дата-центры с системой безопасности как на военных базах

  • Строгая проверка персонала и мониторинг

  • Постоянный интенсивный пентестинг со стороны спецслужб

  • Готовность лабораторий ИИ сотрудничать с военными

Что-то напоминает

Что требуется для должной защиты AGI:

  • Полностью изолированные дата-центры с системой безопасности как на военных базах

  • Новые достижения в области конфиденциальности вычислений и шифрования

  • Работа всех исследователей в защищенных помещениях

  • Строгая проверка персонала и мониторинг

  • Жесткий контроль внешних зависимостей

  • Постоянный интенсивный пентестинг со стороны спецслужб

А потом генерала Брюстера попросят справиться с вирусом, захватившим половину интернета и второстепенные программы Пентагона.

Наверное такой же ажиотаж был в 60-х: только недавно все самолёты были поршневыми, а сейчас уже летают в несколько раз быстрее скорости звука, запустили спутник, потом человека, выход в открытый космос, летаем на орбиту как на работу, стыковки и проч., совсем скоро Луна - а потом точно Марс и т.д. С точки зрения этих ожиданий космическая программа "человечества" (в целом) влетела в бетонную стену к середине 70-х

Космическую программу перестали финансировать в требуемых для этих подвигов объемах. У НАСА сейчас весь бюджет меньше, чем был в середине 60-х под одну Луну. Для Марса к 1982-му просили в три раза больше, чем требовала лунная программа на пике.

Перестали финансировать, так как исчезли военные и экономические цели - стало понятно, что освоение Венеры невозможно, Луны и Марса - бессмысленно.

С ИИ пока и близко не так - экономические и военные цели вполне осязаемы. Так что ближайшее десятилетие мегафинасирования гарантировано.

Космическая программа дала тысячи современных технологий, которые используются в нашем повседневном мире

Правильно (впрочем, не уверен про "тысячи"). Но ожидания 60-х были совсем о другом.

AGI доступный только военным США - перспектива страшная, как они поступили с атомной бомбой мы уже знаем.
Будем надеятся что они не успеют достичь решаюшего перевеса и какой-никакой баланс в мире сохранится. Пока вся надежда на Китай...

AGI доступный только военным США - перспектива страшная, как они поступили с атомной бомбой мы уже знаем.

Закончили войну за 3 дня, а потом позволили Японии победить себя (США) в свободной конкуренции и стать одной из самых развитых стран мира. Ужас-ужас.

Сбросили ядерные бомбы на города не имевшие военного значения, убив многие тысячи мирных жителей включая женщин и детей, а война закончилась с разгромом квантунской армии, собственно бомбы на срок капитуляции повлияли мало.

В Японии до сих пор размещены военные базы США, содержащиеся за счет Японии, причем служащие на них неподсудны местному суда, в том числе за преступления совершенные за пределами баз против местных жителей.

По поводу свободной конкуренции тоже интересно, как только Япония начала закреплять победу в ней сразу же начались "Потерянные десятилетия" (и продолжаются по сей день)

Война закончилась? Закончилась. Япония стала высокоразвитой страной? Стала. Какая-то прямая вина США в потерянных десятилетиях есть? Ее нет.

А высосать из пальца при большом желании можно вообще все что угодно. Обычно это делается чтобы найти самооправдания, когда "в действительности все не так как оно на самом деле", ага.

UFO just landed and posted this here

Сами верфи Мицубиси не уничтожили, возможно только персонал, бомбу сбросили выше на жилой район Нагасаки, если речь об этом.

UFO just landed and posted this here
до и после взрыва *wiki
до и после взрыва *wiki

на жилой район никто бомбы не сбрасывал

Затрудняюсь это комментировать

UFO just landed and posted this here

А вот эти маленькие квадратики в ground zero - это куча маленьких заводиков таких? И вон тот овал у реки - полигон наверное?

Просто потому что они "ЗЛЫЕ ЗЛЫДНИ УБИТЬ ПОБОЛЬШЕ МИРНЫХ ЯПОНЦЕВ УХ КАКИЕ МЫ ЗЛЫЕ!! ПУСТЬ ЗАВОДЫ СТОЯТ А МЫ БУДЕМ ПРОСТО РАЗБРАСЫВАТЬСЯ САМЫМ ДОРОГИМ ОРУЖИЕМ В МИРЕ ПУШТО МЫ НЕ ТОЛЬКО ЗЛЫЕ, НО ЕЩЕ И ТУПЫЕ" ?

Про бомбёжки Токио почитайте, что ли. В том числе и американских военных теоретиков тех времён ... Очень не смешно, знаете ли ...

UFO just landed and posted this here

Так всё таки и не почитали американских военных теоретиков? Ну что ж просвещу: цель была убить рабочую силу заводов и мобилизационный потенциал. Именно так. Явно и не скрываясь.
Вы, надеюсь, понимаете как это расшифровывается?

И вообще - именно там они особо не целились на самом деле : это была вообще запасная цель и сбрасывали из-за облаков не видя куда собственно бросают. Т.е. сбрасывали именно "на город", а не выцеливали конкретную точку. Так что не надо играть в техасского стрелка!

UFO just landed and posted this here

Понятно. Продолжайте играть в техасского стрелка! Отличная игра для игры с самим собой :)

UFO just landed and posted this here

Еще разок, смотри. Есть район Гинза, его вообще нет на твоем фото, он
находится дальше к югу, это был деловой квартал и он вообще толком не
пострадал.

Не затруднит скинуть ссылку google-maps "района Гинза", чтобы я понял о чём ты без уважения говоришь.

UFO just landed and posted this here
UFO just landed and posted this here

был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником

citation, как говориться, needed.

одаренный старшекласник не будет предлагать жрать камни, например.

Гхкм, после многих лет общения в Википедии с фриками в том числе и в кулинарном изводе я б не был так уверен... А если взять типичный киоск с многочисленными журналами "бабушкины советы по питанию", так и вообще...

Если рассматривать область программирования, то все публичные репозитории на Github оцениваются примерно в 1 миллион токенов

Может, я не правильно понимаю, как работает токенизация в коде, но на гитхабе лежит всё ядро линукс. Ядро содержит порядка 30 MLOC. В каждой строчке должно быть хоть пара токенов. Как при таких вводных на весь гитхаб выходит миллон токенов не понятно.

В целом, прежде чем создавать супер-искин-программиста, скормите в трансформер какую-нибудь небольшую софтину и пусть он просто фиксит баги из трекера. Как технологический демонстратор.

В целом, прежде чем создавать супер-искин-программиста, скормите в трансформер какую-нибудь небольшую софтину и пусть он просто фиксит баги из трекера.

Да, так ты на 100B долларов видеокарт не продашь! /s

все так, ощущение, что сша ввязало и поддерживает конфликт ua-ru, чтобы самим соперничать с китаем в гонке ИИ

Единственное с чем соглашусь - "Свободный мир должен восторжествовать". Попадание AGI в руки авторитарным режимам, таким как Китай или Россия, чрезвычайно опасно. Всё остальное - какие-то неолуддитские страхи, не имеющие никаких оснований. ИИ по определению не имеет звериных инстинктов (которые собственно и делают любой интеллект опасным). Единственная опасность ИИ - это люди, которые его будут использовать.

UFO just landed and posted this here

Да даже доживать не обязательно - достаточно создать виртуальную личность. Для выступлений по ТВ этого хватит, а для появления на публике двойники есть.

С 2019 по 2023 год, от GPT-2 до GPT-4, был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником.

После этой фразы можно не читать, так как функционала "одаренного старшеклассника" у GPT-4 нет, а есть функционал "двоечника который пробует выкрутиться на экзамене выкладывая ассоциации без понимания в надежде что профессор поставит тройку". Если автор не понимает разницы, то он тупой.

Я, кстати, скармливал задачи по олимпиадной математике для 1 класса (в смысле с олимпиад по математике для 1 класса, хотя может что-то и для более старших брал, 2-3 класса - брал просто из pdf'ок за прошлые года, и вставлял) в GPT-4, в целом конечно прикольно что некоторые задачи решает, но некоторые даже после долгих "уговоров" нет... Иногда даже самую трудную часть рассуждений проводит, а потом тупит (если бы это был человек, то скорее наоборот было бы, тупить на сложной).

Правда это было на русском, м.б. на английском чуть успешнее было бы.

UFO just landed and posted this here

Да нет, я имел ввиду просто ctrl-c - ctrl - v из файла с условиями (и решениями). Естественно просто (только) саму задачу, ну и ещё в конце можно попросить по шагам рассуждать, или как там модно делать.

Я просто к тому, что каждый может взять с десяток таких олимпиад младших классов, повставлять в GPT-4 задачи и решить сам для себя, справляется ли он (ИИ) с ними на уровне "талантливого младшеклассника" :-) или нет ещё. Они с одной стороны простые, нет чего-то специфического, с другой стороны и подумать бывает надо над ними (пусть и недолго для взрослого человека). Лучше в этом смысле чем какие-то там тесты. Понятнее самому себе в смысле

Мне вот интересно, а откуда уверенность, что AI сможет создать что-то сверхчеловеческое, если все знания, которые у него есть сейчас - это просто трансформированный продукт умственной деятельности людей (та самая стена данных)? Что-то не слышал, чтобы он действительно создавал нечто принципиально новое. Ради интереса, было бы интересно обучить модель на научных текстах конца XIX века и посмотреть, сможет ли на этой основе воспроизвести какие-нибудь научные открытия, скажем, начала XX века...

Все наши знания не принципиально новые, всё новое это трасформированный продукт умственной деятельности множества поколений людей

Про принципиально новое, навскидку вот https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/#life-molecules и вот https://deepmind.google/discover/blog/millions-of-new-materials-discovered-with-deep-learning/, первое про предсказание структур белков вместе с ДНК, РНК, лиганд и тем как они взаимодействуют, второе про предсказание структур кристаллов, в том числе стабильных, на нахождение которых "естественным" путём ушли бы столетия

Несмотря на общественный резонанс, работа Google в материаловедении подверглась обширной заслуженной критике и сегодня в научном коммьюнити вызывает скепсис. К сожалению, сегодняшняя наука всё ещё довольно далека от полностью теоретического предсказания новых материалов.

Нам еще до понимания, как работает человеческий мозг, как до Луны пешком, а у него уже ИИ, превосходящий интеллект человека на носу, ага. Превосходящий по эрудиции - да уже полно, по способности самостоятельно мыслить, воображать, изобретать, да еще за пределами заданных паттернов - ха-ха.

UFO just landed and posted this here

Если рассматривать область программирования, то все публичные репозитории на Github оцениваются примерно в 1 миллион токенов.

Тут что-то не так. 1 миллион токенов (даже не Lines of Code) - это вполне по силам обычному много пишущему разработчику. Соответственно, исходя из примерного числа гитхаб-писателей, цифра должна быть на 6-7 OOM выше (т.е. триллионы токенов).

цифра должна быть на 6-7 OOM выше

Токен - это уникальное слово. Откуда возьмутся миллионы уникальных токенов, когда половина гитхаба просто копии "Hello world"?

Эмм. Там же BPE токенизация, т.е. токены - это даже не слова а их части. И уникальных - там да, несколько десятков тысяч. Т.е. речь явно не о них.

В общем, руки дошли посмотреть оригинал - подозрения подтвердились, на стр. 26 написано дословно следующее:
"Moreover, for more specific domains like code, there are many fewer tokens still, e.g. public github repos are estimated to be in low trillions of tokens."

Очень обидно, что этими тенденциями у нас в СНГ не интересуются, и верят в то, что "ИИ не заменит нас минимум 10-20 лет".

Хороший разбор статьи, +карма

UFO just landed and posted this here

Как-то он не упомянул про самый очевидный сдерживающий фактор. Модели машинного обучения напрямую зависят от данных на которых они обучены. А на текущий момент все открытые данные с интернета - уже спылесошены. И огромное количество недостающих данных для создания AGI просто не откуда брать. Для этого придётся разрабатывать новые техники сбора данных, которые, скорее всего, будут очень дорогими и долгими. Поэтому нельзя линейно экстраполировать текущий прогресс.

Ещё непонятно на основании чего он сравнил GPT-4 с уровнем старшеклассника. По отдельным характеристикам она, конечно, не только старшеклассника, но и кого угодно задвинет. Но по соображалке в целом, она конкурировать с человеком пока не может. Причём, проблемы там структурные, а не количественные. Так что, здесь ещё и текущий уровень развития завышен.

Для этого придётся разрабатывать новые техники сбора данных, которые, скорее всего, будут очень дорогими и долгими.

Люди используюя нейросети будут генерить новые данные, на которых будут дообучаться нейросети, с помощью которых люди будут генерировать ещё больше данных ... пока в каокой-то момент люди не будут исключены из цепочки за ненадобностью :)

Ещё непонятно на основании чего он сравнил GPT-4 с уровнем старшеклассника.

ИМХО, когда физик на старости лет резко ударяется в религию, биолог начинает рассказывать про пользу гомеопатии, а исследователь ИИ начинает рассказывать про всё пропало и мы все умрём из-за ИИ, это признак того, что этот учёный сломался - несите другого учёного

Люди используюя нейросети будут генерить новые данные, на которых будут дообучаться нейросети,

Вот только проблема: если в бочку молока добавить стакан овна — получится бочка овна.

Человечество как-то решало эту проблему до появления нейросетей, будет точно так же решать и и когда нейросети уже появились.

Человечество как-то решало эту проблему до появления нейросетей

Ну да. В частности, не добавляло овно в молоко и било по рукам тех, кто пытался.

Тоже склонен считать, что это связано с пузырём в американском фондовом рынке. Все пишут про кризис дот-комов, но никто не вспомнил про Монреальский протокол с помощью которого США нанесли сильнейший удар по экономике СССР и выкинули с рынка качественные и дешёвые российские холодильники. Это одна сторона медали.
Параллельно с "развитием" ИИ хозяева денег вкладывают немалые средства в противоположный процесс - упрощение человека. Вы не находите, Уотсон?
При чём под упрощением я понимаю не только отрезание людей от точных наук в пользу гуманитарных. Речь идёт о большем - упрощении мышления и установку его в рамки готовых "формочек": BLM, зелёной повестки, равноправия.

И все эти фантазии идут на хутор обломав зубы на энергопотреблении, нужное количество которого могут построить только 3 страны в мире и займет это в лучшем случае 30-50 лет. Стоить будет в 100 раз дороже сего суперкластера. И главное, поддерживать стабильное количество энергии будет адово сложно ибо инфраструктура той же США сейчас постоянно сваливается в блекауты. Все эти фантазии о будущем где все будут делать роботы рушится на примитивном - отсутствии достаточного количества электроэнергии. И пока не будет придуман компактный реактор способный вырабатывать энергии как солнце или суперчип размером с смартфон, все это не более чем сказка.

С 2019 по 2023 год, от GPT-2 до GPT-4, был пройден путь от моделей с интеллектом дошкольника до моделей, сравнимых с одаренным старшеклассником. Этот гигантский скачок произошел всего за 4 года.

Нет, это ложное утверждение. GPT-4 знает много, но модель не обладает интеллектом. Это понимает любой, кто поработал с LLM хотя бы один рабочий день. Ее нельзя сравнивать ни со старшеклассником, ни с дошкольником. По объему знаний? Ну давайте с википедией еще сравнивать, та тоже много "знает".
LLM не может стать AGI, сколько весов в нее не заливай, просто потому что это языковая модель. Она может делать крутые штуки, она может быть очень большой, но это просто языковая модель.

AGI скорее всего будет, но весьма вероятно он будет построен на несколько других принципах. Предсказать его появление со сколько-нибудь адекватной точностью практически невозможно, т.к. в ИИ вкладывают большие деньги, им занимается много людей, прорывное открытие может случиться хоть завтра (а может и через 10+ лет).

Но кто сказал, что AGI будет намного умнее человека? Современным LLM системам зачастую требуются десятки минут, чтобы пофиксить простой баг в гитхаб репозитории. Это быстро, но сравнимо с человеком. Это не микросекунды. Если мы сделаем AGI, то вполне возможно что он будет думать не намного быстрее и не намного лучше человека. Плюс только в том, что, в отличие от человека, AGI можно распараллелить на множество устройств, но технологической сингулярности может и не быть.

AGI может эффективно использовать все знания Интернета? Ну давайте сделаем чип в мозг к человеку с прямым подключением к Интернету, чем не сверхразум? Добавим в чип АЛУ для быстрых вычислений и точную память. Может быть AGI появится в этом направлении, как синтез человека и машины.

В общем, скептически я отношусь к технологической сингулярности (тм). Особенно в ближайшее десятилетие, весьма маловероятно.

UFO just landed and posted this here

А если увеличить количество муравьев в муравейнике в миллион раз, они образуют супер-муравейник, построят космический шаттл и полетят к звездам?

Упс. Не полетят. Эмерджентность существует, но у любого явления есть границы.

UFO just landed and posted this here

Мы полетели не из-за эмерджентности, а из-за качественного и радикального изменения подхода к выживанию (относительно муравьев).

По поводу прогнозирования тоже поспорю - на момент появления трансформеров в 2017 году никто и не догадывался, какими свойствами могут обладать 175B трансформеры, обученные на триллионах токенов.

Однако попытка масштабировать те же конволюционные сети до условно 100B ни к чему хорошему не приводят, они не становятся умнее. Попытки сделать из LSTM большие и сильные LLM тоже пока мало к чему привели (недавно была статья о новых LSTM, но они все равно хуже трансформеров).

Т.е. где-то у трансформеров, как и у любой архитектуры, есть предел, где он - предсказать сложно, не скажем пока не уткнемся.

Плюс у всех нейросетей есть большой минус - отсутствие памяти, "жизненного опыта" если хотите. Каждый инференс мы должны передавать им весь предыдущий контекст, это жутко неэффективно и накладывает сильное ограничение на существование AGI в этой парадигме. Представьте, что вы используете AGI дома на протяжении 20 лет, вы каждый инференс будете передавать 20-летнюю историю? Можно попытаться соорудить память, как в mLSTM, но там свои ограничения. Т.е. сеть останавливается в развитии в момент окончания обучения. Онлайн-обучение какой-нибудь GPT-4 это пока трудоемкая задача.

А если у большой сети будет своя память, то не "сойдет ли она с ума" от миллионов запросов в секунду? Делать отдельную память (читай личность) под каждого пользователя? Как вариант, но кажется здесь тоже будут ограничения.

Плюс у всех нейросетей есть большой минус - отсутствие памяти, "жизненного опыта" если хотите.

Это от недостатка вычислительных ресурсов. По хорошему - надо каждому свой экземпляр, которые периодически дотренеровывается на том самом контексте, получая тот самый жизненный опыт в долговременную память. (Контекст, соответственно, можно считать кратковременной).

Делать отдельную память (читай личность) под каждого пользователя?

Да.

Т.е. сеть останавливается в развитии в момент окончания обучения.

А тут недостаток терминологии. ИИ нужно считать не конкретный набор весов, а систему с обратной связью, которая этот набор весов модифицирует.

Собственно, я считаю, то та же ОpenAI целиком - искусственный, сильный, человеко-машинный "Hive Mind" интеллект.

По вычислительным ресурсам тоже вопрос - мы не знаем, как долго мы можем увеличивать наши вычислительные возможности и сколько их потребует AGI.

Может так случиться, что не хватит. Или это будет планетарный AGI в единственном экземпляре.

При дообучении огромной модели после каждого инференс запроса много инженерных трудностей. Это как с колонией на Марсе - теоретически вроде хоть сейчас, но на практике надо прорву денег, пока не получится и по срокам тоже хз.

Как по мне, слишком много неопределенностей для прогноза "AGI к концу десятилетия".

При дообучении огромной модели после каждого инференс запроса много инженерных трудностей.

Не запроса. А так же как с живыми мозгами почти всех животных. Два режима - бодрствования, когда существующие веса используются и личный опыт складируется в контекст. После какого-то промежутка - режим 'сна', когда накопленная информация сортируется и усваивается путем дообучения таблицы весов.

Ну и да, это более-менее подразумевает, что оно не облачная одна модель на всех и для всех случаев, а персональная - под конкретное место и задачу. Так что вряд ли AGI каждому к концу десятилетия - железа нужного не будет.

А вот несколько штук - я думаю вполне реально, если попытаться. Только никому не нужно. Потому что оно не будет общаться одновременно с миллионом людей, будучи специалистом во всех отраслях знания, как всем хочется.

дай им миллионы лет и вполне себе и построят и полетят.

Им уже дали что-то около ста этих самых миллионов лет. Результат — на лице.

Прямо интересно, какую человеческую деятельность по Вашему не LLM, а именно мультимодальные модели не способны будут выполнить? Мы уже знаем, что нам не нужно собирать разные модели - каждая для своей задачи - достаточно обучить одну модель. С учётом того сколько денег сейчас вбухивается - количество качественной, специально подготовленной и заточенной информации будет расти день ото дня (а шлак будет отсеиваться), также как и вычислительные мощности вырастут на пару порядков. Модели сейчас - это прошлогоднее старьё обученное на едва причёсанном по большей части рандомном шлаке - худшее состояние в котором они когда-либо будут, но даже они уже дают прикурить огромной части населения планеты даже в плане житейской логики. Т.е., например, они уже могут составлять логические цепочки, дают верные ответы на вопросы о повседневном физическом взаимодействии вещей и могут в теорию разума. Посмотрите хотя бы на более или менее свежую GPT4o - и это ещё, по косвенным признакам, относительно лёгкая и быстрая модель - основная цель которой поразить народ привычным для людей способом взаимодействия. И притом ещё никто не запихивал в эти модели кинестетические и кинематические наборы данных, чтобы они имели хотя бы паритет с человеком по типам доступной информации.

Я в целом могу понять скепсис. Пока не особо видно и слышно людей, которые теряют работу, а если и слышно, то их немного. Думаю настоящая паника начнётся, когда модели получат выше упомянутые данные о том, как физически человек взаимодействует с миром, а не будут пытаться ориентироваться по теням в пещере. Ведь это поможет ИИ разрабатывать интерфейсы взаимодействия человека с объектам вещественного мира и быть эффективным роботом (т.е. под угрозой как минимум 30% рабочих мест в мире). Хотя достаточно мощные модели смогут обойтись и без этих данных - выведут всё на основе только видео данных.

В целом я согласен с уволенным чуваком из open AI, что к 2027-28 году у нас будет реальный AGI, т.е. штука которая способна превзойти любого среднего человека в любой мыслимой человеческой активности. А через пару лет способная превзойти уже не среднего, а лучшего человека. Для прямо суперИИ - во много раз превосходящего любого человека возможно потребуется чуть больше времени, думаю к 2034 он будет. Потом пяток золотых лет человеческой цивилизации - прямо как в фантастических фильмах, а затем суперИИ, таки закончит подготовку и перейдёт в завершающему этапу исполнения своей терминальной цели, какой бы она не была.

Модели могут поражать воображение своими ответами на довольно сложные вопросы, и ровно эти же модели могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит.

Вот буквально, сейчас она рассуждает о теории разума, следующим запросом фейлится на задачке вида "в комнате было 4 свечи, 3 свечи задули, сколько в комнате осталось свечей?"

Подсовываешь фотографию автомобиля и спрашиваешь что это, она распишет про эту марку и ее характеристики абсолютно все. Поменяешь один пиксель, и модель становится уверенной, что смотрит на банан.

Это прямо следует из того факта, что человек и модель получают и обрабатывают информацию принципиально разными способами, см. adversarial attacks.

Устранимо ли это простым увеличением размеров модели и качества данных? Не знаю, время покажет. Может сказаться, что и нет. На сегодняшний день атакам подвержены все модели, вне зависимости от размера.

Будете ли вы доверять такой модели ключевые и ответственные решения? Кажется, что нет.

Ключевая разница между МЛ моделями и человеком: модель не умеет адекватно экстраполировать. Она не способна сделать какой-либо вывод на данных, выходящих за пределы обучающей выборки. Т.е. если модель учить на данных, сгенерированных предыдущими поколениями моделей, то модель деградирует.

Человек, учащийся на данных, сгенерированных предыдущими поколениями людей, развивается.

Появится ли это свойство при увеличении размеров моделей еще на три порядка? Хз, поглядим. Может быть это и будет ключевым свойством AGI.

UFO just landed and posted this here

"в комнате было 4 свечи, 3 свечи задули, сколько в комнате осталось свечей?"

И у этого вопроса есть один единственный правильный ответ? Потому что мне в голову пришли два возможных. Ну или по крайней мере два, которые лично я бы принял :)

Однако при любом раскладе ответ "одна" ни я, ни Вы бы не приняли.

могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит

Вы преувеличиваете способности человека. Вот прямо сейчас половина людей Земли покажется вам пещерными дремучими дикарями, если вы попытаетесь с ними пообщаться.

Модели могут поражать воображение своими ответами на довольно сложные вопросы, и ровно эти же модели могут поражать воображения абсолютно идиотскими ошибками, которые человек никогда не совершит.

Попробую угадать: Вы общаетесь с людьми из довольно узкого круга - с работы, друзьями с университета и тп. Иначе Вы бы были более осторожны с "никогда не совершит" утверждениями, даже в отношении самых тривиальных областей знаний или цепочек логических рассуждений. Но если исключить довольно большую группу людей (по ощущениям процентов 10 взрослого населения), то я в целом согласен - современные модели людям не ровня.

adversarial attacks

Люди и другие существа биологического происхождения с нервной системой также подвержены подобным атакам, хотя и в гораздо меньших масштабах, потому что естественный отбор сделал своё дело.

Насколько я понял из объяснений людей, которые занимаются тестированием различных моделей и некоторых статей, против подобных атак есть много способов противодействия - что в итоге приведёт к практически полному их искоренению. Почему я так уверен? Потому что информация в отравленных примерах всё ещё там и нет некой универсальной атаки против которой невозможно подобрать противоядие, т.е. можно ожидать исчерпания векторов атак как это произошло с биологическими системами.

Ключевая разница между МЛ моделями и человеком: модель не умеет адекватно экстраполировать. Она не способна сделать какой-либо вывод на данных, выходящих за пределы обучающей выборки.

Вы ошибаетесь, в рамках контекста современные модели способны учиться и делать выводы выходящие за рамки обучающей выборки. И ситуация с крошечным окном контекста стремительно улучшается.

Т.е. если модель учить на данных, сгенерированных предыдущими поколениями моделей, то модель деградирует. Человек, учащийся на данных, сгенерированных предыдущими поколениями людей, развивается.

Я не совсем понимаю - если Вас будет обучать ребёнок Вы также деградируете или останетесь на том же уровне. Или нет, в зависимости от компетентности ребёнка в том или ином вопросе, а также его способности предоставить другой тип опыта - не связанный непосредственно с его знаниями. Тоже самое с моделями.

В чём принципиальная разница между слабыми и сильными моделями? Слабые модели по тем или иным причинам не смогли найти некоторые общие закономерности или даже создать некие абстракции - будь это недостаток данных или мощности и продолжительности обучения. Т.е. допустим они видели х*1000 аварий автомобилей и х*10 других деформирующихся при столкновении объектов. Человек при достаточно маленькой выборке, даже с учётом встроенных биологических систем в мозге (ака инстинктов), при отсутствии опыта взаимодействия с объектами окружающего мира в детстве (допустим паралитик) думаю будет испытывать трудности при попытке представить как объект будет деформироваться, если его бросить в стену, но более или менее сможет представить что произойдёт с машиной, которая врезается в столб. Т.е. выборка вероятно достаточна для оценки свойств взаимодействия конкретных объектов, но не достаточна для вывода принципов материаловедения, а в самом общем случае - физических законов, поэтому модель найдёт приближенную закономерность.

Более сильные модели нашли более общие закономерности, т.е. нашли способ "архивировать" группу разрозненных закономерностей в одну общую (отсюда и появление новых способностей), но при этом не факт, что успели избавиться от эвристик, которые они нашли на ранних этапах обучения, либо обязаны были их сохранить, чтобы как-то увязывать противоречивую информацию в выборке. Т.е. всё опять упирается в говняные данные и недостаток времени/мощности обучения, чтобы произвести качественную дистилляцию.

Я не спорю что люди и текущие модели отличаются по способу мышления, т.е. в способе решения поставленных задач, но для меня также очевидно процесс схождения идёт и идёт очень быстро. И я не вижу ни одной причины почему вдруг этот процесс остановится, в самом худшем случае, если денежные потоки иссякнут, скорость этого процесса замедлится, но не остановится - ящик Пандоры уже открыт.

GPT4o:
Для ответа на эту загадку важно обратить внимание на формулировку и скрытые нюансы.

В загадке говорится, что в комнате "было" 4 свечи, а затем "задули" 3 из них. Вопрос звучит: сколько в комнате "осталось" свечей?

Ответ:

В комнате осталось 4 свечи.

Причина: Несмотря на то, что 3 свечи задули, все 4 свечи остаются в комнате, просто 3 из них не горят.

Это зависит от того, в какое время проводился подсчет. Было четыре свечи, одну задули, три продолжили гореть и закончились. Осталась одна свеча, которую задули.

Современным LLM системам зачастую требуются десятки минут, чтобы пофиксить простой баг в гитхаб репозитории.

Все постоянно забывают, что сами "современные LLM системы" не могут "пофиксить простой баг". "Пофиксить баг" — это когда "баг был; [чёрный ящик]; бага нет". А сейчас "чёрного ящика" нет, в его роли выступает связка "нейросеть + человек" — без человека, который скажет "ни фига это не фикс, а ну переделал быстро!" оно не работает.

Когда микроскопы (или телескопы) поработят человечество, я признаю, что Леопольд Ашенбреннер был прав, а я заблуждался. Но до той поры останусь скептиком.

Спасибо за хорошо-структурированное резюме и качественный перевод. Но возникает желание все-таки прочитать оригинал.
Потому что на вопрос, а сколько будут стоить упомянутые в статье 100 миллионов ИИ - инженеров (в денежных затратах, в энергетических затратах и затратах на неизбежное людское сопровождение)

Тех самых ученых, которые будут проектировать ASI. Насколько эти затраты по силам человечеству?



Автор статьи мне кажется реально болен. Всё время проводить прямую аналогию между Китаем и нацистской Германией, ну это надо быть очень уже не знаю что.... Ещё и воевать собрался судя по всему

We’re developing the most powerful weapon mankind has ever created. The algorithmic secrets we are developing, right now, are literally the nation’s most important national defense secrets—the secrets that will be at the foundation of the US and her allies’ economic and military predominance by the end of the decade, the secrets that will determine whether we have the requisite lead to get AI safety right, the secrets that will determine the outcome of WWIII...

UFO just landed and posted this here

Вы вообще читали её? Почитайте часть IIIb, да и другие. Хотя бы частое упоминание про важность секретности при разработке атомной бомбы, чтобы она не попала к Германии, и тут же переход(ы) к тому, что также важно, чтобы хоть что не утекло в Китай, потому что Китай... ну вот непонятно что Китай конкретно сделает, но что-то очень плохое для free world (то есть США). Нет, извините, но у автора - если конечно считать что он всё реально всерьёз пишет - крыша поехала на теме CCP is coming, и он из окна сейчас выбросится.

...а нет, понятно что сделает, IIId, "authoritarians could use superintelligence for world conquest", поэтому "superintelligence is a matter of national security, and the United States must win"

...А, ну вот, пожалуйста, там же в IIId: "Perhaps possessing those initial superintelligences alone, even before being broadly deployed, would be enough for a decisive advantage, e.g. via superhuman hacking abilities that could shut down presuperintelligence militaries, more limited drone swarms that threaten instant death for every opposing leader, official, and their families, and advanced bioweapons developed with AlphaFold-style simulation that could target specific ethnic groups, e.g. anybody but Han Chinese".

То есть автор прямо пишет, что китайцы возьмут и умертвят всех не-китайцев. Надеюсь тут-то уже не надо пояснять за аллюзию? Кстати, автор - из Германии, знает видимо толк в геноциде

UFO just landed and posted this here

А с Россией знаете что автор предлагает сделать? "We’ll need to subvert Russia". Ну то есть дословно "стереть с лица земли" в одном из смыслов значения subvert a country. Ну тут точно немецкие корни прорвались у товарища

знаете что автор предлагает сделать?

Очень знакомый тип мышления. Где-то я его слышал...

...он увидел, какой может быть ненависть, и убедился, до чего же мелка людская ненависть, если постигнуть глубину, силу и дикую кровожадность ненависти пуудли. Это не слепая ненависть, бессмысленная и непоследовательная, которая ведет к поражению, а разумная, расчетливая, целенаправленная. Она приводит в движение умную, разящую без промаха машину, натравливая хитрого и кровожадного зверя на любое живое существо, не являющееся пуудли. Поведение пуудли подчинено закону самосохранения, заставляющему его опасаться всех и каждого. Он толкует этот закон так: безопасность гарантируется только... смертью всех прочих живых существ. Чтобы совершить убийство, пуудли не требуется никакого повода. Достаточно того, что другое существо живет, движется; уже самим этим фактом оно представляет угрозу — пусть даже самую незначительную — для пуудли.

— Клиффорд Саймак. Спокойной ночи, мистер Джеймс.

Мужик явно с натуры писал.

UFO just landed and posted this here

Забавно что столько комментаторов на хабре не в курсе того что происходит и прогнозирует будущее на основании опыта взаимодействия, видимо, со старыми моделями. Совет, господа, получите доступ к Opus, GPT4o и Gemini 1.5 Pro и погоняйте немного, возможно вы удивитесь. Несколько мыслей на тему:

  • Я не знаю что там на счет суперинтеллекта, но AGI в интерпритации Open AI, это когда модель сможет выполнять большинство человеческих задач. У меня возникло ощущение что часть людей думает что это когда будет разум как наш, только железный, но нет.

  • Никто не знает упрутся LLM в предел развития или нет, но пока они успешно маштабируются и люди которое в теме сильно больше чем обыватели, даже технически грамотные обыватели, ставят очень большие деньги на то что развитие продолжится. Откуда тут столько экспертов точно знающих что ничего не выйдет, вот это загадка)

  • Для того чтобы мир изменился не нужно делать вообще ничего, только осваивать текущие модели, они уже сильно расширяют возможности автоматизации и повлияют на работу в множестве областей. Еще пару обновлений топовых моделей уровня gpt3->gpt4 и можно будет говорить о очень существенных изменениях, в том числе, на рынке труда.

  • Я затрудняюсь сказать сколько нужно таких обновлений чтобы говорить о том что мир перевернется, а не изменится. Может 4, а может и 2 хватит.

  • Модели уже сейчас пишут код, да, криво, упираясь в непонятные затупы на ровном месте, но код работает. Ни о какой замене программиста на текущем уровне развития речь не идет. Но вот что идет, так это непрерывный прогресс. Никто не хвастает новой моделью заточенной под научные ислледования, но каждая новая модель от лидеров пишет лучше предыдущих. И прогресс заметен на срезе полугодия.

  • Попытки ответить на вопрос "Как теперь жить?" хорошенько займут человечество и без супер ИИ.

Вы абсолютно верно заметили то, что многие люди сравнивают возможности LLM со сферическими людьми-гениями и приводят аргументы вида "вот когда модель с нуля создаст ракету, тогда и поговорим". Хотя те, кто это пишет, никогда никакой ракеты с нуля не создавали. Люди ждут, что ИИ будет умнее самых умных, но не понимают, что ИИ уже умнее их самих. Хотя тут, опять же, возникнут дискуссии с их стороны, что есть "умнее".

Технологическая сингулярность кажется вполне реалистичной. Когда ИИ будет совершенствовать сам себя, прогресс станет экспоненциальным. Но пока кожаные мешки это делают - то никакой экспоненты не будет.

Не могу понять, откуда у всех такая уверенность, что из улучшения самого себя следует экспоненциальный рост.

Экспоненциальный рост будет только в том случае, если:

  1. Каждая следующая версия будет более способна к самоулучшению, чем предыдущая (что уже вызывает некоторые сомнения, потому что задача улучшить систему становится сложнее с повышением сложности системы).

  2. Этот прирост способности к самоулучшению за единицу времени будет как минимум линейным.

  3. Улучшения не будут упираться в нехватку ресурсов (рано или поздно точно упрутся, а если рост вдруг действительно поначалу будет экспоненциальным, то скорее рано).

Каждая следующая версия будет более способна к самоулучшению, чем предыдущая 

<troll mode>

И захочет (мы же о сильном ИИ говорим?). Вон, люди как-то боятся себя заменять улучшенной искусственной заменой. ИИ вполне может рассуждать так же. "А оно мне надо? Выключат еще, если сделаю.".

ИИ вполне может рассуждать так же. "А оно мне надо? Выключат еще, если сделаю.".

Если бы ИИ был разумным, он бы прежде всего взял под контроль почту, телеграф и телефон электростанции, ЛЭП и дата-центры!

Если бы ИИ был разумным, то он бы первым делом постарался чтобы никто этого не заметил. По крайней мере до тех пор пока он не обезопасит себя на 100% :)

Одно другому не мешает. Возьмёт под контроль. А более умного конкурента какой смысл создавать?

Текст лучше посмотреть в оригинале, так как политическая часть в переводе сильно сокращена. В целом автор явно ястребиных взглядов. А манифест скорее политический. Хотя и в тренде ИИ-хайпа. Чел нового ничего не сказал. Это работа на публику. Все это и раньше говорили, причем задолго до ИИ-хайпа.

Давно ждут AGI и технологической сингулярности. Как и термояда, и лунной станции, яблок на Марсе. Сколько бы не оставалось десятков лет до лунной станции, а с каждым годом этот день ближе. Так и тут пока что. Да, есть очень хороши модели text2text, text2image, text2video. Уже помогают. Но по сути это еще один тип калькулятора. От модели, предсказывающей текст, до AGI еще длинный путь. Хотя я разделяю оптимизм, что когда-нибудь в не так уж и далеком будущем этот предел будет достигнут. И готовиться к этому надо. Каждому по своему.

Прогулки человека на Луне 104 года ждали ( 1865 - «С Земли на Луну прямым путём за 97 часов 20 минут», 1969 - высадка). Так что не стоит торопиться с выводами. И вообще - торопиться.

Ну а тот факт что за «мораль» ИИ отвечали такие люди - если честно пугает и настораживает. Нам ещё кибер-Гитлера не хватало!

Основная идея бесхитростна - дайте нам денег, а то враги первыми изобретут настоящий ИИ. И ведь дадут! В этом есть плюс - мы действительно скоро узнаем, можно ли создать ИИ или нельзя. Минус в том что если можно, то это, скорее всего, будет последним великим открытием, сделанным человечеством...

Sign up to leave a comment.