Search
Write a publication
Pull to refresh
97
0
Павел Кудинов @pavel_kudinov

User

Send message

ChatGPT повсюду. Но откуда он взялся?

Level of difficultyEasy
Reading time5 min
Views18K

Комментарий переводчика.

Я AI энтузиаст, плотно занимаюсь нейросетевыми языковыми моделями с ноября 2022 года, за это время прочитал десятки публикаций об истории их создания, статья Дугласа Хевена лучшая из тех что я видел.

Прорывной хит OpenAI стал сенсацией в одночасье, но основан он на десятилетиях исследований

Все вокруг говорят о ChatGPT. Чат-бот, выпущенный компанией OpenAI в декабре в виде веб-приложения, практически мгновенно стал мейнстримом. По некоторым оценкам, это самый быстрорастущий интернет-сервис в истории, достигший 100 миллионов пользователей всего через два месяца после запуска. Благодаря сделке OpenAI с Microsoft стоимостью 10 миллиардов долларов, технология теперь встроена в программное обеспечение Office и поисковую систему Bing. Вдохновленный пробудившимся бывшим конкурентом в борьбе за системы поиска, Google ускоряет разработку собственного чат-бота, LaMDA. Все вокруг говорят о ChatGPT.  Даже мой семейный чат в WhatsApp забит разговорами о ChatGPT.

Но успех OpenAI не появился из ниоткуда. ChatGPT - это самая совершенная на сегодняшний день итерация в ряду крупных языковых моделей, созданных много лет назад. Вот как мы к этому пришли.

Читать далее

Новое исследование: Microsoft утверждает, что GPT-4 показывает «зачатки настоящего искусственного интеллекта»

Level of difficultyEasy
Reading time8 min
Views49K

На днях вышло большое исследование GPT-4 от Майкрософта — они несколько месяцев пытались разобраться, почему простой трансформер текста на таких больших объемах показывает признаки настоящего интеллекта. Как получается, что GPT-4 делает неожиданные логические выводы, демонстрирует новые навыки, и вообще, почему модель настолько похожа на тот самый AGI, к которому мы (в теории) хотим прийти.

Исследование будет интересно всем, кто хочет понимать, насколько мы близки к настоящему ИИ (spoiler: очень близки). И как вообще можно понять, когда это «оно».

Читать далее

TESSERAE — предыстория орбитального улья

Reading time8 min
Views4K

В этом блоге я неоднократно обращался к теме астроинженерных сооружений, чрезвычайно интересующей Хабр. Навскидку вспоминаются материалы о сфере Дайсона (91 комментарий), космическом лифте (124 комментария) и обустройстве космической станции внутри астероида (212 комментариев). Все подобные идеи кажутся осуществимыми в обозримом будущем, так как мы привыкли экстраполировать успехи, уже достигнутые при сборке космических станций. Эпоха обитаемых космических орбитальных станций начинается в 1971 году и хронологически выглядит так:

Читать далее

Как массовая культура превратилась в одну сплошную нейросеть

Reading time8 min
Views16K

То, что происходит в художественной индустрии (книги, фильмы, игры) прямо сейчас можно назвать эпохой нейросетей. И вовсе не потому, что нейросети могут оставить без работы художников и писателей. Спойлер: на самом деле не могут. Речь о том, что массовые художественные продукты последних нескольких лет по всем признакам напоминают то, как работают нейросети. Принципы работы – один в один. Почему? Как так? Сейчас объясню на примере одной популярной нейросети, генерирующей рисунки – Midjourney.

Читать далее

Стохастический язык программирования на основе алгоритмов Маркова

Reading time13 min
Views28K

MarkovJunior — это вероятностный язык программирования, в котором программы являются сочетаниями правил перезаписи, а инференс выполняется при помощи распространения ограничений. MarkovJunior назван в честь математика Андрея Андреевича Маркова, придумавшего и исследовавшего то, что сейчас называется алгоритмами Маркова.
Читать дальше →

Джон Кармак взялся за сильный ИИ — и у него особый подход. Список фундаментальной литературы для начала

Level of difficultyMedium
Reading time7 min
Views39K

В рубрике «Выдающиеся программисты 21 века» уже была статья про гения программирования Джона Кармака, создателя движков для Doom, Quake и других культовых игр. Потом он занялся разработкой ракет (они в Armadillo Aerospace реализовали вертикальную посадку раньше SpaceX), а затем — систем VR, софта для Oculus Rift и других устройств. Сейчас началась четвёртая фаза в его карьере.

В интервью изданию Dallas Innovates 52-летний Кармак рассказал о новом проекте — системе сильного ИИ (AGI), над которым он работает самостоятельно, без участия больших корпораций, как отшельник в своём особняке в Далласе.

Сильный ИИ общего назначения не будет уступать среднему человеку в понимании происходящего и решении проблем. По оценке Кармака, с вероятностью 60% такая система (альфа-версия) будет создана до 2030 года, с вероятностью 95% — до 2050 года. Это самая важная и интересная задача, которая сейчас стоит перед человечеством.
Читать дальше →

Мы обнаружили в GPT-2 нейрон конкретного токена

Reading time10 min
Views15K

Мы начали с вопроса: откуда GPT-2 знает, когда использовать слово an, а не a? Выбор зависит от того, начинается ли следующее за ним слово с гласной, однако GPT-2 может прогнозировать только одно слово за раз.

У нас по-прежнему нет полного ответа, однако мы нашли нейрон MLP в GPT-2 Large, который необходим для прогнозирования токена " an". Также мы выяснили, что веса этого нейрона соотносятся с эмбеддингом токена " an", что позволило нам найти другие нейроны, прогнозирующие конкретный токен.
Читать дальше →

Ученые телепортируют энергию при помощи квантовой механики

Level of difficultyMedium
Reading time9 min
Views12K


Протокол телепортации квантовой энергии предложен в 2008 году и по большей части был проигнорирован. Но сегодня два независимых эксперимента показали, что он работает. 15 лет назад физик-теоретик из Университета Тохоку в Японии Масахиро Хотта предположил, что вакуум можно заставить что-то нам дать.

Читать дальше →

Как защищают компьютерные игры от пиратов: с 80-х по настоящее время

Level of difficultyEasy
Reading time12 min
Views21K

Пиратство в компьютерных играх было серьёзной проблемой для игровой индустрии с момента её зарождения. С появлением персональных компьютеров и игровых консолей в 1980-х и 1990-х годах несанкционированное копирование и распространение компьютерных игр становилось популярнее. Это приводило к потере доходов разработчиков и издателей игр. В ответ на это разработчики игр и ИТ-компании начали принимать меры по защите от пиратства.

Рост онлайн-игр в 2000-х годах привёл к появлению новых проблем с точки зрения защиты компьютерных игр от пиратства. Steam и развитие интернета облегчили пиратам незаконное распространение игр. В ответ на это IT-компании и разработчики игр продолжали создавать новые методы защиты своих игр, включая технологию управления цифровыми правами (DRM) и антипиратское программное обеспечение. Несмотря на эти усилия, проблема пиратства компьютерных игр остаётся актуальной для индустрии. Развитие технологий и новых игровых платформ требовало и от пиратов придумывать новые способы обхода ограничений.

Читать далее

Чему люди научились у компьютеров

Level of difficultyEasy
Reading time6 min
Views8.7K

Чему мы научились у компьютеров? На первый взгляд, постановка вопроса абсурдная. Ведь люди сами придумали информатику, сконструировали компьютерную технику и написали софт. Как можно чему-то научиться у своего детища?

Оказывается, можно. И не потому, что недетерминированная система выдаёт непредсказуемый результат. Наоборот, дело в крайней системности и детерминированности программ. Иногда кажется, что эта железная логика мощнее и сильнее человеческой психологии, эмоций и биологической природы. Поэтому она берёт верх.

Вот некоторые примеры, как изменилась наша жизнь под влиянием компьютерных алгоритмов. Речь о чертах характера, моделях поведения и восприятии окружающего мира.
Читать дальше →

Может ли наша реальность быть суммой всех прочих реальностей

Reading time9 min
Views11K

Интеграл по траекториям, предложенный Ричардом Фейнманом – это одновременно и мощный прогностический аппарат, и философское обоснование того, каков на самом деле мир. Но физики до сих пор затрудняются пользоваться этим инструментом, а также силятся понять, какой в нём смысл.

Читать далее

«Я нашел художника-волшебника» — как нейросети уже отбирают работу у художников

Reading time3 min
Views17K

Пока мы спорили отнимут ли у кого-то нейросети работу, это уже фактически произошло. Одна из крупнейших фриланс бирж fiverr.com добавила специальный раздел, в котором можно заказать услуги, сделанные с использованием нейросетей.

Узнать в чем тут дело

Революция генеративного ИИ началась — как мы к этому пришли?

Reading time18 min
Views16K

Сегодня только и разговоров, что о ChatGPT, Midjourney и прочих DALL-E. Почему именно сейчас нейросети стали такими крутыми и развиваются семимильными шагами? Прорыв стал возможен благодаря новому классу невероятно мощных моделей искусственного интеллекта. Рассказываем, с чего всё началось и как мы здесь оказались.

Читать далее

SEO Выводы из утечки кода поисковика Яндекс

Reading time6 min
Views105K

Я был в восторге, когда узнал об утечке проприетарного исходного кода Яндекса. И после анализа данных я должен сказать, что выводы оказались весьма интересными! Итак, без лишних слов, давайте окунемся в основные выводы, которые я сделал.

Читать далее

Исследователи показывают, что кубиты могут быть такими же безопасными, как и биты

Reading time6 min
Views3.2K

Новый результат показывает, что квантовая информация теоретически может быть защищена от ошибок точно так же, как и классическая информация.

Читать далее

Система типов — лучший друг программиста

Reading time8 min
Views32K

Я устал от одержимости примитивами и от чрезмерного использования примитивных типов для моделирования функциональной области.

Значение в string не лучший тип для записи адреса электронной почты или страны проживания пользователя. Эти значения заслуживают гораздо более богатых и специализированных типов. Мне нужно, чтобы существовал тип данных EmailAddress, который не может быть null. Мне нужна единая точка входа для создания нового объекта этого типа. Он должен валидироваться и нормализироваться перед возвратом нового значения. Мне нужно, чтобы этот тип данных имел полезные методы наподобие .Domain() или .NonAliasValue(), которые бы возвращали для введённого foo+bar@gmail.com значения gmail.com и foo@gmail.com. Эта полезная функциональность должна быть встроена в эти типы. Это обеспечивает безопасность, помогает предотвращать баги и существенно повышает удобство поддержки.
Читать дальше →

Перекатываемся в Райффайзен из Тинькофф…

Reading time12 min
Views53K

Со времени моего рассказа об опыте использования экосистемы Тинькофф прошло едва ли больше года, а кажется, что целая жизнь...

Но экономическая ситуация изменилась и оставаться валютным ИП в этом банке становится финансово невыгодно. И куда же податься валютному фрилансеру, как не в крутой австрийский банк? Они ведь наверняка приготовились к наплыву беженцев, да?

Попробовать Райф на чужой шкуре

Ученые нашли упражнение, позволяющее худеть, сидя по 10 часов в день

Reading time6 min
Views362K


Недавно опять разгорелась дискуссия, как можно похудеть, работая в IT. Так вот, хороший (и научный) способ есть, и он на самом деле проще, чем можно было бы ожидать.


Конечно, если ничего не делать, то будешь только толстеть. Средний офисный сотрудник сегодня сидит больше 10 часов в день. Мы с вами, чувствую, ещё больше, особенно если на досуге играем, читаем Хабр или смотрим ютуб. Лично меня от компьютера вообще не оттащить. Хотя читал полно исследований, говорящих о больших проблемах со здоровьем, возникающих из-за малоподвижного образа жизни.


Например, было доказано, что независимо от уровня физической активности слишком много сидения увеличивает риск сердечных заболеваний, диабета, деменции и серьезных проблем со спиной. Более половины всех людей в мире сегодня уже страдают от этих проблем, и больше 80% людей в возрасте 60+.


Решение, конечно, простое — упражнения, в любой возможной форме. Но если вы такие как я, то тренироваться скучно и тяжело, правда? Большинство из нас ненавидят физкультуру. К тому же, на это нет лишнего времени. Бонусные часы каждый день магически не появятся.


Но похоже, есть способ ускорить обмен веществ в организме, даже сидя за ПК. И точно избежать проблем с метаболизмом и ожирением. Несколько недель назад вышла работа ученых под руководством Марка Гамильтона из Хьюстонского университета. Они разработали технику, позволяющую задействовать неожиданное свойство икроножных мышц, и делать для своего организма полноценную тренировку, не вставая со стула. Оказывается, похудеть, работая в IT, — это не так уж и сложно. Испытываю на себе, полёт нормальный. А какие у вас ноги будут прокачанные!

Читать дальше →

Information

Rating
5,605-th
Location
Ростов-на-Дону, Ростовская обл., Россия
Date of birth
Registered
Activity