За последние пять лет я разместил на Хабре более 300 статей, которые в совокупности получили свыше 7 млн прочтений и несколько десятков тысяч лайков. На мой взгляд, Хабр был лучшей UGC-площадкой в Рунете – поэтому основную версию всех своих материалов я размещал именно здесь, и ссылался со своего канала сюда же.
К сожалению, вчера администрация ресурса написала мне, что Хабр – это «только про айтишку и околоайти», а всякие темы про финансы и инвестиции там вообще ни к месту. И если я буду продолжать тут писать про такое – то придется «расчехлять санкции» в мой адрес.
Так что, уважаемые айтишники, я вынужден избавить вас от своего присутствия на Хабре. Надеюсь, вы наконец обретете счастье в этом прекрасном мире, где никто не говорит про процентные ставки, а бородатые программисты при словах «среднегодовая доходность» краснеют и в ужасе зажимают руками уши.
Если вдруг кто-то хочет не терять со мной связь и продолжать читать мои материалы – найти меня можно в Телеграме.
В новостях нам чуть ли не каждую неделю рассказывают о том, что очередная новая AI-моделька начисто победила людей в каком-нибудь супер-невозможном бенчмарке – а значит, нас ждет полная доминация жестянок уже не далее, чем завтра. И меня тут внезапно настигло чувство дежавю с тем, как я два года назад изучал греческий (потерпите, сейчас всё станет понятно).
В 2024 году я чуть больше чем за полгода занятий с репетитором подготовился и сдал экзамен по греческому языку сразу двух уровней A2 и B1 на «отлично» (или, как говорят греки, «αρίστα»).
Но есть нюанс! Говорить/писать на греческом более-менее свободно я так и не могу. Потому что задачи «сдать экзамен по языку» и «выучить язык» хоть и являются частично пересекающимися, но они далеко не идентичны. И в условиях ограниченных ресурсов, решить первую задачу сверх-оптимизацией получаемых знаний и навыков конкретно под узкую цель «получить все нужные галочки на экзамене» – это гораздо легче, чем прямо «по-честному» осваивать весь широкий набор языковых навыков.
Похожая проблема существует и в мире бенчмарков для оценки искусственного интеллекта. Базовая логика у них понятна: «давайте возьмем какой-нибудь набор задач, которые люди более-менее умеют решать своим мясным умишком с успешностью в среднем эдак 80% – и, если AI их в этом обгонит, то можно заключить, что он уже умнее человека!»
Загвоздка здесь в том, что как только такого рода бенчмарк публикуют, и он привлекает к себе общественное внимание – достичь цели «набрать самый высокий результат и победить на этом фестивале писькомерства между альтмасками и цукербринами» оказывается гораздо проще не через длинный путь «делаем сверх-умную модель, которая вообще всё делает оче-оче круто, в том числе и этот набор задач», а через банальное задрачивание модели на конкретный тип задач в этом тесте.
К чему это я? Тут нейросети на днях успешно забороли очередной «непобедимый бенчмарк по креативности, который уж точно может решить только по-настоящему генерализованный интеллект не хуже человеческого» (читайте подробное описание сути дела у Игоря Котенкова). Значит ли это, что, наконец, «AGI achieved»? Ну, э-э, скорее нет, чем да (по причинам, описанным выше).
Отдельный здесь кек – это то, что для решениях самых сложных задач в такого рода бенчмарках нейросети уже не просто кидают на амбразуру с наказом «ну ты это, постарайся там». Нет, им сейчас делают целый обвес специальных правил, как правильно методологически раскалывать такие орешки. Типа: ты сначала нагенерируй 100 разных ответов на этот вопрос, потом каждый ответ попробуй заново подставить к задачке и прикинь «а не херню ли я сделала?», а потом еще пусть итоговое решение отберет из прошедших предыдущие фильтры вообще другая строгая нейросеть-критик.
И тут уже возникает вопрос: а можно ли считать, что тут действительно валидным будет утверждение «модель XXX решила бенчмарк YYY»? Ведь, в каком-то смысле, тут не сама модель придумала вот этот весь алгоритм – а кожаные датасаентисты сами его подобрали таким образом, чтобы максимизировать получающийся результат.
В последнее время у меня не получается опубликовать половину написанных статей на Хабре из-за непонятного глюка платформы. После того, как я всё подготовил к публикации, появляется сообщение "Форма публикации заполнена неверно", как с этим бороться – неизвестно.
Для тех, кто скучает по еженедельным дайджестам новостей – сегодняшний можно прочитать вот здесь. Не пропустить будущие (если их тоже не получится запостить на Хабр) можно, подписавшись на мой ТГ-канал.
