Интересный факт: GPT-4o взимает по 170 токенов за обработку каждого тайла 512x512 , используемого в режиме высокого разрешения. При соотношении примерно 0,75 токенов на слово можно предположить, что картинка стоит примерно 227 слов, что всего в четыре раза меньше, чем в поговорке «картинка стоит тысячи слов».

(Кроме того, взимается 85 токенов за master thumbnail низкого разрешения каждого изображения, а изображения более высокого разрешения разбиваются на множество таких тайлов 512x512, но давайте ограничимся одним тайлом высокого разрешения.)

Но почему же 170? Необычное число, неправда ли? В своих ценах OpenAI указывает округлённые числа, например, $20 или $0,50, а в своих внутренних размерностях — степени двойки и тройки. Почему же в этом случае выбрано число 170?

Числа, которые без объяснений вставляют в кодовую базу, называют в программировании «магическими числами», и 170 кажется очевидным магическим числом.

И почему затраты на изображения вообще преобразуются в стоимость в токенах? Если бы это нужно было только для определения цены, то разве не удобнее было бы просто указать цену за тайл?

Что если OpenAI выбрала 170 не в рамках своей запутанной стратегии ценообразования, а потому что это в буквальном смысле так? Что если тайлы изображений действительно представлены в виде 170 последовательных векторов эмбеддингов? А если это так, то как реализовано?

Мое интервью с Иваном Соболевым, кандидатом технических наук, бывш. ведущим инженером-конструктором частной космической компании Dauria Aerospace (запустила первые 100% частные спутники в РФ) о том, как человечество, выйдя за пределы нашей «колыбельки» - Земли, может спасти биосферу нашей планеты.

С космическим инженером-конструктором Иваном Соболевым мы встретились на его лекции в Московском институте стали и сплавов, где Иван выступал с визионерским докладом «Космонавтика как путь сохранения экосистемы Земли».

Проблематика доклада касалась энергетического вызова, с которым человечество столкнется уже совсем скоро. Причем, не с одним, а с множеством: энергетических вызовов скопилось за пару тысячелетий активного воздействия homo sapience на нашу планету много, в самых разных областях. Но это совсем не повод опускать голову, а скорее наоборот – поднять ее и увидеть звездное небо, бесконечные пространства вселенной, где ресурсы буквально ждут, когда человек сможет прийти и взять их для своего блага и для блага маленькой планеты в Солнечной системе, которая дала ему жизнь.

Пару слов о биографии собеседника, которая всецело посвящена любимому делу, космонавтике. Иван Соболев – выпускник аспирантуры МГТУ, кандидат технических наук. Трудовую биографию начал в Центре им. Хруничева, где занимался разработкой пилотируемого космического корабля нового поколения, а также проектами марсианского экспедиционного комплекса и лунной транспортной системой, обитаемой лунной базой. Космическому сообществу Иван Соболев знаком давно как технический директор проекта «Селеноход», разрабатывавшего проект малогабаритного лунного ровера для участия в конкурсе Google Lunar X-Prize. Иван также работал ведущим конструктором одного из первых в России частных космических предприятий «Даурия Аэроспейс». После трудился в предприятиях ракетно-космической отрасли. Он пишет в журнал «Новости космонавтики» и газету «Троицкий вариант – Наука».

Мы будем считать 1000,000,000 число Фибоначчи со всеми цифрами. Для этого я буду использовать продвинутый алгоритм для поиска чисел Фибоначчи. Тут не будет базовых алгоритмов на подобии матричного возведения в степень и проще. Но эта статья будет понятна и школьнику :-)

Советская космонавтика - действительно удивительная часть нашей истории. За сценой, на которой происходили великие достижения, скрывался целый клубок личных амбиций, дрязг, интриг, а также курьёзных случаев. Как это часто бывает, происходящее за кулисами не может не отражаться на действии на сцене. Классический пример - проигрыш в лунной гонке, который не в последнюю очередь произошёл, из-за того, что ключевые фигуры космонавтики перессорились между собой.

Однако речь сегодня пойдет о другой истории, когда желание взять реванш у американцев любой ценой привело к фактически захвату проекта одного КБ другим и чем это в итоге закончилось.

В истории науки есть моменты, когда теория и эксперимент сходятся воедино, навсегда меняя наше понимание Вселенной. Один из таких моментов произошел в 1919 году, когда британский астроном Артур Эддингтон отправился к берегам Западной Африки, чтобы проверить революционную теорию относительности Альберта Эйнштейна.

В прошлой статье (об In-context learning) при разборе влияния формирования Chain-of-thoughts на результат модели я аккуратно обошла и не упомянула один из тестов - перефразирование CoT. Я хочу остановиться на этом по подробнее. 

Потому как, кажется, модели легко могут научиться в стеганографию в своих рассуждениях. И кодировать сами для себя какую-то информацию и инструкции в процессе рассуждений, не показывая явно ее человеку.

Мой лонглонглонгрид о том, что такое психика и сознание человека, и почему они останутся черными ящиками, которые не смогут быть «расшифрованы» в рамках человеческой цивилизации.

Заодно порассуждаем, что нас ждет дальше, и почему психологию не все считают наукой. Но придется запастись терпением ;)

Военная история изобилует примерами удивительных событий, на первый взгляд, не поддающихся логике и здравому смыслу. Один из них будет описан в этой статье. Сегодня мы рассмотрим события утра 10 мая 1940 года, когда в ходе плана «Гельб» небольшая группа немецких десантников высадилась на крышу бельгийского форта Эбен-Эмаль — крепости, спроектированной по последнему слову тогдашней фортификации, с гарнизоном численностью более 1200 человек, расположенную в идеальной для обороны местности и считавшуюся неприступной.

Недавно в англоязычном научном журнале "Quanta Magazine" я прочитал статью, которая меня поразила до глубины души. Я был так восхищен и поражен этой статьей, что хотел ее перевести и поделиться со всеми, но потом подумал, зачем переводить, если сейчас каждый браузер это умеет? Прочитав браузерный перевод, я понял, что такой перевод всё равно очень кривой и в итоге всё-таки сделал свой перевод. Я сделал в некоторым смысле "вольный" перевод. Не в том смысле, что я что-то выкидывал или по-своему интерпретировал, нет. Я сохранил всё, что было в изначальной статье, плюс еще добавил некоторые пояснения, помогающие понять отдельные идеи статьи, немного поменял форматирование и некоторые обороты, чтобы статья была более удобочитаемой для русскоязычного человека. Поэтому мой перевод можно считать не столько вольным в обычном смысле этого слова, сколько расширенным (этим оправдан тег "Моё"). Итак далее следует мой расширенной перевод этой статьи.

Мы стоим на пороге нового направления в науке, в рамках которого физика и философия могут быть объединены в единую целостную картину мира, проверяемую экспериментально. Такие эксперименты на стыке физики и философии могут быть единственным путем для нас к достоверным знаниям о Вселенной.

Термин "метафизика" имеет несколько значений. Часто под метафизикой понимают раздел философии, который имеет дело с глубинными структурами мира: природой пространства, времени, причинности и существования, основами самой реальности. Метафизика (в отличие от обычной физики) считается эмпирически непроверяемой, поскольку метафизические предположения сами лежат в основе всех наших тестов, экспериментов и интерпретации результатов. Эти метафизические предположения изучаются непосредственно в рамках самой философии.

Как работает ваш мозг, когда вы говорите на иностранном языке? Сначала переводит внутри на родной или сразу понимает и формулирует фразы на иностранном? Скорее всего, каждый человек ответит на это по-своему, а ответ будет зависеть и от уровня владения языком, и от того, по какой методике вас этому языку учили, и от особенностей мышления и речи вообще. Тем интереснее понять, как с этим обстоят дела у больших языковых моделей. Их обучают преимущественно на английских текстах, но как-то невзначай они вдруг начинают неплохо говорить и на других языках. Да, похуже, чем на английском, но всё-таки вполне достойно. Так что закономерно, что на общей волне интереса к интерпретируемости AI возникает запрос разобраться с этой мультиязычностью моделей. 

Интуитивно (а вообще просто по аналогии с человеком) кажется, что раз модель обучалась на английском, то он должен быть ее “родным” языком. То есть когда мы спрашиваем GPT на русском, он внутри сначала переводит на английский, там же формулирует ответ, а затем переводит обратно на русский. Если это действительно верно, то это означает, что  у модели есть некоторый уклон не только к англоязычной грамматике и лексике, но отсюда и к соответствующим метафорам, логике, поведению. То есть, к менталитету англоязычного мира. А если это неверно? Тогда еще хуже — тогда совершенно непонятно, как модель достигает такого хорошего результата на таком скромном объеме обучающих данных. 

Антикитерский механизм - это уникальное греческое устройство с зубчатыми передачами, созданное примерно в конце II века до нашей эры. Известно, что оно вычисляло и отображало астрономическую информацию, в частности, такие циклы, как фазы Луны и лунно-солнечный календарь. Календари были важны для древних обществ для определения сроков сельскохозяйственной деятельности и установления религиозных праздников. Затмения и движения планет часто интерпретировались как предзнаменования, в то время как спокойная регулярность астрономических циклов, должно быть, была философски привлекательна в неспокойном и жестоком мире.

Названный по месту своего обнаружения в 1901 году в римском кораблекрушении, Антикитерский механизм технически более сложен, чем любое известное устройство по крайней мере на тысячелетие вперед. Его конкретные функции оставались спорными, поскольку его шестерни и надписи на его поверхностях сохранились лишь фрагментарно.

В данной работе сообщается о поверхностной визуализации и высокоразрешающей рентгеновской томографии сохранившихся фрагментов, что позволило реконструировать функции шестерен и удвоить количество расшифрованных надписей. Механизм предсказывал лунные и солнечные затмения на основе вавилонских циклов арифметической прогрессии. Надписи подтверждают предположения о механическом отображении положений планет, которые сейчас утрачены. Во II веке до нашей эры Гиппарх разработал теорию для объяснения нерегулярностей движения Луны по небу, вызванных ее эллиптической орбитой. В зубчатой передаче механизма обнаружена механическая реализация этой теории, раскрывающая неожиданную степень технической сложности для того периода.

25 июля НАСА сообщило, что один из его марсоходов взял пробу очень, очень интригующей породы. На первый взгляд, скала выглядит так же, как и вся остальная красная планета — бесформенная, тусклая, сухая. Но это, пожалуй, самая интересная порода из всех, с которыми когда-либо сталкивались роботы-исследователи космоса. Как говорится в пресс-релизе НАСА, "камень обладает качествами, которые подходят под определение возможного индикатора древней жизни".

Для ясности, скала, которую учёные называют «водопадом Чейава», лишь потенциально может свидетельствовать об окаменелости жизни. Есть и другие правдоподобные объяснения её внешнего вида и состава — обычные, не имеющие ничего общего с биологическими процессами. Тем не менее, учёные в восторге. «Это именно тот тип породы, который мы хотели найти на Марсе», — сказала мне по электронной почте Бриони Хорган, планетолог из Университета Пердью, которая руководила выбором места назначения миссии. Но чтобы по-настоящему узнать, содержит ли водопад Чейава чудесное, экзистенциальное доказательство ещё одного появления жизни в нашей собственной Солнечной системе, НАСА необходимо доставить образец домой – а на это может уйти более 15 лет.

Недавнее исследование, проведенное группой экспертов из ведущих институтов, выявило существенные недостатки в логических способностях даже самых продвинутых LLM. Статья «Алиса в Стране чудес» демонстрирует, что при решении элементарных логических задач современные языковые модели демонстрируют неожиданно низкую эффективность.

12 июня 1812 года войска Наполеона перешли Неман. Так началась Отечественная война, в которой Российской империи противостоял очень сильный противник. С огромным опытом, с гениальным полководцем, который ещё не терпел поражений. Долгое наступление, Бородино, сданная врагу Москва, пожар, зима и бегство французов.

Через полгода после начала войны Наполеон с остатками армии убежал из России.

В этой статье мы изучим, почему Великая армия погибла, а её выдающийся полководец - отступил, что для этого предпринимала сторона Российской империи. И какие ошибки совершали обе стороны.

Но не просто так, а сквозь призму того, как нужно управлять изменениями.