Последние пару лет развитие языковых нейросетей как будто бы шло по принципу «больше, длиннее, жирнее»: разработчики пытались раздуть свои модели на как можно большее число параметров и прогнать через них максимальный объем тренировочных данных. 12 сентября OpenAI выпустили новую LLM, которая добавляет в это уравнение еще одно измерение для прокачки: теперь можно масштабировать объем «мыслей», который модель будет тратить в процессе своей работы. В этой статье мы разберемся, чему научилась новая GPT o1, и как это повлияет на дальнейшую эволюцию ИИ.
Пользователь
Механизмы образования антициклонов над континентами. А причём тут роса на траве по утрам?
В каких случаях мы видим росу на траве по утрам?
Каждый с детства из классической литературы знает про «туман над речкой после заката» и про «росу на траве по утру».
Для примера приведу фотографии реальных пейзажей к этим пасторальным литературным штампам (см.рис.1-3)
Практическое применение эффекта полного внутреннего отражения с потерями
Задумывались ли вы о том, что вокруг нас, в технике широко применяется интересное физическое явление, на базе которого вы и сами сможете собрать множество интересных самоделок?
И именно об этом и будет наш рассказ…
На меня трудится 1 000 работников, хотя они думают, что работают на себя
Их мать уходит из дома, чтобы совокупиться с несколькими мужчинами одновременно. Их мужчины едят слишком много, поэтому зимой женщины отправляют их умирать на мороз. Они никогда не спят, и при этом вся семья зарабатывает всего 31 500 ₽ за сезон.
Как кандидат наук продал 230 000 экземпляров своих книг с намеком на мат в заголовке
Мой первый успех в литературе случился в 17 лет. Тогда я стал призёром олимпиады по русскому языку среди абитуриентов в вузы с сочинением: “Почему еврей Розенталь устанавливает правила русского языка”.
Толстые хвосты распределений — это загадочно и странно
Если вы посещали занятия по статистике — вы, возможно, проходили тему «общая теория меры». Там могла идти речь о мере и об интеграле Лебега, а так же — об их связи с другими способами интегрирования. Если на ваших занятиях много внимания уделялось математике (так было у меня), то на них вы вполне могли познакомиться с теоремой Каратеодори о продолжении меры и даже с основами теории операторов на гильбертовых пространствах, а так же — с преобразованиями Фурье и много с чем ещё. Большинство этих математических конструкций нацелено на доказательство одной из самых важных теорем, на которой основана огромная часть статистики. Речь идёт о центральной предельной теореме (ЦПТ).
ЦПТ утверждает, что для широкого класса того, что мы называем в математике «случайными величинами» (которые представляют собой результаты проведения некоего эксперимента, включающего в себя элемент случайности), до тех пор, пока они удовлетворяют определённым условиям (как может показаться — простым), их среднее значение сходится к случайной величине определённого типа, который называют «нормальным» или «Гауссовым».
Factorio: оптимизации 2.0
▍ Оптимизация роботов (автор: Rseding)
За годы работы над Factorio я профилировал множество файлов сохранений и регулярно встречал сохранёнки, где большая часть времени обновления тратится на логистику и/или строительных дронов. В этом нет ничего нового, но наряду с дронами существуют и дронстанции (в больших количествах).
Типичная фабрика с кучей дронстанций (Roboport)
Дронстанции никогда не были «медленными», но они всегда присутствуют на карте, и у игроков есть мотивация строить их в больших количествах; к тому же, их будет ещё больше в грядущем Space Age, где нужно будет многое делать удалённо. Сохранение, полученное после последней сессии плейтестинга, снова показало, что они отнимают небольшое, но ненулевое количество времени, поэтому я снова задумался о них.
Хитрые бактерии и антибиотики
Аптека в Африке, сейчас пациент получит одну таблетку доксициклина
Бактерии — мастера генетических рекомбинаций. У них очень короткий цикл жизни, большое потомство, миллиарды попыток на мутации и очень короткая петля обратной связи. Одного этого достаточно, чтобы если не забрутфорсить, то найти решение проблемы алгоритмами группы Монте-Карло.
Плюс у них есть такая милая штука, как горизонтальный перенос генов. В смысле, бактерия может брать и раздавать свой код. Например, в виде плазмид — вынесенных за хромосому хранилищ ДНК. Это значит, что даже не надо проходить циклы размножения — достаточно одной приспособленной бактерии, которая встанет на раздачу. Причём раздаёт она разным видам, не только своему.
Поэтому антибиотики уже через 15 минут после появления начали резко создавать эволюционное давление.
Пенициллин вначале отбирали у плесени. Выращивали, срезали, макали в раствор, получали колбы с антибиотиками. И вот на краях этих колб почему-то уже тогда начали расти бактерии, для которых эта среда смертельна. Но тогда надо было работать работу и решили, что это какие-то неправильные бактерии, которые делают неправильный мёд. Тем более, что при повышении дозы они, вроде как, погибали.
В общем, там есть пара суперинтересных историй про то, насколько бактерии хитрые и продуманные. Пора бы в этом разобраться. Сегодня мы это делаем с экспертом — Денисом Кузьминым, к.б.н., директором физтех-школы биологической и медицинской физики МФТИ.
Как я зарабатывал 13 млн в год на любителях пассивного дохода
В 2007-м крипты еще не было, но все уже искали пассивный доход: тратить как можно меньше сил, и получать как можно больше результатов. И машина, которая оказывает услугу, а взамен получает деньги, для этого идеально подходила.
За все время наш завод разрабатывал: аппараты для размена денег, вендинги-копиры, автоматы по продаже бахил, баночек для анализов, коктейлей, газированной воды, покрытия на унитаз и печенья с предсказаниями.
Фокусы с опторазвязкой
Нюансы оптронной развязки, борьба с её недостатками и интересный на мой взгляд костыль: как разогнать скорость копеечной опторазвязки и наполучать других бонусов. Я не силён в рекламе, поэтому на месте КДПВ будет сразу тема статьи.
Делаем из битого планшета одноплатник: подключаем Android-устройства к дешевым микроконтроллерам через UART
В наше время, из-за санкций одноплатники стали стоить каких-то «конских» денег. Даже б/у RaspberryPi Zero стоит 2-3 тысячи рублей на барахолках, что, мягко скажем, не совсем лояльная цена для «самого дешевого одноплатного компьютера в мире». Конечно, Orange Pi Zero всё ещё можно купить в пределах 1.500-2.000 рублей, но как по мне и эта цена не слишком лояльна за те характеристики, который предлагает такой одноплатник. С другой стороны, Android-планшеты 10-летней давности продаются на барахолках по 100-300 рублей, что выглядит гораздо привлекательнее, причём на некоторые устройства практически без костылей можно установить полноценный дистрибутив Linux! Вероятно, многие читатели скажут мол «автор бомж» и будут правы: ведь в рамках этой статьи, я хочу рассказать о том, как использовать полурабочий древний планшет в качестве полноценного одноплатника путём подключения его к микроконтроллеру и выводу GPIO! Сегодня мы с вами: узнаем, как подключить микроконтроллер к шине UART в планшете и научимся работать с последовательной шиной в Android прямо из Java и нативных программ. Интересна моя концепция антикризисного одноплатника? Тогда добро пожаловать под кат!
Сосульки на свесах скатной кровли: механизм образования и методы борьбы с ними
Островерхая скатная и плоская крыша дома в ИЖС: Битва архаично-романтичного «дизайна» с инженерной рациональностью.
Крыша дома в частном секторе- это не только инженерное сооружение, но и главный элемент внешнего вида здания в целом.
Если учесть, что частный дом в значительной степени строят ради «показать себя», то его крыша становится скорее ярмаркой тщеславия, чем ответственной инженерной конструкцией. (см.рис.1.)
Кладбище российских электронных конструкторов. Проекты, которые «не смогли»
Попыток создать отечественный электронный конструктор предпринималось и предпринимается множество. Я как автор одного из них, слежу за изобретениями коллег где-то с 2010 года и очень обидно видеть интересные и классные идеи, которые не ушли дальше прототипов и не смогли найти финансирования и возможностей выпуска в промышленных масштабах. Давайте рассмотрим, чего же лишился наш отечественный (а возможно и зарубежный) рынок и дети.
Создание атомарных коммитов в Git
Мы все были там: Вы работали над множеством изменений одновременно, некоторые из которых не имели ничего общего. Для удобства вы решили объединить все эти изменения в один коммит и на этом закончить. Но хотя это может показаться заманчивым, на самом деле это может привести к большим проблемам в дальнейшем. Большие коммиты могут:
Как мы строили Норильск «на ледяной планете»
60–65% территории России занимает вечная мерзлота. Она бывает разная: где-то это много относительно сухой земли, а где-то прямо линза льда (до 95% воды), причём глубиной до нескольких километров. В районе Норильска можно грубо сравнить её с замёрзшим океаном.
И вот посреди этой красоты мы вдруг нашли очень ценные полезные ископаемые. Медь, никель, золото, палладий и ещё кучу других слов, без которых не бывает современного ИТ и космоса. И, наверное, мы бы их так и оставили валяться, если бы не ещё одно обстоятельство: прямо рядом с ними нашёлся практически бесконечный источник энергии — гора угля. Причём некоторые из углей в этой горе были коксующимися, то есть позволяли получать металлы из оксидов прямо на месте.
Земляне высадились в эти места строить город. Практически как на снежную планету. И это оказалась очень суровая планета: холод до -56 градусов Цельсия, разрушающий конструкции, ураганный ветер и снег, который всё заметает. Ну и ко всему этому тут есть длинная полярная ночь, если вам не хватает сложностей.
Строить на линзе льда ничего нельзя. Тепло от здания означает, что его фундамент просто разорвёт при подвижках льда. Но тогда, конечно, про сюрпризы с мерзлотой мы не знали, и потому первое поселение — позже его назовут Аварийным посёлком — разрушилось через полгода.
Современный город стоит на скальных выходах как на островах: есть центральный жилой остров, есть Оганер — остров с больницей, есть Талнах — добывающий район, отдельно есть аэропорт, есть Надежда — ещё один комбинат, есть остров Дудинка — порт в 90 километрах от центра. Есть кусок скалы — можно строить. Нет скалы — нельзя строить.
В общем, я хочу рассказать вам про удивительно прекрасный и, как это ни странно, уютный Норильск.
Как я чуть не стал миллионером, продавая воздух, или почему Россия – не Америка
Все знают, что Россия — энергетическая сверхдержава, она же – «разорванная в клочья Обамой бензоколонка». Но не все знают, как это может отражаться в области развития математического моделирования. Расскажу одну жизненную историю.
Начну с далекого 2007 года. Довелось мне в те времена поработать на крупном заводе, который «эффективные менеджеры» как раз делили на несколько отдельных предприятий, каждое из которых крутилось, как могло. В том цеху, который и стал одним из таких предприятий, на токарных станках могла крутиться (и крутилась!) металлическая болванка размером с автобус. А в печку для нагрева металла можно было затолкать паровоз. Целиком. Когда я в первый раз увидел токарный станок, на котором крутится и обтачивается деталь размером с автобус, моему восторгу не было предела. Гордость за страну переполняла до состояния «в зобу дыханье сперло». А потом старожилы показали ту часть цеха, где стояли фундаменты таких же станков и пояснили:
- А вот тут были станки для точной обработки. Их продали китайцам по цене металлолома.
- А почему вот другие не продали?
- Потому, что у них точность обработки такая, что их только в металлолом можно сдать. Поэтому они здесь работают и крутятся как могут, и обтачивают валы турбин Siemiens.
Схема бизнеса был гениальна: Siemiens привозил на завод многотонные болванки, их неделями и месяцами обтачивали до состояния заготовок и увозили для чистовой обработки в Германию. Где уже выполняли чистовую доводку на точных и дорогих станках. Главные затраты при черновой обработке – это износ станков и инструмента, зарплата токаря и электроэнергия, необходимая для вращения тонн металла. Поскольку электроэнергия в РФ дешевле немецкой, недели обработки болванок с лихвой окупают транспортировку, а низкая точность обработки не требует дорогого обслуживания и мало чувствительна к износу еще советского оборудования. В итоге весь бизнес заключался в «перепродаже» дешевой электроэнергии из РФ в Германию, но в виде металлических обточенных болванок.
Домашний NAS сервер
Домашний NAS сервер на 10 жестких дисков для личного использования на базе Linux
Когда имеется большой объем файлов, который необходимо хранить на одном домашнем сервере с низким энергопотреблением, малыми габаритами, невысоким тепловыделением и бесперебойным питанием, а также с большим количеством жестких дисков...
Жесткая вода и накипь. Структура, свойства и способы минимизации ущерба (Steanlab Review)
Химия эпохи Возрождения: влияние яичного желтка на масляную краску
«Весна», Сандро Боттичелли, 1482 год.
Эволюция подарила нам интеллект, которому нет равных среди обитателей планеты Земля. Интеллект позволил нам победить многие болезни, построить дома, касающиеся небес, увидеть далекие звезды и мельчайшие частицы. Научные открытия сыпятся, как из рога изобилия, а возможности нашего вида переходят ранее непреодолимые границы. Человечество за свою непродолжительную в масштабах планеты историю породило множество ужасающих творений, суть которых заключается в разрушении. И этого мы забыть не можем. Но среди всей этой злобы, вражды, алчности и ненависти есть и проблески прекрасного. Если бы не интеллект, мы бы не смогли насладиться шедеврами кинематографа, музыки или изобразительного искусства. Работы художников эпохи Возрождения и по сей день удовлетворяют наш эстетический голод и таят множество тайн, которые мы так рьяно хотим раскрыть. Одной из таких загадок является применение в живописи того времени красок, содержащих не только масла, но и яйца. Ученые из Технологического института Карлсруэ (Германия) провели исследование, в котором попытались установить пользу применения яичного желтка в масляных красках, как это делали великие мастера живописи. Какие физико-химические процессы протекают в «яичных» картинах, и какую роль в них играет яйцо? Ответы на эти вопросы мы найдем в докладе ученых.
Соблюдаем дистанцию, как топологи
За минувшие пандемийные годы кто только не прошёлся по этой картинке, обсуждая невозможность выполнения такого требования на плоскости! Теперь, когда страсти поутихли, мне бы хотелось обсудить естественное математическое развитие этой темы в форме вопроса:
А где и как это возможно? Каким образом в различных топологиях можно расположить максимальное количество точек, так чтобы расстояния между любыми двумя точками было бы одинаковым?
Этот пост носит пятничный характер, и не претендует на серьёзное исследование. Он будет интересен тем, кто симпатизирует математике, любит анимированные гифки, но не готов «всё бросить» и погрузиться в дифференциальную геометрию и топологическую теорию графов.
Information
- Rating
- 1,208-th
- Registered
- Activity