Search
Write a publication
Pull to refresh
22
0
Aleks Lozovyuk @aleks_raiden

Криптовалюты, финансы, распределенные системы

Send message

От генерации к рассуждению: эволюция языковых моделей от GPT до RL

Level of difficultyHard
Reading time93 min
Views4K

В контексте стремительного развития больших языковых моделей (LLM) особое внимание уделяется повышению их способности к логическим рассуждениям. Одним из значимых достижений в этой области является модель DeepSeek-R1, разработанная для стимулирования reasoning-способностей LLM с помощью методов обучения с подкреплением (Reinforcement Learning, RL). DeepSeek-R1 представляет собой инновационный подход, направленный на улучшение качества генерации ответов в задачах, требующих многошаговых логических выводов.

Читать далее

Вычислительная мощность Вселенной и её пределы. Может ли Вселенная симулировать саму себя?

Level of difficultyMedium
Reading time31 min
Views4.6K

Переходим от философской составляющей гипотезы «всё из кубита» к её математической основе – цифрам и формулам, определяющим вычислительную природу реальности. Если Вселенная – квантовый компьютер, что является её «железом», какие физические процессы можно считать логическими операциями и по каким алгоритмам она обрабатывает информацию? Не являются ли эти квантовые алгоритмы «мыслями» Вселенной, процесс вычисления – решением некоего уравнения, а жизнь и разум – единственным правильным ответом? Есть ли закономерность в сходстве космической паутины сверхскоплений галактик и нейронной сети человеческого мозга? Может ли Вселенная оказаться чьим-то мозгом и обладать сознанием? Достаточно ли у Вселенной вычислительных ресурсов, чтобы создать полную симуляцию самой себя?

На все поставленные вопросы я отвечу в данной статье, опираясь на расчёты одного из основоположников теории «всё из кубита» Сета Ллойда. Также мы разберёмся с тремя физическими пределами, ограничивающими скорость вычислений и объём памяти компьютеров – пределом Бремерманна, пределом Бекенштейна и пределом Ландауэра. Заодно посмотрим, как будут выглядеть работающие на этих пределах устройства – предельный ноутбук и сингулярный компьютер.

Читать далее

Stay Hungry. Stay Foolish. 20 лет легендарной речи Стива Джобса перед выпускниками Стэнфордского университета

Level of difficultyEasy
Reading time19 min
Views4.2K

Это не банальная мотивационная речь и не реалити-шоу на MTV. Это серьёзные темы. Тем не менее, сочетание лёгкой подачи с серьёзной тематикой создаёт нечто волшебное. Этот контраст между лёгкостью и серьёзностью подобен инь и ян в великих речах, ведь секрет выдающихся речей заключается в балансе противоположных сил: обобщённости и конкретики, священного и мирского или лёгкости и тяжести.

То, что Джобс решил выступить с этой речью, удивило многих его близких. До этого он избегал лекций и выступлений, не связанных с презентацией продуктов Apple. Но это был 2005 год. Джобсу только что исполнилось 50 лет, а за полтора года до этого врачи диагностировали у него рак поджелудочной железы. По словам его биографа Уолтера Айзексона, он был в задумчивом настроении. Он хотел поделиться своим видением того, как молодые выпускники Стэнфорда могут попытаться изменить мир.

No big deal. Just three stories.

OAuth 2.0

Level of difficultyEasy
Reading time39 min
Views17K

Вы когда‑нибудь логинились на сайте, используя аккаунт Google или Facebook? Или подключали приложение, требующее доступа к GitHub? Если да, то вы уже сталкивались с OAuth2, зная того или нет.

OAuth2 — наиболее популярный и расширяемый фреймворк авторизации. Он позволяет интегрировать различные системы, делегируя доступ к вашим данным одного сервиса другому. Но фишка в том, что большая часть людей понятия не имеет, как именно OAuth2 на самом деле работает.

Лично мне приходилось реализовывать несколько приложений, использующих OAuth2. Это было настолько прямолинейно, что мне даже не пришлось задумываться о том, как работает сам протокол. И это не случайно. OAuth2 сделан таким образом, чтобы его было легко добавить в приложение, а не воевать со сложными механизмами авторизации.

Но если мы немного остановимся и начнем копать глубже, то найдем для себя много нового с точки зрения дизайна ПО.

В этой статье мы раскроем причины, по которым были приняты те или иные решения в процессе дизайна протокола OAuth2 и разберем наиболее часто встречаемые гранты авторизации.

Читать далее

Илон Маск против OpenAI: Полная история от любви до ненависти

Level of difficultyEasy
Reading time26 min
Views19K

В 2015 Маск убеждал Сэма Альтмана не жалеть никаких денег на найм топовых спецов, чтобы спасти человечество от зловредного супер-ИИ от Google – а сейчас он публично обзывает его «лжецом, жуликом и мошенником». В 2018 Маск оценивал шансы OpenAI на успех как «нулевые» – а теперь он хочет выкупить компанию за $97 млрд. В этом лонгриде мы детально разберемся: как так вышло, что Илон сначала помог запустить самую революционную ИИ-компанию современности, а потом стал главным ее хейтером?

Читать далее

LIMO: Меньше — значит больше для рассуждающих LLM

Level of difficultyMedium
Reading time53 min
Views3K

"Мы представляем фундаментальное открытие, которое бросает вызов нашему пониманию того, как сложные рассуждения возникают в больших языковых моделях" - так нескромно начинается аннотация к свежей статье от 5 февраля 2025 года. Авторы приводят результаты эксперимента, в котором небольшое количество хорошо подобранных задач с ответами может "всколыхнуть и заставить работать" весь "спящий" внутри LLM объем знаний, которые она накопила, перелопатив гигатонны текста. Возможно, данная работа войдет в список обязательных к прочтению статей по теории нейросетей.

Читать далее

Uniswap v3: самые неочевидные моменты логики

Level of difficultyMedium
Reading time8 min
Views3.7K

В этой статье заострим внимание на самых неочевидных моментах логики Uniswap v3

Структура этой статьи

Вспоминаем основы математики Uniswap v3

Как работают кросс-тик свопы (свопы, при которых изменяются ценовые "тики")

Как использовать совокупную ликвидность от разных LP-позиций лучше чем за O(n)? И как это связано с тиками?

Допустим, у пуле открыто 1 миллиард разных Uniswap V3 LP-позиций. Как будет выглядеть суммарный график y(x) по всему ценовому пространству?

Доказать, что суммарный график y(x) будет непрерывно-дифференцируемой функцией

Читать далее

Native Sparse Attention: новый вид разреженного внимания от DeepSeek

Level of difficultyMedium
Reading time18 min
Views2K

Когда Маск выпустил Grok 3, а Сэм Альтман все еще колебался, стоит ли открывать исходный код, Лян Вэньфэн, как соавтор, работал с исследовательской группой DeepSeek над созданием шокирующей и сенсационной исследовательской статьи. DeepSeek официально представила свой последний научный прорыв — Native Sparse Attention (NSA)! Эта технология имеет большое значение. Она, скорее всего, значительно повысит способность следующего поколения больших языковых моделей обрабатывать длинные тексты, полностью учитывая при этом операционную эффективность. Нет сомнений, что это еще одна веха в области больших языковых моделей (LLM)!

Читать далее

Ликвидность на рынках: что это такое и почему это будет важно всегда

Reading time11 min
Views4.3K

‍Ликвидность – одно из ключевых понятий в финансах и трейдинге. Это мера того, насколько насколько быстро один актив можно обменять на другой. Например, новые смартфоны или автомобили ликвидны – их охотно покупают и продают. Можно легко найти и купить новый смартфон или продать свой. Старые кнопочные телефоны и “древние” автомобили низколиквидны – найти и купить их проблематично, как и продать. Как правило, неликвидность потребительских товаров оправдана отсутствием необходимости в них (когда вещь объективно устаревает) или редкостью, что прибавляет ей ценности.

Читать далее

Deep Learning в иллюстрациях: Рекуррентные нейронные сети

Level of difficultyEasy
Reading time14 min
Views9.6K

Рад приветствовать вас в очередной части нашего иллюстрированного погружения в Deep Learning! Сегодня мы будем разбираться в рекуррентных нейронных сетях. Мы будем обсуждать уже хорошо знакомые нам понятия, такие как входы, выходы и функции активации, но с неожиданным сюжетным поворотом.

Читать далее

Game++. Building arcs

Level of difficultyEasy
Reading time24 min
Views5.9K

Прежде чем рассказать про архитектуры игровых движков, я подумал, что будет полезно немного рассказать о том, как я понимаю архитектуру ПО и как это связано с играми. Во-первых, они (архитектуры) есть, чтобы бы там не врали про игрострой. Во-вторых, их оказывается больше одной. Это, возможно, поможет вам понять, почему остальные статьи написаны в таком порядке, или без какого-то порядка. В худшем случае, когда вас втянут в спор о том, насколько отвратительны (или, наоборот, потрясающе гениальны) отдельные игровые движки и их архитектуры, у вас будет пара аргументов и понимание что к чему.

Символично, что статья про архитектуру игрового движка появилась после того, как было рассказано про строки, мультипоток, применение алгоритмов: просто оно так и в жизни получается, мы сначала пишем код, редактор, игру - костяк проекта обрастает мясом, и тут нас догоняют проблемы, на которые все забивали, потому что надо было выдать хоть что-то похожее на работающий вариант. Но от того, что мы забивали на проблемы и заметали их под коврик беклога, проблемами быть они не перестали.

Вы не получите из статьи знаний об аллокаторах, контейнерах, или математике, стоящей за физикой игры. Так-же я не ставлю целью научить вас, как применять A* разбиение в поиске пути неписей или моделировать реверберацию комнаты. Вместо этого есть размышления о коде между всем этим. И даже не столько про написание кода, сколько о его организации.

Читать далее

Жизнь и творчество режиссёра Джеймса Кэмерона — Часть 1. Не самый лучший сиквел в истории

Level of difficultyEasy
Reading time20 min
Views8.7K

Если и есть режиссёр на планете, который обрёл культовый статус ещё при жизни и которого с лёгкостью можно назвать визионером и классиком современности, то это Джеймс Кэмерон. Канадский постановщик, за плечами которого, казалось бы, всего лишь восемь полнометражных фильмов, смог прочно вписать своё творчество в мировую культуру.

Летающие рыбы-убийцы и не только

Centrifugo v6 + FastAPI + Python: разрабатываем веб-опросник с обновлениями в реальном времени

Reading time28 min
Views6.2K

В прошлой статье я показал, как создать мини-чат с комнатами на FastAPI и WebSockets. Но что, если есть более мощное и удобное решение для Real-time? В этот раз разберем Centrifugo – технологию, которая берет на себя всю работу с WebSockets и масштабированием!

В статье мы разберем теорию, а затем на практике разработаем веб-приложение-опросник, где результаты обновляются в реальном времени без перезагрузки страницы. А в финале – деплой на Amvera Cloud.

Готовы прокачать свои навыки? Тогда вперед!

Читать далее

Сколько времени нужно, чтобы выучить английский?

Level of difficultyEasy
Reading time4 min
Views20K

Ученые из Кембриджа, которые изучают преподавание английского как иностранного по всему миру, обобщили исследования и реальный опыт учителей и нарисовали табличку, от которой мы можем отталкиваться в своих расчетах. Дальше в статье я расскажу о том, что означают эти цифры и какие нюансы нужно учитывать.

Читать далее

Настольные игры по мотивам видеоигр и наоборот

Reading time6 min
Views2.1K

С каждым годом по какому-либо произведению, будь то кино, книги или всеми нами любимые видеоигры, создают настолки. Оно и немудрено, ни один фанат не откажется от возможности еще раз погрузиться в тот самый мир и открыть для себя новые аспекты его лора. При этом такой вид развлечения способствует живому взаимодействию и общению, развивает логику и улучшает навыки сторителлинга. Этакий «аналоговый мультиплеер» в знакомом сеттинге. И когда глаза уже устают от монитора, поиграть в настольную игру по любимому тайтлу — отличная идея. 

Сами настолки и видеоигры всегда стояли где-то рядом, заслуженно считаясь любимыми увлечениями истинных гиков. Чего только стоят ролевки, с которых начинали многие известные разработчики. Например, главный дизайнер студии Telltale Games Дэйв Гроссман сделал настолку, которую пришлось размещать на двух этажах его отчего дома. А Джош Джей из Epic Games превращал газетные кроссворды в карты для Dungeons & Dragons. 

В этой статье предлагаю рассмотреть настольные игры, имеющие прямую связь с видеоиграми.

Читать далее

Вебаппки Телеграма пишутся проще ботов, показываю (20 минут на развёртывание)

Reading time11 min
Views22K
image

Как только мы позвали вас, хабраюзеров, в бету ковырять наши контейнеры, выяснилось, что вам они очень часто нужны для телеграм-ботов и телеграмных же вебаппов. Потому что контейнер — идеальное размещение для такого: не надо много ресурсов, а нужно, чтобы бот висел и иногда отвечал на запросы, но при этом был готов выдерживать очень большое число запросов, если нам повезёт и он завирусится. Сам бэк тарифицируется по фактическому потреблению, то есть вполне спокойно это могут быть и 100 рублей в месяц за сервер с 2 vCPU и 4 Gb оперативки.

Показываю, как это происходит, и в конце сразу приложу готовый шаблон webapp для Телеграма, который можно почти бесплатно запустить за пару минут.

На всякий случай напомню, что мы строим контейнерный хостинг, поэтому такое его применение кажется нам интересным кейсом, а главное, даёт преимущества которых невозможно найти у других. Сам кейс является начальным уровнем того, на что способна платформа.

Начну с того, что в Телеграме можно сделать webapp-приложение. По сути, это вебвьюха встроенная в мессенджер. Весь интерфейс можно делать точно так же, как на веб-фронте, на любом фреймворке (react, angular, vue…), то есть не ограничиваясь возможностями клиента. А главное, можно юзать API телефона и использовать авторизацию Телеграма.
Читать дальше →

После прочтения сжечь. Или алгоритмы обработки данных вслепую (oblivious)

Level of difficultyMedium
Reading time10 min
Views2K

То есть:

Привет, Хабр! Я – Петр, эксперт по ML/AI (и не только) в Skillbox (и не только), а ещё – CEO межбанковской скоринговой платформы Bloomtech. Так уж вышло, что я неплохо разбираюсь в разных PET (Privacy-Enhancing Technologies) и уже писал на хабре про совместные конфиденциальные вычисления. Сегодня повышаю градус и рассказываю про магию следующего порядка: слепую (забывчивую) передачу или oblivious transfer. Как обычно, на примере.    

Вообразите, что уже знакомая нам Алиса поддерживает большой, более или менее регулярно обновляемый телефонный справочник и решает это дело монетизировать. Например, сделать сервис-определитель номеров.  Архитектура напрашивается такая:

Читать далее

От ACS до Altair: появление компьютеров для хобби

Level of difficultyEasy
Reading time19 min
Views1.7K

В течение десятилетий на рубеже двадцатого века неоднократно повторялась определённая схема развития технологий: разрозненное сообщество любителей, возившихся с новой идеей, развивает её до такой степени, что эти любители получают возможность продавать её как конечный продукт. Это приводит к появлению множества мелких предпринимательских фирм, конкурирующих за право продавать товар другим любителям и ранним последователям. Наконец, несколько фирм вырастают до такой степени, что могут снизить затраты за счёт эффекта масштаба и вытеснить из бизнеса своих мелких конкурентов. Велосипеды, автомобили, самолёты и радиовещание — все они развивались примерно таким образом.

Персональный компьютер развивался по той же схеме; более того, он стал последним случаем, когда «высокотехнологичное» оборудование появилось в результате подобной разработки на волне нового хобби. С тех пор новые аппаратные технологии, как правило, зависят от новых микрочипов. Это слишком высокий денежный барьер вхождения для любителей, но, как мы видели, компьютерным любителям повезло заполучить готовые микрочипы, созданные по другим причинам, но уже подходящие для их целей.

Читать далее

У VLIW длиннее x86: Itanium в шаге от величества, Эльбрус — подержите моё пиво, тайны PS2

Level of difficultyMedium
Reading time24 min
Views8.6K

Разбираем архитектуру VLIW (Very Long Instruction Word). Поговорим о предтечах, погрузимся в дух 1980-1990-х, узнаем, как Itanium стал Itanic’ом, как архитектура жила, живёт и будет жить. Ах да, будет про Эльбрус и даже PlayStation 2.

Осторожно: текст большой, интересный и может заставить вас пересмотреть взгляды на процессорные архитектуры.

Дропдаун

Стиральная машина позволила мне иначе взглянуть на сроки разработки ПО

Level of difficultyMedium
Reading time5 min
Views32K
Моя недавняя эпопея со стиральной машиной напомнила мне, почему одна из самых страшных и ненавидимых задач в разработке ПО начинается с вопроса:

«Сколько времени вам на это потребуется?»

Привычность этого бытового прибора внушила мне ложное чувство безопасности
Читать дальше →

Information

Rating
Does not participate
Location
Киев, Киевская обл., Украина
Date of birth
Registered
Activity