Только сегодня случайно наткнулся на забавный тред в «Твитере», где американцы жалуются, что эти «Хромбуки» и «Айпэды» приходится закупать каждый год заново за счёт локального бюджета, потому что школьники их постоянно ломают или даже проводят челленджи в «Тик-токе», как замкнуть батарею. При этом дети тупее и тупее, несмотря на все цифровые доски.
Попробуй этого телеграм-бота — внутри ChatGPT, Gemini, Grok и DeepSeek, бесплатно. Дай одинаковый запрос разным моделям и посмотри, как по-разному они выстраивают ответ. Например, спроси что-нибудь неоднозначное — «докажи, что 0.999... = 1» или «объясни парадокс Ферми». Разница в подходах хорошо показывает, что у каждой модели свой «характер» — сформированный архитектурой, данными и настройкой.
Какая там может быть разница, если у вас внутри одна и та же глупенькая Llama, которая часто не может дописать ответ? В вашем боте этого ассортимента проприетарных моделей попросту нет.
Вы уже третью сгенерированную статью с рекламой этого бота опубликовали. Зачем вы вводите людей в заблуждение? Кто-то ведь действительно может подумать, что современные флагманские большие языковые модели вот так отвечают.
Зачем вы на Хабре публикуете писанину больших языковых моделей? Тут ведь абсолютно явно писала языковая модель, мне даже никакой детектор не нужен.
Весь текст кишит «это не X, это Y» и прочими характерно разбитыми на два предложения противопоставлениями:
Токен — это не слово и не буква. Это статистически удобная единица текста.
Это не ошибка реализации, это цена за способность к обобщению.
LLM — не поисковик, не база данных и не цифровой человек. Это статистическая машина
Модель не выдаёт следующее слово. Она выдаёт распределение вероятностей
Важно: эмбеддинги не прописываются вручную. Они получаются автоматически в процессе обучения
Понимать устройство этой машины полезно не чтобы разрушить магию. А чтобы знать, где она работает идеально, где её легко сломать
Ненужные кавычки, которые языковые модели так любят расставлять при малейшем оттенке переносного смысла:
контекстное окно «съедается» быстрее
Модель сама «выясняет», что кошки и собаки похожи
Таких «голов» внимания в современных моделях несколько десятков.
Temperature управляет «резкостью» распределения.
Отсюда и «творческий режим», и галлюцинации.
При top-p = 0.9 модель рассматривает только «ядро» наиболее вероятных токенов
Модель не может «передумать»
у каждой модели свой «характер»
К верхнему слою каждый токен уже «знает» о себе всё, что можно было извлечь из контекста.
Никакой «памяти» в человеческом смысле нет.
Всё её «знание» о кошках — это статистика соседства токенов.
Если начинать вчитываться, то в плане смысла всё максимально упрощено и опять же вводит в заблуждение. К примеру:
Алгоритм BPE (Byte Pair Encoding) смотрит на огромный корпус текста и объединяет самые частые пары символов в один токен. Получается словарь из 50–100 тысяч токенов.
А токенизатор o200k_base? В нём возможно 200 019 токенов. Это токенизатор GPT-4o, o1, o3, o4-mini и многих других моделей, включая, насколько помню, «пятёрку» или вообще всё семейство пятых моделей ChatGPT. То есть в текущем его виде токенизатор куда крупнее.
Top-p ограничивает выбор только токенами, суммарная вероятность которых не превышает p.
А тут вообще может быть ошибка. Насколько я понимаю, собирается минимальный набор из наиболее вероятных токенов, чья суммарная вероятность достигает или превышает порог p.
Галлюцинации — обратная сторона интеллекта
Слишком самоуверенное утверждение. Причины для галлюцинаций называют разные, включая особенности обучения и оценочные стимулы, которые поощряли угадывание вместо признания неопределённости ответа. То есть хотя бы частично галлюцинации вполне можно устранить, это не какой-то неизводимый дефект.
Числа, которых в крупных моделях более триллиона
Размер флагманских моделей может измеряться сотнями миллиардов параметров, и что-то конкретное про проприетарные БЯМ сказать невозможно, поскольку это всё предмет коммерческой тайны.
«Память» ChatGPT — это просто очень длинный текстовый файл, который растёт с каждым сообщением и в какой-то момент упирается в лимит контекстного окна.
В веб-морде уже давно есть память, то есть подсовываемые в контекст сведения о пользователе; также иногда ИИ имеет доступ к другим чатам и может по ним что-нибудь поискать.
Вообще, все эти поверхностные обсуждения базовых основ несколько невовремя, поскольку сейчас уже давно идёт общение с агентами, которые к тому же самостоятельно сжимают свой контекст.
Большинство людей представляют языковую модель как умную базу данных: спросил — она нашла ответ и выдала. Это не так.
Нет, именно это обычно и происходит. Лично я привык пользоваться ChatGPT как интернет-поисковиком. К примеру:
Знания самой модели меня при этом не интересуют. Думаю, я не один такой.
Даже обычный чат на ChatGPT.com связан с вызовом инструментов поиска по Интернету, написания кода или генерирования изображений. Здесь же перечисляется поверхностная и устаревшая информация про базовое общение с БЯМ, чем уже года два никто не занимается.
Кстати, там очень плохо с фичами и сроками. К примеру, календарь существует только в виде веб-версии, его синхронизировать невозможно. Вместо того, чтобы добавить синхронизацию через тот же Proton Mail Bridge, компания наделала несколько новых продуктов, от менеджера паролей и видеозвонков до криптокошелька и ИИ-чата на какой-то слабенькой неинтересной языковой модели. В реальности хотелось бы видеть VLESS на ProtonVPN и приложения Drive для Linux, а не вот это всё.
С приватностью тоже странности. Proton AG обещает не раскрывать данные зарубежным государствам, только местным органам правопорядка Швейцарии. То есть если попросят через швейцарцев, всё будет предоставлено, как это уже случилось с аккаунтом Stop Cop City по просьбе ФБР или сбором логов французского активиста. Вот показушно отказать российским органам помогать ловить телефонных террористов — это всегда пожалуйста.
Гонор про приватность на рубль, а реального удобства и защищённости на две копейки.
Это новость для тех, кто пользуется zcash и в целом хотя бы немного в теме криптовалют. Вам видимо оно не нужно.
А я считаю, что вы литературный импотент, который не может двух слов вместе связать, не наделав ошибок в пунктуации. Именно поэтому вы не можете самостоятельно написать короткую новостную заметку (вместо этого вы скормили нейросети пресс-релиз), а когда от вас просят побольше подробностей, вы начинаете огрызаться и обзывать собеседника профаном.
shielded-пуле Orchard
shielded-пул Zcash
В русскоязычной литературе эти вещи называются «экранированный пул». Вы точно «в теме криптовалют»?
Orchard-транзакций
Так пишут только дешёвые языковые модели. Внятно и понятно: «транзакций в пуле Orchard».
криптопроект нашел баг в production
Ненужный англицизм, как это любят делать нейросети.
Никаких попыток "замолчать"
Ненужные кавычки. То же.
Следим за обновлениями. Деньги целы. Приватность не нарушена. Все под контролем.
Это просто ужасно и немедленно отдаёт языковой моделью.
Штайнбергер тратит токенов на 1,3 миллиона долларов в месяц. У него всё оптимизировано в край, но в его команде всего пять человек. Нет ничего удивительного, что десятки тысяч человек могут потратить токенов на полмиллиарда.
А тут изменилось мало чего со временем и следующим за ним ростом числа параметров в модели. Ну как, стало получше, но проблема остаётся (doi:10.18653/v1/2025.findings-emnlp.1391).
Avoid tidy three beat lists made from repeated sentence openings, such as "It will X. It will Y. It will Z."
Далее по тексту:
Откажитесь от первого гладкого черновика. Откажитесь от аккуратной концовки. Откажитесь от предложения, которое подошло бы к любой статье на эту тему.
Да и до этого:
Держите его в роли клерка. Держите его в роли критика. Не используйте его как человека, чье имя стоит под статьей.
Почему заголовок призывает не использовать большие языковые модели для текстов, а весь текст выглядит так, будто его писала БЯМ? Это такой юмор?
Вы написали, по сути, руководство по промптингу. При этом допустили очень простую и очевидную ошибку: языковые модели слово «не» понимают плохо, этот тип промптов часто ломается (arXiv:2209.12711).
Ну и вообще очень странный набор инструкций:
Prefer short sentences, common words, and clear statements over layered phrasing.
В результате весь текст читается как набор газетных заголовков.
Такой файл полезнее, чем просьба «писать моим голосом». У большинства людей нет одного устойчивого голоса. У них есть привычки, темы, суждения, влияния и неприязни.
Почему? Написано руководство по промптингу, но именно здесь просится in-context learning: было б неплохо показать модели образец своего письма и попросить писать в том же стиле и темпе.
держать на коротком тикете
Что такое «короткий тикет»? Выглядит как изобретённая языковой моделью метафора.
В общем-то, мне и никакого детектора не нужно. Текст просто набит характерным темпом и стилем языковых моделей. Видеть такое как текст от человека неприятно.
Ваш изначальный довод был о том, что если никто не верит и не бежит шортить уже сейчас, то чего-то боится. Я вам объяснил, что сейчас зашортить компанию практически невозможно или хотя бы крайне трудно.
Шортить через месяц после первичного публичного размещения — тоже странная идея, поскольку к тому времени акции компании могут уже успеть попасть в индекс Nasdaq-100. Ну то есть появится механическое давление от индекс-трекеров.
in May 2026, we entered into Cloud Services Agreements with Anthropic PBC (“Anthropic”), an AI research and development public benefit corporation, with respect to access to compute capacity across COLOSSUS and COLOSSUS II […]
Какие-то непонятные фантазии о синтетическом шортинге, которые не учитывают разнообразные ограничения не торгующихся публично компаний вида правила 144. В теории какой-нибудь хедж-фонд может подобное провернуть, но не ритейловый инвестор.
В 2024 году это всего 9,3 миллиарда долларов, и лишь две трети от этой суммы приходились на США. Вообще, даже изготовление спутников на фоне остальной индустрии выглядит не такой крупной историей.
Даже в виде службы космического таксомотора компания может жить припеваючи. Просто это не оценка в 1,75 триллиона долларов, которая, опять же, обоснована исключительно захватом рынка ИИ (где сейчас «Грок» флагманом не считается) и доведением до ума «Старшипа» со всеми его научно-фантастическими применениями.
Есть вторая стратегия - продавать compute.
Сдавать в аренду вычислительную мощность прямым конкурентам — тоже не 1,75 триллиона долларов капитализации.
Почему вы вообще немедленно рассматриваете сценарии, где «Спейс-экс» теряет все позиции и судорожно спасается от банкротства закрытием новых разработок? Это вот такими сценариями нужно привлекать биржевых инвесторов?
Тогда мне не понятен алармистский тон в стиле "шеф, всё пропало".
Это буквально разбор заявки на IPO и проблем в ней. Если говорить об эмоциях, то тон видеоролика содержит разве что сухой юмор, но не алармизм.
Если же Бойль предупреждает о каких-то рисках для общества в целом, то соображения вполне обоснованные. Пожалуйста, перечитайте раздел про ускоренное включение в биржевой индекс Nasdaq-100.
Это открывает большой простор для сценариев по спасению бизнеса примерно в любой плохой ситуации.
Никакого простора там нет и быть не может. Эти 930 миллионов долларов на исследования и разработки вычеркнуть ни в коем случае нельзя, потому что это разработка «Старшипа». Того самого «Старшипа», который должен быть многоразовым и обеспечить буквально всё на свете, от полётов на Луну и Марс до следующего поколения «Старлинка» и дата-центров в космосе. Всё это первичное публичное размещение завязано на обещание, что «Старшип» будет создан.
Для ракетной компании или компании спутниковой связи убрать расходы на исследования нельзя по определению. Для компании искусственного интеллекта — уж тем более.
Кстати, о каком «спасении» компании и какой «плохой ситуации» идёт речь? Вообще-то дела идут неплохо — вон, рекордная оценка капитализации при выходе на биржу. Нет никаких причин обсуждать сценарии, где НИОКР можно вычеркнуть.
Без R&D убыточен только аи, и то не сильно.
Как можно убрать расходы на НИОКР для ИИ? Модели постоянно улучшаются, старые никому не нужны уже через полгода.
В 2025 году у сегмента искусственного интеллекта 3,201 миллиарда долларов выручки и −6,355 миллиарда долларов adjusted EBITDA. Это почти 200 % от выручки. Это «не сильно»?
Нужно смотреть какой-нибудь более детальный разбор отчётности, эта статья ни о чём.
Вы уже прочитали перевод видеоролика, где Патрик Бойль, ирландский экономист, профессор с опытом управления хедж-фондом и бывший инвестиционный банкир, сделал вам детальный разбор отчётности.
Классическая история о том что 9 стартапов лопаются но 10й приносит прибыль окупающий убытки первых 9.
Логика поражает: я привожу пример стартапа с резко завышенной капитализацией и невнятной бизнес-моделью, который ожидаемо схлопнулся, а вы мне рассказываете про некий умозрительный (где он, кстати?) десятый стартап, который якобы взлетел и оправдал многомиллиардные потери на девяти других. Ну окей.
Суть спора именно в наличии вымышленной экономики и реальных предприятий. Сравнивать сеть коворкингов и крупнейшего поставщика энергии в Европе на основе какой-то там капитализации некорректно. Неверно утверждать, что голые числа что-то показывают, и тому есть наглядный пример.
И вы там же продолжаете неправильные сравнения. Проблемы «Газпрома» связаны с форс-мажорными обстоятельствами, а не просто неверно выстроенной структурой компании. «Уиуорк» обанкротился без войны, просто так. (Только не упоминайте ковид: на банкротство компания подала куда позже пандемии).
Сейчас, когда нейросети уже пишут тексты, помогают с кодом и будто бы думают рядом с нами, мне стало интересно: а каким был интернет в начале этой дороги?
Ну для начала надо сказать, что статьи на Хабре в том Интернете писали люди, а не большие языковые модели.
интернет в моей жизни появился, кажется, раньше, чем я успела осознать, что он вообще когда-то мог «появиться»
Интернет 2010 года оказался для меня не «старым».
интернет уже перестал быть игрушкой для гиков и инструментом «для срочных задач»
Избыточные кавычки. Вообще, БЯМ, насколько я заметил, обожают заключать слова в кавычки при малейшем оттенке переносного смысла или указания на особый смысл. Видимо, обучали их на художественных литературных текстах, а в Интернете мы пишем на примеси разговорного русского языка с упором на публицистический стиль.
сеть нужна не «посмотреть что-то вечером», а почти для всего
Форум был не просто «обсуждением под постом».
Тоже очень типичный приём, что я замечал: структура в кавычках превращается в что-то типа члена предложения, к которому возможно присобачить «не».
Так это был «прайм» интернета?
Если под «праймом» понимать лучший интернет, я бы не спешила.
Но если под «праймом» понимать момент максимального ощущения открытости
Но «responsive» еще не был обязательной гигиеной.
В 2010 году фильтры уже существовали, но они еще не настолько разрезали культурное поле на персональные капсулы.
Интернет 2010 года еще был местом исследования.
Просто англицизмы и заимствования оборотов на уровне калькирования. Впечатление такое, будто переводили с английского языка, хотя текст изначально писался по-русски.
Это не «старый интернет» в смысле мертвой эпохи. Это момент, когда уже почти все элементы нашего сегодняшнего цифрового мира были на столе
Форум был не просто «обсуждением под постом». Это был маленький город
«Это не X, это Y».
2010-й: не прошлое, а порог
Иногда сайт встречал пользователя не контентом, а заставкой.
воспринималось не как фон жизни, а как заметное улучшение
Мы движемся внутри больших платформ, а не между множеством отдельных мест.
Не потому что они были идеально сделаны, а потому что у них был собственный контур.
Иногда кнопки были там, где дизайнеру показалось художественно, а не там, где их можно найти.
HD-видео уже было рядом, но воспринималось не как фон жизни, а как заметное улучшение.
«ВКонтакте» и «Одноклассники» были не просто соцсетями, а местами, куда массово перетекало общение.
почувствовать, что нашел не контент, а кусок чужой цифровой жизни.
за следующим кликом может быть не рекомендация алгоритма, а настоящая находка.
Очень многое построено на этих противопоставлениях «не X, а Y». Мне напомнило наклейки «Студии Артемия Лебедева».
Это еще не сегодняшняя почти обязательная цифровая среда, но уже и не нишевая история.
Не обязательно более добрый или умный, не будем романтизировать. Но там было больше ощущения, что человек собирает себе маршрут сам
HD-видео уже было рядом, но воспринималось не как фон жизни
Twitter тогда еще не выглядел как бесконечный политический ринг в чистом виде, но уже становился глобальным новостным нервом.
ему становится важна не только техническая, но и языковая идентичность.
интернет становился не только местом общения, но и интерфейсом государства.
«Не X, но Y». Кстати, в тексте на 2 тысячи слов 30 штук «но» и ни одного «однако».
2010-й: не прошлое, а порог
Как выглядел веб: тени, текстуры, Flash и очень много всего
Соцсети: момент, когда они стали инфраструктурой
Рунет взрослеет: домены, госуслуги, коммерция
Кухня разработчика: jQuery, PHP, Flash и первые признаки будущего
Схожая структура подзагов.
терпение тогда было частью пользовательского интерфейса
Не все дороги вели в одну ленту.
Лента перестает быть просто списком обновлений друзей. Она становится способом читать мир.
Twitter тогда еще не выглядел как бесконечный политический ринг в чистом виде, но уже становился глобальным новостным нервом.
Избыток метафор делает текст более нечеловеческим.
Уже понятно, что соцсети побеждают, но еще не до конца понятно, что они заберут с собой почти все.
Android уже не эксперимент, но еще не та повсеместная платформа, которой он станет позже.
Python уже набирал вес, но еще не стал языком, который вспоминают первым при разговоре про ИИ, автоматизацию и data science.
Очень многое из сегодняшнего интернета тогда уже было посеяно, но еще не стало неизбежным.
«Уже X, но ещё не Y».
Большая языковая модель не имеет мнений и вкусов. Вывод выглядит связным, но на самом деле смысла не несёт:
к 2010 году у него уже были соцсети, видеоплатформы, мобильные приложения, госуслуги, глобальные скандалы, рекламные рынки и свои языковые домены. А я, по сравнению с ним, видимо, в каждом классе оставалась на второй год.
Вы отставали в развитии, что ли? Как можно сравнивать психологический рост ребёнка и развитие цифровых технологий в глобальной вычислительной сети? Что это за странное изречение — «в каждом классе на второй год»? Вы в 23 года школу закончили?
момент, когда уже почти все элементы нашего сегодняшнего цифрового мира были на столе
Каком ещё столе?
Тогда интернет был менее гладким, менее удобным и менее взрослым.
Интернет именно был взрослее. В ту эпоху он был в первую очередь заточен на десктопы. Именно после 2010 начался бум смартфонов, после чего в Сеть хлынул поток обывателей и детей. В следующие несколько лет Интернет окончательно растерял ауру сходки компьютерных энтузиастов и перерос в место для обычных людей.
Когда-то было неприлично заявлять, что тебе нет 18 лет, тебя за это чмырили. Сегодня дети об этом совершенно спокойно говорят. Когда-то на «Реддите» был целый подреддит, где собирали эротические фотографии детей, и существование этого сообщества защищала сама администрация сайта; а сейчас банят просто за пожелание смерти. Когда-то встречаться с человеком из Интернета было опасно, а сегодня это просто средство связи. Ну и список можно продолжать.
Зато в нем оставалось больше ощущения, что за следующим кликом может быть не рекомендация алгоритма, а настоящая находка.
Рекомендательные сервисы был и тогда, те же «Реддит» и «Дигг», разве что видимость контента определяли голоса. При этом даже сейчас никто не мешает бродить по Интернету самостоятельно. Вы вообще на Хабре находитесь, здесь тоже есть только голоса пользователей, но не рекомендательные алгоритмы. Откуда этот вывод вообще берётся?
Ну и самое главное:
Но недавно я открыла веб-архивы примерно 2010 года и залипла.
Хотя дизайн и архивы обсуждаются, в статье нет ни одного скриншота и ссылки. На что залипали?
Привет из 2026 года. Как дела с «Уиуорком»? Потому как капитализация обвалилась на 98 % до 750 миллионов долларов, Адама Нойманна выгнали, а компания не смогла выйти в плюс и объявила себя банкротом. Тем временем «Газпром» в прошлом году принёс 1,3 триллиона рублей.
все крупные ИИ ориентированные компании работают в этом направлении.
Они все на уровне стартапов или исключительно научных экспериментов, существующих в стадии вдохновляющих пресс-релизов. К примеру, «Гугль» обещает в рамках опыта запустить два ускорителя (сотни ватт) на спутнике в 2027 году. Это не мешает описывать мечты про 81 спутник на 28 киловатт каждый в препринте на эту тему (arXiv:2511.19468). «Санрайз» тоже выглядит чисто бумажным запуском, желанием застолбить разрешения от регуляторов, и против него уже взбунтовалось НАСА.
Все эти потуги выглядят откровенно смешно, поскольку подобные дата-центры опираются на несуществующие и неиспытанные на данный момент технологии (запуски за сотни долларов за килограмм, устойчивые к радиации чипы передовых техпроцессов, высокопроизводительные необслуживаемые системы охлаждения) и даже в этих вымышленных реалиях будут заведомо дороже земных, как это показывают расчёты. И вообще, конкретные лидеры отрасли ИИ («Оупен-Эй-Ай» и «Антропик») глубоко убыточны. Искусственный интеллект даже для земных ЦОДов часто слишком до́рог.
Но про них скромно умалчивают.
Потому что их нет. «Старклауд» запустил один спутник с двумя H100, «Аксиом Спейс» — десяток мелких с 40 модулями Jetson Orin. Компьютеры в последнем случае подходят разве что для так называемого edge inference, а не разворачивания дата-центра в космосе. «Старклауд» для обучения и инференса больших языковых моделей подходит, поэтому у Бойля упомянут.
Всё остальное существует исключительно в виде копошения на Земле.
При чем это не просто заявления типа "мы тоже хотим" активно вкладываются средства
Тоже смешной довод: можно наприводить огромное число предприятий, куда вкладывались безумно крупные суммы денег. Вообще, весь безграмотный комментарий сводится к «ну там не дураки же сидят».
Может просто они там считают и понимают немного больше чем писаки на Хабре??
Почему вы позволяете себе писать гадости про других людей в комментариях под публикациями, которые вы даже не читаете?
Ну ладно, не читаете. Вы хотя бы можете различать переводы? У всех публикаций категории «Перевод» всегда понятные пометки. Также об этом можно было догадаться по характерным признакам уровня названия раздела «Примечания переводчика». Вообще-то это перевод видеоэссе Патрика Бойля, ирландского экономиста, бывшего инвестиционного банкира и профессора с опытом управления хедж-фондом. Вы не считаете, что к его мнению в вопросах первичного размещения на бирже нужно прислушиваться?
Примчался фан-клуб Илона Маска, который ничего не читает и никаких продуктивных дискуссий не генерирует. Обсуждения экономических реалий я так ни от кого и не увидел. Никто не опроверг утверждение, что миллиард абонентов «Старлинка» невозможен, никто не попытался поспорить про регулирование фондовых индексов. Видимо, о подобном думать не хочется, пусть я и наделал сносок с пояснениями терминов. Пока что только повторение рекламных заявлений про реализацию любой на свете научной фантастики.
Ну слава богу. Надеюсь, школьники теперь будут сидеть там, а не в комментах на Хабре.
Только сегодня случайно наткнулся на забавный тред в «Твитере», где американцы жалуются, что эти «Хромбуки» и «Айпэды» приходится закупать каждый год заново за счёт локального бюджета, потому что школьники их постоянно ломают или даже проводят челленджи в «Тик-токе», как замкнуть батарею. При этом дети тупее и тупее, несмотря на все цифровые доски.
Какая там может быть разница, если у вас внутри одна и та же глупенькая Llama, которая часто не может дописать ответ? В вашем боте этого ассортимента проприетарных моделей попросту нет.
Вы уже третью сгенерированную статью с рекламой этого бота опубликовали. Зачем вы вводите людей в заблуждение? Кто-то ведь действительно может подумать, что современные флагманские большие языковые модели вот так отвечают.
Зачем вы на Хабре публикуете писанину больших языковых моделей? Тут ведь абсолютно явно писала языковая модель, мне даже никакой детектор не нужен.
Весь текст кишит «это не X, это Y» и прочими характерно разбитыми на два предложения противопоставлениями:
Ненужные кавычки, которые языковые модели так любят расставлять при малейшем оттенке переносного смысла:
Если начинать вчитываться, то в плане смысла всё максимально упрощено и опять же вводит в заблуждение. К примеру:
А токенизатор
o200k_base? В нём возможно 200 019 токенов. Это токенизатор GPT-4o, o1, o3, o4-mini и многих других моделей, включая, насколько помню, «пятёрку» или вообще всё семейство пятых моделей ChatGPT. То есть в текущем его виде токенизатор куда крупнее.А тут вообще может быть ошибка. Насколько я понимаю, собирается минимальный набор из наиболее вероятных токенов, чья суммарная вероятность достигает или превышает порог p.
Слишком самоуверенное утверждение. Причины для галлюцинаций называют разные, включая особенности обучения и оценочные стимулы, которые поощряли угадывание вместо признания неопределённости ответа. То есть хотя бы частично галлюцинации вполне можно устранить, это не какой-то неизводимый дефект.
Размер флагманских моделей может измеряться сотнями миллиардов параметров, и что-то конкретное про проприетарные БЯМ сказать невозможно, поскольку это всё предмет коммерческой тайны.
В веб-морде уже давно есть память, то есть подсовываемые в контекст сведения о пользователе; также иногда ИИ имеет доступ к другим чатам и может по ним что-нибудь поискать.
Вообще, все эти поверхностные обсуждения базовых основ несколько невовремя, поскольку сейчас уже давно идёт общение с агентами, которые к тому же самостоятельно сжимают свой контекст.
Нет, именно это обычно и происходит. Лично я привык пользоваться ChatGPT как интернет-поисковиком. К примеру:
Знания самой модели меня при этом не интересуют. Думаю, я не один такой.
Даже обычный чат на ChatGPT.com связан с вызовом инструментов поиска по Интернету, написания кода или генерирования изображений. Здесь же перечисляется поверхностная и устаревшая информация про базовое общение с БЯМ, чем уже года два никто не занимается.
Кстати, там очень плохо с фичами и сроками. К примеру, календарь существует только в виде веб-версии, его синхронизировать невозможно. Вместо того, чтобы добавить синхронизацию через тот же Proton Mail Bridge, компания наделала несколько новых продуктов, от менеджера паролей и видеозвонков до криптокошелька и ИИ-чата на какой-то слабенькой неинтересной языковой модели. В реальности хотелось бы видеть VLESS на ProtonVPN и приложения Drive для Linux, а не вот это всё.
С приватностью тоже странности. Proton AG обещает не раскрывать данные зарубежным государствам, только местным органам правопорядка Швейцарии. То есть если попросят через швейцарцев, всё будет предоставлено, как это уже случилось с аккаунтом Stop Cop City по просьбе ФБР или сбором логов французского активиста. Вот показушно отказать российским органам помогать ловить телефонных террористов — это всегда пожалуйста.
Гонор про приватность на рубль, а реального удобства и защищённости на две копейки.
Потому вы на российские ящики отправить с «Протона» не сможете. Иногда ещё и невозможно получить письма.
А я считаю, что вы литературный импотент, который не может двух слов вместе связать, не наделав ошибок в пунктуации. Именно поэтому вы не можете самостоятельно написать короткую новостную заметку (вместо этого вы скормили нейросети пресс-релиз), а когда от вас просят побольше подробностей, вы начинаете огрызаться и обзывать собеседника профаном.
В русскоязычной литературе эти вещи называются «экранированный пул». Вы точно «в теме криптовалют»?
Так пишут только дешёвые языковые модели. Внятно и понятно: «транзакций в пуле Orchard».
Ненужный англицизм, как это любят делать нейросети.
Ненужные кавычки. То же.
Это просто ужасно и немедленно отдаёт языковой моделью.
Да и так всё понятно.
Штайнбергер тратит токенов на 1,3 миллиона долларов в месяц. У него всё оптимизировано в край, но в его команде всего пять человек. Нет ничего удивительного, что десятки тысяч человек могут потратить токенов на полмиллиарда.
А тут изменилось мало чего со временем и следующим за ним ростом числа параметров в модели. Ну как, стало получше, но проблема остаётся (doi:10.18653/v1/2025.findings-emnlp.1391).
Далее по тексту:
Да и до этого:
Почему заголовок призывает не использовать большие языковые модели для текстов, а весь текст выглядит так, будто его писала БЯМ? Это такой юмор?
Вы написали, по сути, руководство по промптингу. При этом допустили очень простую и очевидную ошибку: языковые модели слово «не» понимают плохо, этот тип промптов часто ломается (arXiv:2209.12711).
Ну и вообще очень странный набор инструкций:
В результате весь текст читается как набор газетных заголовков.
Почему? Написано руководство по промптингу, но именно здесь просится in-context learning: было б неплохо показать модели образец своего письма и попросить писать в том же стиле и темпе.
Что такое «короткий тикет»? Выглядит как изобретённая языковой моделью метафора.
В общем-то, мне и никакого детектора не нужно. Текст просто набит характерным темпом и стилем языковых моделей. Видеть такое как текст от человека неприятно.
Ваш изначальный довод был о том, что если никто не верит и не бежит шортить уже сейчас, то чего-то боится. Я вам объяснил, что сейчас зашортить компанию практически невозможно или хотя бы крайне трудно.
Шортить через месяц после первичного публичного размещения — тоже странная идея, поскольку к тому времени акции компании могут уже успеть попасть в индекс Nasdaq-100. Ну то есть появится механическое давление от индекс-трекеров.
Страница 17 (или 18 в зависимости от используемого просмотрщика ПДФ, сама страница помечена как 13 арабскими цифрами) заявления по форме S-1 компании «Спейс-экс».
Нет, Colossus II тоже участвует в этой сделке, пусть и частично.
Какие-то непонятные фантазии о синтетическом шортинге, которые не учитывают разнообразные ограничения не торгующихся публично компаний вида правила 144. В теории какой-нибудь хедж-фонд может подобное провернуть, но не ритейловый инвестор.
Проблема только в том, что рынок пусков относительно небольшой. Попробуйте найти его на инфографике ниже.
В 2024 году это всего 9,3 миллиарда долларов, и лишь две трети от этой суммы приходились на США. Вообще, даже изготовление спутников на фоне остальной индустрии выглядит не такой крупной историей.
Даже в виде службы космического таксомотора компания может жить припеваючи. Просто это не оценка в 1,75 триллиона долларов, которая, опять же, обоснована исключительно захватом рынка ИИ (где сейчас «Грок» флагманом не считается) и доведением до ума «Старшипа» со всеми его научно-фантастическими применениями.
Сдавать в аренду вычислительную мощность прямым конкурентам — тоже не 1,75 триллиона долларов капитализации.
Почему вы вообще немедленно рассматриваете сценарии, где «Спейс-экс» теряет все позиции и судорожно спасается от банкротства закрытием новых разработок? Это вот такими сценариями нужно привлекать биржевых инвесторов?
Это буквально разбор заявки на IPO и проблем в ней. Если говорить об эмоциях, то тон видеоролика содержит разве что сухой юмор, но не алармизм.
Если же Бойль предупреждает о каких-то рисках для общества в целом, то соображения вполне обоснованные. Пожалуйста, перечитайте раздел про ускоренное включение в биржевой индекс Nasdaq-100.
Никакого простора там нет и быть не может. Эти 930 миллионов долларов на исследования и разработки вычеркнуть ни в коем случае нельзя, потому что это разработка «Старшипа». Того самого «Старшипа», который должен быть многоразовым и обеспечить буквально всё на свете, от полётов на Луну и Марс до следующего поколения «Старлинка» и дата-центров в космосе. Всё это первичное публичное размещение завязано на обещание, что «Старшип» будет создан.
Для ракетной компании или компании спутниковой связи убрать расходы на исследования нельзя по определению. Для компании искусственного интеллекта — уж тем более.
Кстати, о каком «спасении» компании и какой «плохой ситуации» идёт речь? Вообще-то дела идут неплохо — вон, рекордная оценка капитализации при выходе на биржу. Нет никаких причин обсуждать сценарии, где НИОКР можно вычеркнуть.
Как можно убрать расходы на НИОКР для ИИ? Модели постоянно улучшаются, старые никому не нужны уже через полгода.
В 2025 году у сегмента искусственного интеллекта 3,201 миллиарда долларов выручки и −6,355 миллиарда долларов adjusted EBITDA. Это почти 200 % от выручки. Это «не сильно»?
Вы уже прочитали перевод видеоролика, где Патрик Бойль, ирландский экономист, профессор с опытом управления хедж-фондом и бывший инвестиционный банкир, сделал вам детальный разбор отчётности.
Как вы собираетесь шортить и вообще торговать акциями компании, которая не торгуется на биржах?
Логика поражает: я привожу пример стартапа с резко завышенной капитализацией и невнятной бизнес-моделью, который ожидаемо схлопнулся, а вы мне рассказываете про некий умозрительный (где он, кстати?) десятый стартап, который якобы взлетел и оправдал многомиллиардные потери на девяти других. Ну окей.
Суть спора именно в наличии вымышленной экономики и реальных предприятий. Сравнивать сеть коворкингов и крупнейшего поставщика энергии в Европе на основе какой-то там капитализации некорректно. Неверно утверждать, что голые числа что-то показывают, и тому есть наглядный пример.
И вы там же продолжаете неправильные сравнения. Проблемы «Газпрома» связаны с форс-мажорными обстоятельствами, а не просто неверно выстроенной структурой компании. «Уиуорк» обанкротился без войны, просто так. (Только не упоминайте ковид: на банкротство компания подала куда позже пандемии).
Ну для начала надо сказать, что статьи на Хабре в том Интернете писали люди, а не большие языковые модели.
Избыточные кавычки. Вообще, БЯМ, насколько я заметил, обожают заключать слова в кавычки при малейшем оттенке переносного смысла или указания на особый смысл. Видимо, обучали их на художественных литературных текстах, а в Интернете мы пишем на примеси разговорного русского языка с упором на публицистический стиль.
Тоже очень типичный приём, что я замечал: структура в кавычках превращается в что-то типа члена предложения, к которому возможно присобачить «не».
Просто англицизмы и заимствования оборотов на уровне калькирования. Впечатление такое, будто переводили с английского языка, хотя текст изначально писался по-русски.
«Это не X, это Y».
Очень многое построено на этих противопоставлениях «не X, а Y». Мне напомнило наклейки «Студии Артемия Лебедева».
«Не X, но Y». Кстати, в тексте на 2 тысячи слов 30 штук «но» и ни одного «однако».
Схожая структура подзагов.
Избыток метафор делает текст более нечеловеческим.
«Уже X, но ещё не Y».
Большая языковая модель не имеет мнений и вкусов. Вывод выглядит связным, но на самом деле смысла не несёт:
Вы отставали в развитии, что ли? Как можно сравнивать психологический рост ребёнка и развитие цифровых технологий в глобальной вычислительной сети? Что это за странное изречение — «в каждом классе на второй год»? Вы в 23 года школу закончили?
Каком ещё столе?
Интернет именно был взрослее. В ту эпоху он был в первую очередь заточен на десктопы. Именно после 2010 начался бум смартфонов, после чего в Сеть хлынул поток обывателей и детей. В следующие несколько лет Интернет окончательно растерял ауру сходки компьютерных энтузиастов и перерос в место для обычных людей.
Когда-то было неприлично заявлять, что тебе нет 18 лет, тебя за это чмырили. Сегодня дети об этом совершенно спокойно говорят. Когда-то на «Реддите» был целый подреддит, где собирали эротические фотографии детей, и существование этого сообщества защищала сама администрация сайта; а сейчас банят просто за пожелание смерти. Когда-то встречаться с человеком из Интернета было опасно, а сегодня это просто средство связи. Ну и список можно продолжать.
Рекомендательные сервисы был и тогда, те же «Реддит» и «Дигг», разве что видимость контента определяли голоса. При этом даже сейчас никто не мешает бродить по Интернету самостоятельно. Вы вообще на Хабре находитесь, здесь тоже есть только голоса пользователей, но не рекомендательные алгоритмы. Откуда этот вывод вообще берётся?
Ну и самое главное:
Хотя дизайн и архивы обсуждаются, в статье нет ни одного скриншота и ссылки. На что залипали?
Привет из 2026 года. Как дела с «Уиуорком»? Потому как капитализация обвалилась на 98 % до 750 миллионов долларов, Адама Нойманна выгнали, а компания не смогла выйти в плюс и объявила себя банкротом. Тем временем «Газпром» в прошлом году принёс 1,3 триллиона рублей.
Они все на уровне стартапов или исключительно научных экспериментов, существующих в стадии вдохновляющих пресс-релизов. К примеру, «Гугль» обещает в рамках опыта запустить два ускорителя (сотни ватт) на спутнике в 2027 году. Это не мешает описывать мечты про 81 спутник на 28 киловатт каждый в препринте на эту тему (arXiv:2511.19468). «Санрайз» тоже выглядит чисто бумажным запуском, желанием застолбить разрешения от регуляторов, и против него уже взбунтовалось НАСА.
Все эти потуги выглядят откровенно смешно, поскольку подобные дата-центры опираются на несуществующие и неиспытанные на данный момент технологии (запуски за сотни долларов за килограмм, устойчивые к радиации чипы передовых техпроцессов, высокопроизводительные необслуживаемые системы охлаждения) и даже в этих вымышленных реалиях будут заведомо дороже земных, как это показывают расчёты. И вообще, конкретные лидеры отрасли ИИ («Оупен-Эй-Ай» и «Антропик») глубоко убыточны. Искусственный интеллект даже для земных ЦОДов часто слишком до́рог.
Потому что их нет. «Старклауд» запустил один спутник с двумя H100, «Аксиом Спейс» — десяток мелких с 40 модулями Jetson Orin. Компьютеры в последнем случае подходят разве что для так называемого edge inference, а не разворачивания дата-центра в космосе. «Старклауд» для обучения и инференса больших языковых моделей подходит, поэтому у Бойля упомянут.
Всё остальное существует исключительно в виде копошения на Земле.
Тоже смешной довод: можно наприводить огромное число предприятий, куда вкладывались безумно крупные суммы денег. Вообще, весь безграмотный комментарий сводится к «ну там не дураки же сидят».
Почему вы позволяете себе писать гадости про других людей в комментариях под публикациями, которые вы даже не читаете?
Ну ладно, не читаете. Вы хотя бы можете различать переводы? У всех публикаций категории «Перевод» всегда понятные пометки. Также об этом можно было догадаться по характерным признакам уровня названия раздела «Примечания переводчика». Вообще-то это перевод видеоэссе Патрика Бойля, ирландского экономиста, бывшего инвестиционного банкира и профессора с опытом управления хедж-фондом. Вы не считаете, что к его мнению в вопросах первичного размещения на бирже нужно прислушиваться?
Примчался фан-клуб Илона Маска, который ничего не читает и никаких продуктивных дискуссий не генерирует. Обсуждения экономических реалий я так ни от кого и не увидел. Никто не опроверг утверждение, что миллиард абонентов «Старлинка» невозможен, никто не попытался поспорить про регулирование фондовых индексов. Видимо, о подобном думать не хочется, пусть я и наделал сносок с пояснениями терминов. Пока что только повторение рекламных заявлений про реализацию любой на свете научной фантастики.