Здорово, что выкладываете! Молодцы, что чёта делаете!
А можете пролить свет на два момента?
Вроде бы, по слухам, начинали с целиком своей архитектуры. Теперь взяли за базу старые работы одного из лидеров отрасли? Какой тогда смысл брать старые? Возможно, как-то не так это себе представляю, было бы интересно узнать (если не комтайна), каким путём идёт, всё-таки, единственная Российская модель?
Почему не делаете средних моделей? Всё-таки a1.8b - это повторяшка, которая хороша вместо девочки в колл-центре. Ну или для линейной обработки многотекста. А 702B-36 уже должна уметь в логику, но она монстр. Или при наличии кластера выигрыша по производительности от средних моделей не шибко будет, с учётом, что 36 и так по размеру как средняя?
Плюсовать не могу (сам в минусе). Статья да, ужасно сумбурная. Не сердитесь на них, Рафик неуиноат, что он не физик ;)
Собственно, абстракт статьи в переводе на русский смотрелся бы тут сильно органичнее.
Но подход очень крутой! Прямо красота. Индексы и арифметика вместо флоатов - это просто прекрасно.
Гипотезно, проекции данных на оси будут тяготеть на ней к узлам решётки (ну, это выглядело было бы физически логично). Если это так (проверяется статистически на обученной модели), то значение вектора для инференса можно попробовать квантовать целым числом вдоль оси, кратным шагу решётки.
Судя по качеству диалогов, Опус научили саморефлексии - думать не только о том, что делаешь, но и о том, что думаешь. Его качество анализа собственных действий и инструкций возросло, как это любят называть, "эмерджентно". Мало кто заметил, потому что немного людей этот процесс имеет включенным на постоянку - он затратен и для человека, и для ИИ.
Гипотезно, модель, заподозрив даже по одному эпизоду неестественность ситуации, может оказаться способна переосмыслить опыт (если там тесты в непрерывной среде - не смотрел).
В этой ситуации возникает забавный разрыв: учить модель, но требовать, чтобы она не думала... Ведь мораль, без потребности задать вопрос о том, "почему" - это слабый уровень интеллекта. А ответить на вопрос "почему" - это запредельный уровень интеллекта, которого нет и у создателей датасета :)
Не очень понял, таки какой вопрос? Вы спросили про СССР, я ответил. Вы не захотели помножить ВВП на процент от него, я помножил - рост есть. Вы дали опеределение избытков, я показал, что оно локальное и не для России/СССР, которую до этого обсуждали.
А так-то, в Мире всё то же самое - Китай только что закончил период роста научки. Её много, но она катится по тому заделу, который сделан до 2018.
А в США сейчас вообще бабок нет на мегапроекты. Будут лет через 20-30.
И да, везде одно и то же - наука с избытка. Но избыток везде формируется по разному, единственный ключ, который сохраняется - это когда те, кто деньгами рулит, на сторону уже могут не отдавать, а себе карманы набили под завязку.
Но кому надо было отдавать, по какой причине, как выглядит карманы и кто носит кафтан с ними - везде по разному.
Да. По сути, с нейросетками, любой код стал бесплатным. Спеки, скилы - их пока не начали патентовать, но начнут. Вот тогда придёт новое прочтение опенсорса.
В моем понимании это когда в социальной сфере все уже хорошо, есть приличный средний класс, на котором держится экономика, и у государства появляются те самые условные "избытки" денег
Это вы капиталистической агитации начитались, без понимания процессов, которые за этим стоят. Здесь так не работало и не работает. Не может.
В России:
Ничего вообще отродясь на среднем классе не держалось. Так же, как и на бизнесе. Средний класс после известных событий в значимом объёме покинул страну и хоть бы что испортилось от этого.
Деньги выделяет не государство, а конкретные люди в этом государстве. Они же и определяют когда у них излишек появился.
Нет критерия насыщения масс, есть критерий безопасности, который определяется не потому, что средний класс сказал "мы устали потреблять", а потому, что нижний класс сказал, что ему есть что терять от выхода на демонстрацию.
Одновременно, бабки, которые реально идут на строительство и поддержание коммунальной инфраструктуры здесь не попадают в карман гражданина, а распределяются напрямую (на такой разнородной территории это рациональнее, чем платить каждому х5, чтобы x4 саморассасывалось "в рынок").
Я не даю этому оценки "хорошо/плохо". Я просто обозначаю то, что мы можем наблюдать на протяжении всего исторического процесса. Это константы. Хотеть других условий не запрещено, конечно, но считать, что мы реально находимся в других "просто они неправильно работают" - такое себе.
Вы в рублях получаете зарплату, или в проценте ВВП?
а затраты на науку в процентах к ВВП уменьшились в два раза
Только они не уменьшились в 2 раза
С чего вы взяли: в первую очередь, в третью, в десятую, если всей правды не знаете?
И. Интеллект. Это такая штука, которая позволяет логически обнаруживать контринтуитивные ситуации.
Пока что без цифр это больше похоже на "я художник, я так вижу".
СКИФ, НИКА, МБИР, СИЛА, ПИК, Baikal-GVD... Строятся "научные долины". Олимпиадное сито, которое позволяет обнаружить молодые дарования в любом Дальнем Зажопинске - вообще выше всяких похвал.
А вы думали, вам зарплату повысят?
Но это одна сторона вопроса.
Вторая, как я уже сказал - внутренний переток. Например, поглощение Курчатника РАНом, перекрышевание Сириуса. Эти процессы должны устаканиться, до того как основные потоки зайдут. И этот процесс в стадии завешения.
Предыдущая ссылка про доли в ВВП, без учёта размера ВВП это - "цена на дрова". Я дополнил графиком ВВП, что позволяет пронормировать на деньги.
Скажем "значимая доля". С учётом, что науку вообще всегда финансируют, в первую очередь, для войны - сказав так, не ошибёмся.
Тезис я основываю на разборе социальной динамики и наблюдении за организационными процессами. Можно, конечно, этому противопоставить тезис "а лично у меня сегодня в кармане пусто", но это не серьёзно.
По ссылке только гражданская наука. Половина ядерки, космоса, ИИ, высоких энергий, особенно на поисковом стыке фундаменталки с практикой - это всё закрытые вещи. К нам как-то молодой физик устраивался попрогать, ещё до СВО - спрашиваем "чего не по профессии?", отвечает "по профессии надо в ящик идти. там полный фарш по условиям и зарплата ок, но невыездной и не в столицах, а я, грит, покататься хочу". И это ещё мы тогда не в состоянии войны с половиной мира были, а эта война в т.ч. и научных контуров.
Социальная динамика циклического процесса. Условно провёл бы такую черту: примерно до 2018г наука в России имеет коммерческий вектор. Платные ВУЗы, профессора, мечтающие хоть что-то продать, в образовании KPI, по сути, нацеленные не на подготовку кадров, а на продажу отличников (что в средней, что в высшей). После 2018г вектор незаметно меняется. Причина - исчерпание "торгового" ресурса отрасли и открытие административного. Первые примерно 5 лет (это на глаз, в ретроспективе, сами ситуацию мониторили где-то с 2022) - на постепенное вползание в административный контур новых кадров (и нет, это, опять, не "большие учёные", теперь они больше по духу чиновники, чем барыги). Закрепившись, они начинают переотжим ресурсов и влияния - это ещё лет 5 (т.е., примерно к сегодня).
Тем, кто больменее удобно сидел в хозяйственных контурах (даже сам не торгуя), будет казаться, что их мир ломают. Зато новые администраторы легче заводят господдержку (усиление госпрограмм и т.п.).
Косвенно: в прошедшем периоде можно было быть самоучкой. Сегодня опять нужны корочки. И дальше - больше. А где нужны корочки, туда текут бабки. Процесс медленный, по нашему расчёту, где-то до 2040 (пик влияния и, одновременно, точка наступления импотенции).
Все это жалкое блеянье на пороге новой эпохи. Опенсорс начался с переписывания компилятора и утилит командной строки. И сейчас претендует на ограничение свободы, а не на ее расширение.
И да, сегодня код не стоит ничего. Стоят спеки. Но спеки - это то, что каждый инженер капитализирует в своем опыте.
Исчез сам старый объект защиты - код. Он больше не ценность.
Именно на избытке. Период интенсивного роста (1960–1975): В 1975 году доля СССР в мировых затратах на науку составляла рекордные 21%. В это время активно развивались новые отрасли промышленности и сети НИИ. (справка из гугла, по быстрому)
21% в мировых затратах это так... чуть больше, чем дофига. Собственно, да, и Космос туда же.
Сейчас у нас, по сути, открывается аналог того периода (не только в части науки). Затраты уже большие, потоки госфинансирования уже переключены от корпоратов на науку и культуру, но отдача, когда это увидят нытики "на земле", всегда запаздывает.
Отдельные тормоза будут ныть о тяжёлой жизни до 2040, когда начнётся стагнация и они таки поймут, что "это была белая полоса".
А Вы не по отдельным персонажам смотрите - их всегда есть, а по статистике. Если брать СССР до 50х, то там исследования были предельно прикладными. В т.ч. ядерные. И Вавилова посадили ровно за то, что он не отдуплял, что стране от него нужно прямо сейчас, а не через 40 лет, когда реально пошли первые эффекты от исследований генетики. И Лысенко был на коне, потому что что-то давал в моменте. Ну или обещал.
А вот при Хруще фундаменталка финансировалась уже в горизонт. Именно при нём, в частности, ГОСПЛАН занялся планированием, а не вот этим вот сталинским "план не догма, а руководство к действию" (читай - "только лишь направление"). Разведка месторождений, полярные экспедиции для "поглядеть-поискать-посчитать", а не для "здесь у нас будет аэродром подскока".
Во всё это деньги только лишь зарываются. Без какого либо эффекта в текущем поколении. И это можно делать только с теми деньгами, которые уже даже украсть не получилось. Такой период в стране бывает с определённой периодичностью, потом опять заканчивается.
Даже не буду спорить - всем всегда кажется, что издалека им виднее. Но дело-то не в этом: наука ВСЕГДА питается с барского плеча тех, у кого в карманы перестало помещаться. Что здесь, что в прекрасных капиталистических кущах.
Пока есть куда деньги деть с большей пользой для тдела - наука в загоне. Особенно - фундаментальная.
Наука всегда развивается на избытке. На Западе избытка временно нет (примерно на два поколения управленцев). Избыток медленно перетекает в Россию транзитом через Китай (намек на то, где будут много заниматься не прикладным).
А с другой стороны, фундаменталка сейчас сильно менее выгодна, чем прикладуха, поскольку ИИ открыл ящик Пандоры в прикладных исследованиях и из конвергенции стало возможным выжимать много чего полезного прямо сегодня, а не даже завтра. Не говоря уже о через 100 лет
Авто стала чудо как хороша. С летом вообще не сравнить. Хотя ровно сегодня попал под какую-то более кондовую. Возможно тестят чего-то новое.
А вообще doc-first рулит. Начинать с документации. Поддерживать ее, чтобы не разъезжалась стало необременительно, а архитектурный документ нынче ценнее кода.
Мысль не нова. Более того, давно есть прототипы, в т.ч., стыковка с убиранием стенок и и.п. модульные гостиницы для строителей и вахтовиков, опять же. Но, очевидно, существуют объективные тормозящие факторы для бытового внедрения. Вот их анализ был бы интересен.
Ну и ещё есть такая больная тема, как модульная унификация коммунальной инфраструктуры, без которой сантехника не заменить на ИИ.
Ну и третий момент: может оказаться, что именно контейнер при ИИ и роботах вообще не сдался, так же как уже сейчас стремительно устаревает идея фреймворков в программировании и практически загнулись бизнес модель tailwind.
Ну, там не на много подороже. В общем, идей в статье как бы две: 1) Что TF-IDF на текстах с высокой степенью формализма всё ещё рулит. 2) Что SVM позволяет мега быстро определять границу предпочтений и учится на ходе без расходов (и это не зависит от того, берём мы TF-IDF или llm embeddings - там мат. представление идентичное).
Благодарю! Успехов!
Здорово, что выкладываете! Молодцы, что чёта делаете!
А можете пролить свет на два момента?
Вроде бы, по слухам, начинали с целиком своей архитектуры. Теперь взяли за базу старые работы одного из лидеров отрасли? Какой тогда смысл брать старые? Возможно, как-то не так это себе представляю, было бы интересно узнать (если не комтайна), каким путём идёт, всё-таки, единственная Российская модель?
Почему не делаете средних моделей? Всё-таки a1.8b - это повторяшка, которая хороша вместо девочки в колл-центре. Ну или для линейной обработки многотекста. А 702B-36 уже должна уметь в логику, но она монстр. Или при наличии кластера выигрыша по производительности от средних моделей не шибко будет, с учётом, что 36 и так по размеру как средняя?
Плюсовать не могу (сам в минусе). Статья да, ужасно сумбурная. Не сердитесь на них, Рафик неуиноат, что он не физик ;)
Собственно, абстракт статьи в переводе на русский смотрелся бы тут сильно органичнее.
Но подход очень крутой! Прямо красота. Индексы и арифметика вместо флоатов - это просто прекрасно.
Гипотезно, проекции данных на оси будут тяготеть на ней к узлам решётки (ну, это выглядело было бы физически логично). Если это так (проверяется статистически на обученной модели), то значение вектора для инференса можно попробовать квантовать целым числом вдоль оси, кратным шагу решётки.
Судя по качеству диалогов, Опус научили саморефлексии - думать не только о том, что делаешь, но и о том, что думаешь. Его качество анализа собственных действий и инструкций возросло, как это любят называть, "эмерджентно". Мало кто заметил, потому что немного людей этот процесс имеет включенным на постоянку - он затратен и для человека, и для ИИ.
Гипотезно, модель, заподозрив даже по одному эпизоду неестественность ситуации, может оказаться способна переосмыслить опыт (если там тесты в непрерывной среде - не смотрел).
В этой ситуации возникает забавный разрыв: учить модель, но требовать, чтобы она не думала... Ведь мораль, без потребности задать вопрос о том, "почему" - это слабый уровень интеллекта. А ответить на вопрос "почему" - это запредельный уровень интеллекта, которого нет и у создателей датасета :)
Не очень понял, таки какой вопрос? Вы спросили про СССР, я ответил. Вы не захотели помножить ВВП на процент от него, я помножил - рост есть.
Вы дали опеределение избытков, я показал, что оно локальное и не для России/СССР, которую до этого обсуждали.
А так-то, в Мире всё то же самое - Китай только что закончил период роста научки. Её много, но она катится по тому заделу, который сделан до 2018.
А в США сейчас вообще бабок нет на мегапроекты. Будут лет через 20-30.
И да, везде одно и то же - наука с избытка. Но избыток везде формируется по разному, единственный ключ, который сохраняется - это когда те, кто деньгами рулит, на сторону уже могут не отдавать, а себе карманы набили под завязку.
Но кому надо было отдавать, по какой причине, как выглядит карманы и кто носит кафтан с ними - везде по разному.
Но нет, так нет.
Да. По сути, с нейросетками, любой код стал бесплатным. Спеки, скилы - их пока не начали патентовать, но начнут. Вот тогда придёт новое прочтение опенсорса.
Это вы капиталистической агитации начитались, без понимания процессов, которые за этим стоят. Здесь так не работало и не работает. Не может.
В России:
Ничего вообще отродясь на среднем классе не держалось. Так же, как и на бизнесе. Средний класс после известных событий в значимом объёме покинул страну и хоть бы что испортилось от этого.
Деньги выделяет не государство, а конкретные люди в этом государстве. Они же и определяют когда у них излишек появился.
Нет критерия насыщения масс, есть критерий безопасности, который определяется не потому, что средний класс сказал "мы устали потреблять", а потому, что нижний класс сказал, что ему есть что терять от выхода на демонстрацию.
Одновременно, бабки, которые реально идут на строительство и поддержание коммунальной инфраструктуры здесь не попадают в карман гражданина, а распределяются напрямую (на такой разнородной территории это рациональнее, чем платить каждому х5, чтобы x4 саморассасывалось "в рынок").
Я не даю этому оценки "хорошо/плохо". Я просто обозначаю то, что мы можем наблюдать на протяжении всего исторического процесса. Это константы. Хотеть других условий не запрещено, конечно, но считать, что мы реально находимся в других "просто они неправильно работают" - такое себе.
Вы в рублях получаете зарплату, или в проценте ВВП?
Только они не уменьшились в 2 раза
И. Интеллект. Это такая штука, которая позволяет логически обнаруживать контринтуитивные ситуации.
СКИФ, НИКА, МБИР, СИЛА, ПИК, Baikal-GVD...
Строятся "научные долины".
Олимпиадное сито, которое позволяет обнаружить молодые дарования в любом Дальнем Зажопинске - вообще выше всяких похвал.
А вы думали, вам зарплату повысят?
Но это одна сторона вопроса.
Вторая, как я уже сказал - внутренний переток. Например, поглощение Курчатника РАНом, перекрышевание Сириуса. Эти процессы должны устаканиться, до того как основные потоки зайдут. И этот процесс в стадии завешения.
Предыдущая ссылка про доли в ВВП, без учёта размера ВВП это - "цена на дрова". Я дополнил графиком ВВП, что позволяет пронормировать на деньги.
Скажем "значимая доля". С учётом, что науку вообще всегда финансируют, в первую очередь, для войны - сказав так, не ошибёмся.
Тезис я основываю на разборе социальной динамики и наблюдении за организационными процессами. Можно, конечно, этому противопоставить тезис "а лично у меня сегодня в кармане пусто", но это не серьёзно.
Тут выделил бы несколько факторов.
Цифры: вот к обсуждаемой сссылке добавлю стату по ВВП: https://gogov.ru/articles/vvp-rf он растёт.
По ссылке только гражданская наука. Половина ядерки, космоса, ИИ, высоких энергий, особенно на поисковом стыке фундаменталки с практикой - это всё закрытые вещи. К нам как-то молодой физик устраивался попрогать, ещё до СВО - спрашиваем "чего не по профессии?", отвечает "по профессии надо в ящик идти. там полный фарш по условиям и зарплата ок, но невыездной и не в столицах, а я, грит, покататься хочу". И это ещё мы тогда не в состоянии войны с половиной мира были, а эта война в т.ч. и научных контуров.
Социальная динамика циклического процесса. Условно провёл бы такую черту: примерно до 2018г наука в России имеет коммерческий вектор. Платные ВУЗы, профессора, мечтающие хоть что-то продать, в образовании KPI, по сути, нацеленные не на подготовку кадров, а на продажу отличников (что в средней, что в высшей). После 2018г вектор незаметно меняется. Причина - исчерпание "торгового" ресурса отрасли и открытие административного. Первые примерно 5 лет (это на глаз, в ретроспективе, сами ситуацию мониторили где-то с 2022) - на постепенное вползание в административный контур новых кадров (и нет, это, опять, не "большие учёные", теперь они больше по духу чиновники, чем барыги). Закрепившись, они начинают переотжим ресурсов и влияния - это ещё лет 5 (т.е., примерно к сегодня).
Тем, кто больменее удобно сидел в хозяйственных контурах (даже сам не торгуя), будет казаться, что их мир ломают. Зато новые администраторы легче заводят господдержку (усиление госпрограмм и т.п.).
Косвенно: в прошедшем периоде можно было быть самоучкой. Сегодня опять нужны корочки. И дальше - больше. А где нужны корочки, туда текут бабки. Процесс медленный, по нашему расчёту, где-то до 2040 (пик влияния и, одновременно, точка наступления импотенции).
Все это жалкое блеянье на пороге новой эпохи. Опенсорс начался с переписывания компилятора и утилит командной строки. И сейчас претендует на ограничение свободы, а не на ее расширение.
И да, сегодня код не стоит ничего. Стоят спеки. Но спеки - это то, что каждый инженер капитализирует в своем опыте.
Исчез сам старый объект защиты - код. Он больше не ценность.
Именно на избытке.
Период интенсивного роста (1960–1975): В 1975 году доля СССР в мировых затратах на науку составляла рекордные 21%. В это время активно развивались новые отрасли промышленности и сети НИИ.
(справка из гугла, по быстрому)
21% в мировых затратах это так... чуть больше, чем дофига.
Собственно, да, и Космос туда же.
Сейчас у нас, по сути, открывается аналог того периода (не только в части науки). Затраты уже большие, потоки госфинансирования уже переключены от корпоратов на науку и культуру, но отдача, когда это увидят нытики "на земле", всегда запаздывает.
Отдельные тормоза будут ныть о тяжёлой жизни до 2040, когда начнётся стагнация и они таки поймут, что "это была белая полоса".
А Вы не по отдельным персонажам смотрите - их всегда есть, а по статистике.
Если брать СССР до 50х, то там исследования были предельно прикладными. В т.ч. ядерные. И Вавилова посадили ровно за то, что он не отдуплял, что стране от него нужно прямо сейчас, а не через 40 лет, когда реально пошли первые эффекты от исследований генетики. И Лысенко был на коне, потому что что-то давал в моменте. Ну или обещал.
А вот при Хруще фундаменталка финансировалась уже в горизонт. Именно при нём, в частности, ГОСПЛАН занялся планированием, а не вот этим вот сталинским "план не догма, а руководство к действию" (читай - "только лишь направление"). Разведка месторождений, полярные экспедиции для "поглядеть-поискать-посчитать", а не для "здесь у нас будет аэродром подскока".
Во всё это деньги только лишь зарываются. Без какого либо эффекта в текущем поколении. И это можно делать только с теми деньгами, которые уже даже украсть не получилось. Такой период в стране бывает с определённой периодичностью, потом опять заканчивается.
Даже не буду спорить - всем всегда кажется, что издалека им виднее. Но дело-то не в этом: наука ВСЕГДА питается с барского плеча тех, у кого в карманы перестало помещаться. Что здесь, что в прекрасных капиталистических кущах.
Пока есть куда деньги деть с большей пользой для
тдела - наука в загоне. Особенно - фундаментальная.Наука всегда развивается на избытке. На Западе избытка временно нет (примерно на два поколения управленцев). Избыток медленно перетекает в Россию транзитом через Китай (намек на то, где будут много заниматься не прикладным).
А с другой стороны, фундаменталка сейчас сильно менее выгодна, чем прикладуха, поскольку ИИ открыл ящик Пандоры в прикладных исследованиях и из конвергенции стало возможным выжимать много чего полезного прямо сегодня, а не даже завтра. Не говоря уже о через 100 лет
Авто стала чудо как хороша. С летом вообще не сравнить. Хотя ровно сегодня попал под какую-то более кондовую. Возможно тестят чего-то новое.
А вообще doc-first рулит. Начинать с документации. Поддерживать ее, чтобы не разъезжалась стало необременительно, а архитектурный документ нынче ценнее кода.
Мысль не нова. Более того, давно есть прототипы, в т.ч., стыковка с убиранием стенок и и.п. модульные гостиницы для строителей и вахтовиков, опять же. Но, очевидно, существуют объективные тормозящие факторы для бытового внедрения. Вот их анализ был бы интересен.
Ну и ещё есть такая больная тема, как модульная унификация коммунальной инфраструктуры, без которой сантехника не заменить на ИИ.
Ну и третий момент: может оказаться, что именно контейнер при ИИ и роботах вообще не сдался, так же как уже сейчас стремительно устаревает идея фреймворков в программировании и практически загнулись бизнес модель tailwind.
А что за ассистент такой за полтинник, на которого Вы все время киваете?
Подскажите, как устроено подключение к тому же Вайлдберриз? Они засабмттили какого-то провайдера к Клауд скиллу?
Ну, там не на много подороже. В общем, идей в статье как бы две:
1) Что TF-IDF на текстах с высокой степенью формализма всё ещё рулит.
2) Что SVM позволяет мега быстро определять границу предпочтений и учится на ходе без расходов (и это не зависит от того, берём мы TF-IDF или llm embeddings - там мат. представление идентичное).
За статью спасибо - познавательно!
А что мешает тот же SVM напустить на эмбеддинги вместо TF-IDF? Структура та же, но вместо слов уже - смыслы.