Да это и так понятно было, что не только архитектура, но ещё и процедура на скор влияет. и то что T5 где-то заперформил лучше тоже можно понять, он не decoder-only.
Насчёт поиска архитектур самими сетками - это как automl - даже NAS, вроде скор есть, но непонятно что это вообще или долгое на инференсе.
После трансформера на человеко-данных пока нового фронтира не виднеется. Поэтому какое-то время будет решать чистка данных, пока кого-нибудь не заинсайтит, или сетка какая не выдаст что-то архитектурно-понятное для исследователей. [картинка ждуна]
Мое мнение, что если в сетки встроить математические правила как inductive bias (а не выучивать их из данных), жить станет легче всем, и citizen users, и ресерчерам. На уровне токенизации той же, уметь отличать формулы от натурального текста, и иметь правила вывода. Самому что ли экспериментнуть)
в целом про интервальные истории. точечные оценки в теории вероятностей имеют вероятность 0 для непрерывнозначащих случайных величин.
random.choice все же больше похож на стат. метод бутстрэп. когда для оценки интервалов статистики используют подвыборки. так, придирка. монте-карлой было бы если бы вы взяли распределение, извлекли бы из выборки его параметры, потом бы сэмплили.
тут все это не сказать что край как принципиально. идейно все ок
Это означает немного другое: те, у кого есть (большой) капитал, им проще (быстрее) его сделать ещё больше, чем другим остальным.
Социальные институты обустроены и настроены на обслуживание этого капитала: никого не волнует потеря доходности в акциях какого-нибудь Игоря из Сыктывкара, а банки и аналитические агентства заинтересованы в развитии VIP-клиентуры, и найдут для них способ извлечь из чёрного лебедя печенку на паштет.
Прогрессивный налог относительно простое решение, поверхностное. Скорее бы сработало бы "делиться собственностью", не крайний социализм конечно, а что-то вроде опционов как за заграницами бывает. Только на широкую бы ногу. Но так не будет :)
Раздражают люди на переговорах, которые спрашивают "а вы простите кто".
все что вы рассказали, есть в сбалансированной системе показателей как перспективы, и самые большие проблемы у бизнесов, которые приписывают показатели людям, а не процессам. как потопали, так и полопали - считайте стоимость компании - интегральный показатель, который для всех стэйкхолдеров одинаково направлен.
понятно что есть позиции, но консенсус для разных ролей слабо достижим. поэтому нынче проповедуют консент, когда решение принимается, если нет критических рисков.
чтобы максимизировать эффект, надо отранжировать по убыванию эффективности (ROI) и отсечь по кумулятивному бюджету. доказыввается по индукции.
если надо учитывать риски, то есть РЭСТ-анализ (риск-эффективность-стоимость), где рассматриваются лог-риски для аддитивности. в нем образуются доминирующие портфели.
максимизировать прокси-метрики интересно конечно... но лучше сеточками прикидывать как раз числитель и знаменатель ROI.
Ну, с тем что символы (могут) отражать факты согласен (вслед за ранним Витгенштейном). А с фактом понятно, может иметь место, может не иметь, а все остальное будет тем же самым.
То что "все вокруг физика" - это так, но это не очень полезно для практики. (Мат?) аппарат физического описания настолько эмерджентных явлений пока недоступен.
Поэтому математика все же про модели, как единицы описания явления. например аксиоматика Пеано - модель счета различимых объектов, а ChatGPT - натурального языка.
Касаемо универсализма вычислений, я считаю (и писал) что Тьюрингова машина должна иметь вероятностный характер для значений ячеек и временную координату. В ванильном (символьном) виде она счётна. И является универсальной для счетных систем (к слову трансформеры Тьюринг-полны).
Короче говоря, я согласен с тезисом про карту, которая не территория, но полезна. Так и (статистик) Дж. Бокс говорил, "все модели неверны, но некоторые полезны".
Отличная статья, спасибо. Но как же долго вы вели к эволюционной эпистемологии Поппера, я заждался :)
Если не рассматривать математику как науку, а только как язык описания наблюдений, как русский или английский или как у эскимосов (50 видов снега), то проблематика по-моему снимается.
Лично для себя пришёл давно к выводу, что математика - это этакая википедия с языком запросов и автоматическими следствиями из её содержимого. Как и википедия, может быть неточной (как дата саентист утверждаю)).
Насчёт упора в одну только физику... достаточно узко. Наблюдения бывают не только в физике, и нынешняя физика не в состоянии объяснить (ладно ассиметрию) наличие Wikipedia.org. А вот матмодель её жизненного цикла построить можно.
Резюмирую. Математика имхо это универсальный символьный язык описания наблюдений и обмена ими. Прогностическую силу в нем имеют только калиброванные модели (как трансформеры учат). Как у Поппера: tentative theories - error elimination - more theories... - less errors.
Ну... делайте как хорошо, а как плохо не делайте :)
В целом спасибо за изложение, прочёл с интересом. Вероятностями конечно правильнее выражать мнения о будущем, все корпоративно-сценарные методы на этом и построены.
Беды начинаются когда хотят знать много: узкий интервал, но не хотят платить за него потерей вероятности. Талеб конечно предостерегает, но не всем доходчива концепция толстых хвостов (что за хвосты и что с ними не так?..).
и как бы то ни было, горизонт прогнозирования тоже величина переменная, сегодня один, завтра другой. и в разных сферах экономики и жизни он тоже разный, где-то чистый риск как в покере, а где-то гарантированный доход, как в офисе. вобщем знать среду тоже важно, кроме калибровки своих убеждений.
ну идея почти реализована в graph rag. да и онтология не вещь в себе, да и подвижная. если бы она давала инсайты дальше чем обычная LLM, кто знает.
в целом Википедия чем не онтология? LLM её знает. но в частных случаях было бы неплохо её иметь, если бы у неё была прогностическая сила, а это не каждой онтологии под силу.
МСБ тоже нужна аналитика, только её им обычно дают готовую, по сайтам её легко добыть, по маркетплэйсам. Даже Хабр по статьям даёт какую-никакую аналитику.
Крупному бизнесу доступна не только кастомная аналитика и BI, а ещё и всякий data science.
Проблема "стандартной" аналитики, в том числе BI, что она как бухучет, "посмертная". Предиктивная же даже не всякому крупному бизнесу доступна, как и прескриптивная.
Жалко нет аналога PMBoK для аналитики. Есть хорошие книги, Дэвенпорт, Андерсон... но это книги. DMBOK/BABOK/SWEBOK все не о том.
а я вот соглашусь насчёт преобразования Лапласа, и причины две. была такая сетка, NeuralODE, и неплохо перформила, и с другой стороны, преобразование Лапласа сводит диффуры к рациональным многочленам.
Короче говоря Лапласом можно извлекать структуру процессов
Да это и так понятно было, что не только архитектура, но ещё и процедура на скор влияет. и то что T5 где-то заперформил лучше тоже можно понять, он не decoder-only.
Насчёт поиска архитектур самими сетками - это как automl - даже NAS, вроде скор есть, но непонятно что это вообще или долгое на инференсе.
После трансформера на человеко-данных пока нового фронтира не виднеется. Поэтому какое-то время будет решать чистка данных, пока кого-нибудь не заинсайтит, или сетка какая не выдаст что-то архитектурно-понятное для исследователей. [картинка ждуна]
Мое мнение, что если в сетки встроить математические правила как inductive bias (а не выучивать их из данных), жить станет легче всем, и citizen users, и ресерчерам. На уровне токенизации той же, уметь отличать формулы от натурального текста, и иметь правила вывода. Самому что ли экспериментнуть)
нет, про статистику.
В целом по статье - мне понравилось:
что не SP, а задачи заходят достаточно,
в целом про интервальные истории. точечные оценки в теории вероятностей имеют вероятность 0 для непрерывнозначащих случайных величин.
random.choice все же больше похож на стат. метод бутстрэп. когда для оценки интервалов статистики используют подвыборки. так, придирка. монте-карлой было бы если бы вы взяли распределение, извлекли бы из выборки его параметры, потом бы сэмплили.
тут все это не сказать что край как принципиально. идейно все ок
Да у вас похоже bootstrap, а не MC.
Это означает немного другое: те, у кого есть (большой) капитал, им проще (быстрее) его сделать ещё больше, чем другим остальным.
Социальные институты обустроены и настроены на обслуживание этого капитала: никого не волнует потеря доходности в акциях какого-нибудь Игоря из Сыктывкара, а банки и аналитические агентства заинтересованы в развитии VIP-клиентуры, и найдут для них способ извлечь из чёрного лебедя печенку на паштет.
Прогрессивный налог относительно простое решение, поверхностное. Скорее бы сработало бы "делиться собственностью", не крайний социализм конечно, а что-то вроде опционов как за заграницами бывает. Только на широкую бы ногу. Но так не будет :)
Раздражают люди на переговорах, которые спрашивают "а вы простите кто".
все что вы рассказали, есть в сбалансированной системе показателей как перспективы, и самые большие проблемы у бизнесов, которые приписывают показатели людям, а не процессам. как потопали, так и полопали - считайте стоимость компании - интегральный показатель, который для всех стэйкхолдеров одинаково направлен.
понятно что есть позиции, но консенсус для разных ролей слабо достижим. поэтому нынче проповедуют консент, когда решение принимается, если нет критических рисков.
выглядит как оверинжиринг.
чтобы максимизировать эффект, надо отранжировать по убыванию эффективности (ROI) и отсечь по кумулятивному бюджету. доказыввается по индукции.
если надо учитывать риски, то есть РЭСТ-анализ (риск-эффективность-стоимость), где рассматриваются лог-риски для аддитивности. в нем образуются доминирующие портфели.
максимизировать прокси-метрики интересно конечно... но лучше сеточками прикидывать как раз числитель и знаменатель ROI.
ну а так, спасибо что поделились.
Ну, с тем что символы (могут) отражать факты согласен (вслед за ранним Витгенштейном). А с фактом понятно, может иметь место, может не иметь, а все остальное будет тем же самым.
То что "все вокруг физика" - это так, но это не очень полезно для практики. (Мат?) аппарат физического описания настолько эмерджентных явлений пока недоступен.
Поэтому математика все же про модели, как единицы описания явления. например аксиоматика Пеано - модель счета различимых объектов, а ChatGPT - натурального языка.
Касаемо универсализма вычислений, я считаю (и писал) что Тьюрингова машина должна иметь вероятностный характер для значений ячеек и временную координату. В ванильном (символьном) виде она счётна. И является универсальной для счетных систем (к слову трансформеры Тьюринг-полны).
Короче говоря, я согласен с тезисом про карту, которая не территория, но полезна. Так и (статистик) Дж. Бокс говорил, "все модели неверны, но некоторые полезны".
Отличная статья, спасибо. Но как же долго вы вели к эволюционной эпистемологии Поппера, я заждался :)
Если не рассматривать математику как науку, а только как язык описания наблюдений, как русский или английский или как у эскимосов (50 видов снега), то проблематика по-моему снимается.
Лично для себя пришёл давно к выводу, что математика - это этакая википедия с языком запросов и автоматическими следствиями из её содержимого. Как и википедия, может быть неточной (как дата саентист утверждаю)).
Насчёт упора в одну только физику... достаточно узко. Наблюдения бывают не только в физике, и нынешняя физика не в состоянии объяснить (ладно ассиметрию) наличие Wikipedia.org. А вот матмодель её жизненного цикла построить можно.
Резюмирую. Математика имхо это универсальный символьный язык описания наблюдений и обмена ими. Прогностическую силу в нем имеют только калиброванные модели (как трансформеры учат). Как у Поппера: tentative theories - error elimination - more theories... - less errors.
по мне так код вполне понятный. как вводная история очень даже неплохо.
да уже нашёл, segformer, жалко что не instance segmentation
спасибо! доступно.
но задача классификации сейчас не самая полезная в CV. есть ли трансформеры для сегментации? ещё бы желательно претренированные
Ну... делайте как хорошо, а как плохо не делайте :)
В целом спасибо за изложение, прочёл с интересом. Вероятностями конечно правильнее выражать мнения о будущем, все корпоративно-сценарные методы на этом и построены.
Беды начинаются когда хотят знать много: узкий интервал, но не хотят платить за него потерей вероятности. Талеб конечно предостерегает, но не всем доходчива концепция толстых хвостов (что за хвосты и что с ними не так?..).
и как бы то ни было, горизонт прогнозирования тоже величина переменная, сегодня один, завтра другой. и в разных сферах экономики и жизни он тоже разный, где-то чистый риск как в покере, а где-то гарантированный доход, как в офисе. вобщем знать среду тоже важно, кроме калибровки своих убеждений.
посмотрите outlines. ollama его поддерживает из коробки.
про plutus не знал, надо смотреть
ну идея почти реализована в graph rag. да и онтология не вещь в себе, да и подвижная. если бы она давала инсайты дальше чем обычная LLM, кто знает.
в целом Википедия чем не онтология? LLM её знает. но в частных случаях было бы неплохо её иметь, если бы у неё была прогностическая сила, а это не каждой онтологии под силу.
вобщем тоже думал о чем-то схожем :)
есть такая "теорема о полноте excel": любой бизнес-процесс можно описать достаточно жирной экселиной)
опережающие метрики часто прокси, но можно да.
сложно в аналитике говорить обо всем сразу :)
как в тексте написали, модель бизнеса must have
МСБ тоже нужна аналитика, только её им обычно дают готовую, по сайтам её легко добыть, по маркетплэйсам. Даже Хабр по статьям даёт какую-никакую аналитику.
Крупному бизнесу доступна не только кастомная аналитика и BI, а ещё и всякий data science.
Проблема "стандартной" аналитики, в том числе BI, что она как бухучет, "посмертная". Предиктивная же даже не всякому крупному бизнесу доступна, как и прескриптивная.
Жалко нет аналога PMBoK для аналитики. Есть хорошие книги, Дэвенпорт, Андерсон... но это книги. DMBOK/BABOK/SWEBOK все не о том.
Спасибо за материал, идея очень интересная. Но, как активный пользователь ванильного CRISP-DM многие годы, скажу что тут
схожего мало
более современно
достаточно узкий круг проектов
Попробовать что-то такое надо, посмотреть.
которая в пределе - дифф.ур.
а я вот соглашусь насчёт преобразования Лапласа, и причины две. была такая сетка, NeuralODE, и неплохо перформила, и с другой стороны, преобразование Лапласа сводит диффуры к рациональным многочленам.
Короче говоря Лапласом можно извлекать структуру процессов