Пара цитат из книги «Вентцель Е.С. Теория вероятностей: Учеб. для вузов. — 6-е изд. стер. — М.: Высш. шк., 1999.— 576 c.»
Различные формы закона больших чисел вместе с различными формами центральной предельной теоремы образуют совокупность так называемых предельных теорем теории вероятностей. Предельные теоремы дают возможность не только осуществлять научные прогнозы в области случайных явлений, но и оценивать точность этих прогнозов.
при суммировании достаточно большого числа случайных величин закон распределения суммы неограниченно приближается к нормальному при соблюдении некоторых условий. Эти условия, которые математически можно формулировать различным образом — в более или менее общем виде, — по существу сводятся к требованию, чтобы влияние на сумму отдельных слагаемых было равномерно малым, т. е. чтобы в состав суммы не входили члены, явно преобладающие над совокупностью остальных по своему влиянию на рассеивание суммы.
Применение статистики оправдано в тех задачах, которые соответствуют вышеизложенным условиям.
Для прогноза торговли магазина на корте, когда дождь начисто обнуляет торговлю или хозяин кортов завтра разрешит открыться конкуренту или онлайн торговлю рекомендует обсуживающий персонал и тренеры или… и таких «или», существенно влияющих на бизнес, очень много — теория вероятности и статистика плохо применимы.
Это «недоучившиеся физики» пытаются строить прогнозы в мире людей, как в мире элементарных частиц. Они привыкли, что законы природы не меняются, электроны одинаковые и летают одинаково, каждый электрон ни на что не влияет, вот и переносят на людей — люди одинаковые, Земля вокруг Солнца крутится предсказуемо, каждый человек в отдельности ни на что не влияет.
Только предсказывать моду на воланы с помощью мат статистики совсем бесполезное дело.
erarkh напишите пожалуйста не только про шахты и добычу, но и про медицинские исследования и опыты над людьми. Они же ведь тоже ведутся в Сбере, иначе зачем банку(!) в вакансии такие
То, что вы пишите, относится к центру этой группы — Банку Сбербанк, который попадает под регулирование ЦБ и не может (и не имеет права, и не должен и это просто было бы неразумно) направлять деньги вкладчиков на рискованные венчурные проекты.
В O&G точно не применяется, это как бывший управляющий нефтяной компанией Вам говорю. Но при этом статистика и численные методы это одна из основ расчета запасов. И все решения, утверждения, методики только экспертные. Т.е. любая методика и расчет по ней должны быть представлены на утверждение после экспертизы. Список экспертов есть на сайте ГКЗ и там ни одного с ИИ ( :-) ).
В биржевой торговле то же самое, как бывший директор инвестиционной компании говорю. Да и в битве ИИ между собой побеждает самый непредсказуемый — т.е. генератор случайных чисел. Единственная прибыльная возможность применять ИИ на бирже, это расчитать свое информационное воздействие на рынок. Но за это сажают :-). Про HFT вот тут habr.com/ru/company/ods/blog/416817/#comment_18897779
В криптографии самая серьезная работа по применению ИИ наверно вот эта про secp256k1
За прогноз погоды и, соответственно, прогноз урожая, готовы многие платить за точность — но увы, предложений нет на рынке ни с применением ИИ, ни без оного. Фотографии обработать — пожалуйста, предсказать положение Земли на орбите вокруг Солнца (вероятность средней температуры почвы) — это могут, а дожди на поле в момент цветения — нет.
Перевод любого стихотворения или образного выражения явно не получается, эмоции и образы не переводятся никаким ИИ
Ты жива еще моя старушка,
Жив и я. Привет тебе, привет
You're still alive, my old lady,
I'm alive too. Hello to you, hello
Ты все еще жив, моя старушка,
Я тоже жив. Привет вам, привет
Налоговая инспекция, наверно, применяет ИИ при поиске строений для оценки стоимости и налогообложения. Качество можно посмотреть на сайтах судов и в прессе.
Герман Оскарович сам против того, что бы Сбер называли банком.
Он считает Сбер технологической компанией по переработке денег. Но при этом в его структуре инвестиции условному студентуцукербергу не предусмотрены.
roryorangepants Вы попросту хам и неуч. А скорее всего бот, созданный хамом и неучем.
Изначальное высказывание было в том, что скор 0.85 можно интерпретировать как «пропускается один объект из семи».
только бот мог не заметить " :-) "
Только бот не станет замечать уточнения, намеки и подразумевания.
Только бот может привести ссылку в подтверждение своей точки зрения с полным бредом, но подходящим итоговым заключением.
Только бот может использовать почти в каждом посте шаблонные дискуссионные обороты и выражения — запас то ограничен.
Только бот не может предположить, что один пост может продолжить высказывание из другого поста.
Ну или совсем крайний случай, в который не хочется верить, что это реальный человек на уровне развития примитивного бота. С образованием и воспитанием пары тысяч строк на python.
В любом случае прошу прощения у сообщества, что развязал тут такую бездарную дискуссию.
А Вашей целью являетсяя мое смирение? Очередная Ваша чушь… Ну хоть одну серьезную мысль можете изложить?
В приведеной Вами же ссылке есть еще одно рассуждение про выпуклости, но для ценителей, которое полностью не совпадает с Вашим примером.
If you permute the neurons in the hidden layer and do the same permutation on the weights of the adjacent layers then the loss doesn't change. Hence if there is a non-zero global minimum as a function of weights, then it can't be unique since the permutation of weights gives another minimum. Hence the function is not convex.
Пример подтверждающий высказывание
в некоторых случаях именно это и означает! Точно.
Вам приведен, опровержения, кроме словоблудия, не последовало.
Про локальные минимумы кроссэнтропии поищите другие обсуждения.
То, что роботы, точнее роботизированные алгоритмы, принимают кредитные решения — это правильно и хорошо. Я действительно так считаю)
Ваша точка зрения понятна. Но есть нюанс.
Все роботизированные системы Сбера построены на использовании статистики (то, что сейчас называется искусственный интеллект) и предполагают стабильность, неизменность бизнес схем. Кредит будет дан только тому, кто соответствует испытанной/проверенной схеме.
С одной стороны — хорошо, возврат хоть как-то гарантирован. Но стратегическое состояние в мире таково, что выиграет не тот, кто пытается финансировать стабильность, а тот, кто придумает и запустит новое.
Вот на финансирование «нового» у Сбера есть только скоринг, который «заточен» на стабильность и ничего «нового» не пропустит. А это вредит всему нашему обществу и противоречит программам Президента.
Есть отрасли, где готовы платить громадные деньги за повышение точности предсказаний на доли процентов.
Ни в одной из них нейронные сети реально не применяются.
Религиозный еврей рссказывает друзьям
— Иду, я как-то в субботу по улице и вдруг вижу лежит бумажник туго набитый. Но нагибаться за бумажником нельзя — суббота!
— Ну я встал и помолился -Господи, помоги мне с этой дилемой. И что Вы думаете?
Господь внял моим молитвам. У всех субббота, а у меня четверг.
Так и у Вас кросс энтропия с локальными минимумами, а у всех выпуклая.
А этот текст из приведенного Вами обсуждения только для ценителей
The cost function of a neural network is in general neither convex nor concave. This means that the matrix of all second partial derivatives (the Hessian) is neither positive semidefinite, nor negative semidefinite. Since the second derivative is a matrix, it's possible that it's neither one or the other.
Lastly, the score returned by the competition metric is the mean taken over the individual average F2 Scores of each image in the test dataset.
Т.е. берется среднее по всем картинкам. И если есть 100 картинок и на каждой по одному судну и все точки на 86 картинках предсказаны со 100% точностью и на оставшихся 14 сеть не обнаружила ни одной точки, то результат и будет 0.86.
Теперь подробнее.
Если на картинке все точки предсказаны точно, то для всех threshold расчет F2 покажет 1 и среднее по всем threshold тоже будет равняться 1.
Если на картинке по всем IoU ( а там одно судно ) будет TP = 0, то и F2 будет равняться 0 для всех threshold и среднее по всем threshold по картинке тоже равно 0.
откройте сайт Сбера в разделе для бизнеса и ИП и найдите там в разделе «депозиты и инвестиции» хоть слово, про то, что банк финансирует венчурные инвестиции. Нет там таких слов.
Все инвестиции Сбера проходят по разделу «кредиты» . В подразделе «Бизнес проект» есть еще подраздел «Начало деятельности в новой сфере». Это всё, что хоть как-то напоминает венчурные инвестиции.
Так что, коллега Fraiman, Сбер сделан не по учебнику. Мне кажется, что Герман Оскарович сам не понимает, как сделан Сбер.
С другой стороны, Сбер не может не финансировать высокотехнологичные высокорискованные инвестиции, это правительственная/национальная программа.
Вот видите, Вы тоже критикуете статью и согласны со мной, что скоринг для венчурных инвестиций вреден. Но в статье то нет разделения, скоринг для всех!
Если внимательно посмотрите на Сбер, то найдете там много из того, что нужно немножко переделать — тогда да, согласен, может получиться прекрасный банк.
Это означает, что каждое 7 судно пройдет под Керченским мостом незамеченным :-)
ZlodeiBaal по распознаванию номеров есть достоверная статистика FP?
Если авто имеет право и система его не пустила, то водитель наверно как то проявится ( и статистике можно верить), а вот если система пропустила того, кто не должен проезжать? Ведь никто и не проверяет. Зачем человек, когда весь смысл был в автоматизации.
Fraiman Сбер кредиты бизнесу (не путайте с потребительскими кредитами) не дает без обеспечения и поручительства — скоринг просто не пропускает такие заявки без рассмотрения по существу. А Цукерберг начинал с нуля.
lostpasswordFraiman спасибо что отметили еще одну причину болезни банковской системы и Сбера в частности. Во всем мире инвест банки отделены от собственно банковского бизнеса и «простой» банк не должен (это у «них») давать кредиты бизнесу без залога или иного обеспечения/подтверждения, т.е. обязан соблюдать условие возвратности.
Но у нас эти бизнесы не отделены и Сбер такое право имеет и такие кредиты выдает и выдает их на совсем рисковые проекты, но скоринговая система никогда такой кредит условному цукербергу не одобрит.
На высокорисковые высокотехнологичные инвестиционные проекты деньги выдаются только людьми — в статье же идет хвастовство, что массово внедряют скоринг. Банк имеет право и выдает такие кредиты — но тут же пытается закрыть себе эту возможность и хвалится этим!
Это не повышение качества управления с помощью автоматизации, это называется по другому. Это не стимулирование венчурного высокотехнологичного бизнеса, это расчет на стагнацию.
Если хотите внимательно изучить кредитные договора Сбера, то поищите судебную практику, у нас судопроизводство открытое, и банки вынуждены свое кривое творчество в банковском деле публиковать.
Явно не понравится владельцам бизнеса. Они обычно понимают, что значение ad hoc задач нельзя приуменьшать.
Применение статистики оправдано в тех задачах, которые соответствуют вышеизложенным условиям.
Для прогноза торговли магазина на корте, когда дождь начисто обнуляет торговлю или хозяин кортов завтра разрешит открыться конкуренту или онлайн торговлю рекомендует обсуживающий персонал и тренеры или… и таких «или», существенно влияющих на бизнес, очень много — теория вероятности и статистика плохо применимы.
Это «недоучившиеся физики» пытаются строить прогнозы в мире людей, как в мире элементарных частиц. Они привыкли, что законы природы не меняются, электроны одинаковые и летают одинаково, каждый электрон ни на что не влияет, вот и переносят на людей — люди одинаковые, Земля вокруг Солнца крутится предсказуемо, каждый человек в отдельности ни на что не влияет.
Только предсказывать моду на воланы с помощью мат статистики совсем бесполезное дело.
А сапоги тачать пирожник»
И поверьте, обучение на 100 картинках и результат 0.97 говорит о плохом качестве обучения.
И еще вопрос, жаль не получиться задать докладчикам — МТР скольких людей были использованы?
Типичные задачи:
Анализ двумерных или трехмерных изображений (МРТ, КТ, рентгенограммы и проч.),
Извлечение фактов из текстов на естественном языке,
Предиктивный анализ, поиск аномалий,
Анализ потоков медицинских событий,
Изготовление proof of concepts,
И много всего разного и увлекательного.
Fraiman вы уверены?
В биржевой торговле то же самое, как бывший директор инвестиционной компании говорю. Да и в битве ИИ между собой побеждает самый непредсказуемый — т.е. генератор случайных чисел. Единственная прибыльная возможность применять ИИ на бирже, это расчитать свое информационное воздействие на рынок. Но за это сажают :-). Про HFT вот тут habr.com/ru/company/ods/blog/416817/#comment_18897779
В криптографии самая серьезная работа по применению ИИ наверно вот эта про secp256k1
За прогноз погоды и, соответственно, прогноз урожая, готовы многие платить за точность — но увы, предложений нет на рынке ни с применением ИИ, ни без оного. Фотографии обработать — пожалуйста, предсказать положение Земли на орбите вокруг Солнца (вероятность средней температуры почвы) — это могут, а дожди на поле в момент цветения — нет.
Перевод любого стихотворения или образного выражения явно не получается, эмоции и образы не переводятся никаким ИИ
Ты жива еще моя старушка,
Жив и я. Привет тебе, привет
You're still alive, my old lady,
I'm alive too. Hello to you, hello
Ты все еще жив, моя старушка,
Я тоже жив. Привет вам, привет
Налоговая инспекция, наверно, применяет ИИ при поиске строений для оценки стоимости и налогообложения. Качество можно посмотреть на сайтах судов и в прессе.
Сейчас реформа банков идет во всем мире, боюсь, что со Сбером будет как всегда.
Он считает Сбер технологической компанией по переработке денег. Но при этом в его структуре инвестиции условному студентуцукербергу не предусмотрены.
Только бот не станет замечать уточнения, намеки и подразумевания.
Только бот может привести ссылку в подтверждение своей точки зрения с полным бредом, но подходящим итоговым заключением.
Только бот может использовать почти в каждом посте шаблонные дискуссионные обороты и выражения — запас то ограничен.
Только бот не может предположить, что один пост может продолжить высказывание из другого поста.
Ну или совсем крайний случай, в который не хочется верить, что это реальный человек на уровне развития примитивного бота. С образованием и воспитанием пары тысяч строк на python.
В любом случае прошу прощения у сообщества, что развязал тут такую бездарную дискуссию.
В приведеной Вами же ссылке есть еще одно рассуждение про выпуклости, но для ценителей, которое полностью не совпадает с Вашим примером.
Пример подтверждающий высказывание Вам приведен, опровержения, кроме словоблудия, не последовало.
Про локальные минимумы кроссэнтропии поищите другие обсуждения.
Тема закрыта.
Ваша точка зрения понятна. Но есть нюанс.
Все роботизированные системы Сбера построены на использовании статистики (то, что сейчас называется искусственный интеллект) и предполагают стабильность, неизменность бизнес схем. Кредит будет дан только тому, кто соответствует испытанной/проверенной схеме.
С одной стороны — хорошо, возврат хоть как-то гарантирован. Но стратегическое состояние в мире таково, что выиграет не тот, кто пытается финансировать стабильность, а тот, кто придумает и запустит новое.
Вот на финансирование «нового» у Сбера есть только скоринг, который «заточен» на стабильность и ничего «нового» не пропустит. А это вредит всему нашему обществу и противоречит программам Президента.
Ни в одной из них нейронные сети реально не применяются.
Анекдот напомнили
Так и у Вас кросс энтропия с локальными минимумами, а у всех выпуклая.
А этот текст из приведенного Вами обсуждения только для ценителей
Да и локальные мининумы кросс энтропии тоже удивительное явление.
К сожалению не могу продолжить с Вами эту увлекательную и удивительную дискуссию. Удачи в поиске. Спасибо.
Высказывание Вы опровергнуть так и не смогли. Вам приведен конкретный пример.
И не уходите в туман от конкретного вопроса
Приведите нормальное определение используемой Вами функции.
Взглянем на www.kaggle.com/c/airbus-ship-detection/overview/evaluation, а именно на способ расчета точности в соревнованиях и обратим внимание на последнюю строчку
Т.е. берется среднее по всем картинкам. И если есть 100 картинок и на каждой по одному судну и все точки на 86 картинках предсказаны со 100% точностью и на оставшихся 14 сеть не обнаружила ни одной точки, то результат и будет 0.86.
Теперь подробнее.
Если на картинке все точки предсказаны точно, то для всех threshold расчет F2 покажет 1 и среднее по всем threshold тоже будет равняться 1.
Если на картинке по всем IoU ( а там одно судно ) будет TP = 0, то и F2 будет равняться 0 для всех threshold и среднее по всем threshold по картинке тоже равно 0.
Дорогой roryorangepants теперь понятно?
Раз уж Вы так ревностно относитесь к чистоте суждений про data science, то поясните пожалуйста один пункт Вашей статьи habr.com/ru/post/414865
Вопрос: — о локальных минимумах какой функции идет речь?
Спасибо большое за очень интересную дискуссию.
Все инвестиции Сбера проходят по разделу «кредиты» . В подразделе «Бизнес проект» есть еще подраздел «Начало деятельности в новой сфере». Это всё, что хоть как-то напоминает венчурные инвестиции.
Так что, коллега Fraiman, Сбер сделан не по учебнику. Мне кажется, что Герман Оскарович сам не понимает, как сделан Сбер.
С другой стороны, Сбер не может не финансировать высокотехнологичные высокорискованные инвестиции, это правительственная/национальная программа.
Если внимательно посмотрите на Сбер, то найдете там много из того, что нужно немножко переделать — тогда да, согласен, может получиться прекрасный банк.
Вот соревнование лучших из лучших по распознаванию корабликов на море
www.kaggle.com/c/airbus-ship-detection/leaderboard
и лучший результат 0.85448.
Это означает, что каждое 7 судно пройдет под Керченским мостом незамеченным :-)
ZlodeiBaal по распознаванию номеров есть достоверная статистика FP?
Если авто имеет право и система его не пустила, то водитель наверно как то проявится ( и статистике можно верить), а вот если система пропустила того, кто не должен проезжать? Ведь никто и не проверяет. Зачем человек, когда весь смысл был в автоматизации.
lostpassword Fraiman спасибо что отметили еще одну причину болезни банковской системы и Сбера в частности. Во всем мире инвест банки отделены от собственно банковского бизнеса и «простой» банк не должен (это у «них») давать кредиты бизнесу без залога или иного обеспечения/подтверждения, т.е. обязан соблюдать условие возвратности.
Но у нас эти бизнесы не отделены и Сбер такое право имеет и такие кредиты выдает и выдает их на совсем рисковые проекты, но скоринговая система никогда такой кредит условному цукербергу не одобрит.
На высокорисковые высокотехнологичные инвестиционные проекты деньги выдаются только людьми — в статье же идет хвастовство, что массово внедряют скоринг. Банк имеет право и выдает такие кредиты — но тут же пытается закрыть себе эту возможность и хвалится этим!
Это не повышение качества управления с помощью автоматизации, это называется по другому. Это не стимулирование венчурного высокотехнологичного бизнеса, это расчет на стагнацию.
Если хотите внимательно изучить кредитные договора Сбера, то поищите судебную практику, у нас судопроизводство открытое, и банки вынуждены свое кривое творчество в банковском деле публиковать.