Мне не верится, что это написано 15 летним подростком - не та лексика, не тот словарный запас - вообще слова не из этого возраста, слишком устойчивые обороты, не та тональность, не понятно откуда взялся опыт из риелтерского быта.
Пожалуйста потом не пишите, что опять над нами провели очередной эксперимент и эксперимент имеет важную исследовательскую роль.
В код я поверю - нейронки уже неплохо пишут код, а в статью - нет.
Затем, что это взаимосвязанные сущности. Меньше посещений -> меньше заказов > меньше покупок > меньше рентабельность. Фонды приросли (это были кредитные деньги), а прибыли резко стало меньше.
Из графиков видно, что маркетплейсы заняли освободившийся в 22 году рынок, накачали инвестиции за счёт заёмных денег, только теперь эффект закончился и они и катятся вниз по показателям - у маркетплейсов показатели ноль или почти ноль по собственным средствам.
А теперь им дали возможность совершенно добровольно отказаться от 5 миллионов покупателей в месяц каждому. То есть все отошли на пять лет назад в развитии - сейчас уже не важно что они вложили громадные инвестиции в основные фонды - рынок "внезапно" резко сократился.
аудитория маркетплейсов ... практически не изменилась
Это неправильный вывод. Потеря даже 5 % посетителей - это три года работы сотен тысяч людей, всё потеряно за несколько недель.
Рентабельность активов за последние 6 лет
рентабельность продаж
Отнимите от этого 5 - 10% и слова "практически не изменилась" звучат по другому. Такие цифры это даже не общий тренд потерь, это только за один месяц по регуляторным причинам.
Сомнения относительно возможностей персептронов развеяли советские математики — академик А.Н. Колмогоров (1903–1987) и академик В.И. Арнольд (род. в 1937). Им удалось доказать, что любая непрерывная функция n переменных f(x1, x2, ... xn) всегда может быть представлена в виде суммы непрерывных функций одного переменного f1(x1) + f2(x1) + ... + fn(xn), гипотеза Гильберта была опровергнута, и нейроинформатике, таким образом, был открыт “зеленый свет”.
В 1987–1991 гг. профессором Калифорнийского университета (США) Р.Хехт-Нильсеном теоремы Арнольда – Колмогорова были переработаны применительно к нейронным сетям. Было доказано, что для любого множества непротиворечивых между собой пар произвольной размерности (Xq, Dq), q = 1, ..., Q, существует двухслойный персептрон с сигмоидными активационными функциями и с конечным числом нейронов, который для каждого входного вектора Xq формирует соответствующий ему выходной вектор Dq.
Таким образом, была доказана принципиальная возможность построения нейронной сети, выполняющей преобразование, заданное любым множеством различающихся между собой обучающих примеров, и установлено, что такой универсальной нейронной сетью является двухслойный персептрон, т.е. персептрон с одним скрытым слоем, причем активационные функции его нейронов должны быть сигмоидными.
То же самое подаётся как теорема Джорджа Цибенко от 1989 года - не знаю чей приоритет правильный.
Я ещё раз перечитал всё что вы написали, мне надо подумать над этим. В разреженных ембеддингах редкие токены получат большее значение, а часто встречающиеся токены меньшее значение - так действует алгоритм tf- idf и некоторые другие.
Если мы не снизим вес слова "утконос", то модель будет выдавать его чаще, чем следует. Градиентный спуск нелинейная функция, L2 - линейная (и именно штрафная) - надо углубиться с какой точностью считаются веса и при каком значении они обнуляются, что бы понять где прерывается переобучение, а где теряется связь.
Уже сама архитектура модели трансформера немного решает вопрос затухающих градиентов и вопрос взрывающихся градиентов. Оптимизатор Adam - это компромисс, обеспечивающий лучшие результаты, по прежнему это первый кандидат на применение.
То что некоторые веса стремятся к нулю - это тоже компромисс, есть вариант этого избежать. Weight Decay ничего не уничтожает, регуляризация работает как заложено алгоритмом. Малозначимые связи нужно обнулить, чем то приходится жертвовать при поиске паттернов.
начать с пилота примерно за 400 тысяч рублей, за два месяца получить работающую систему
400 тысяч рублей - это очень дорого, два месяца - это очень долго и по итогу от всего описанного нет понятного эффекта - охрана труда всё равно потребует человека, так зачем ещё вымучивать решение через ИИ ?
Может не совсем для ИИ, но именно для IT на стройке существует масса крайне важных задач.
В llm для этого нет алгоритма. Просто нечему там рассуждать - модель обучают возвратить массив наиболее статистически значимых токенов и всё - на большее модель не способна.
model = Sequential([
...
Dense(vocab_size, activation='softmax')
])
А рассуждения это код похожий на;
def solve_math_problem(self, prompt_text):
"""Решает математическую задачу с пошаговым объяснением"""
self.reasoning_steps = []
# Шаг 1: Извлекаем числа и операцию
import re
numbers = list(map(float, re.findall(r'\d+\.?\d*', promt_text)))
if 'плюс' in promt_text or 'сумма' in promt_text or '+' in promt_text or 'сумму' in problem_text:
operation = 'addition'
все упирается не только в размер датасета, но и в размер самой модели.
Размер модели прямо пропорционален размеру датасета - это жёсткое правило. То что сейчас используют rag или другие способы расширения контента - это попытка довнести в модель"новые" данные которые на момент обучения модели были не известны и не включены в датасет.
На первых демонстрациях chatgpt оператор писал промпт, а чат выдавал наиболее релевантное продолжение. Тогда показывали пример на python, оператор быстренько поправлял код и это считалось супер отличным результатом. Никаких рассуждений там не было, я такое когда то делал на простом цикле подбора нужного кода без всякого ai.
Я много экспериментировал, подбирал параметры - не получается из llm получить хоть какое то рассуждение. LLM неплохо пересчитывает статистику слов и это всё что я получил.
Модели рассуждений это правила, написанные человеком. То что нам подают как рассуждения от языковых моделей при внимательном рассмотрении оказываются трюком, где прописано правило, только оно замаскировано в ненужной обвеске алгоритма.
Сколько я не пробовал, модели рассуждения из llm у меня не прорастало. Модель цитирует куски датасета, или выдаёт шум - но не каким образом это не рассуждение. Что по этому поводу заявляют техногиганты? - нужно больше датасета.
Хотя у меня устойчивое мнение, что они сильно уводят на ложный след.
Я понял чего вам не достаёт - на принятых работников нужно вешать неснимаемый ошейник с трекером при найме. И в автоматическом режиме - нет движения пять минут - удар током; нет движения голосовых связок - удар током, что то не то говорит - удар током.
Некоторых стимулировать током на постоянной основе в рандомное время - не выполнили план продаж или без энтузиазма выполнили, не до конца прониклись ценностями компании.
Результаты вашей работы сильно тормозят общий уровень медицины всей страны, стимулируя врачей калечить пациентов. Я делаю и продвигаю нечто такое https://moscowi.ru/med_diagnoz и немного общаясь с врачами я наблюдаю это постоянно - пациентов калечат неправильным ненужным излишним лечением. А назначая "рекомендованное" лечение тем самым врач автоматически лишает пациента адекватной помощи.
Государство и бизнес тратят 1,5 миллиарда в год на слепой антиплагиат — и это проблема
Почему это проблема? И для кого это проблема?
Преподаватели прекрасно осознают, что 99 % абитуриентов полностью полагаются на ИИ, половина школьников старших классов не знает таблицу умножения, большая часть выпускников не понимают какой специальности их учили.
Ну прогнали текст через антиплагиат, всё равно все защитятся и выпустятся. В чём состоит проблема?
оценивает затраты на разработку операционной системы на два‑четыре года в 1 млрд рублей
Откуда такие запредельные затраты? Что там сделали на миллиард, да ещё целых два - четыре года колупались?
Что это вообще за дурь, взять полностью готовую операционку разработанную зарубежными разработчиками в течении десятилетий, подать заявку и говорить что это теперь отечественная операционная система. Что там реально могли разработать ?
Так можно потыкать в винду и требовать от государства защиты интеллектуальных прав.
Как то был в таком кабинете - записали с моих слов рост, вес и померили давление. Что бы померить давление меня туда и отправляли. Принимала медсестра, врача не было. Нужно было кардиограмму снять, а без посещения этого кабинета не принимали. В общем погоняли по кабинетам бессмысленно и незачем.
Каждое исследование стоит денег - тысяч долларов за каждое. Пациенту в каждое ухо будут кричать - "ИИ определило !!! Нужно скорее начинать лечение ".
По большей части деньги будет страховые, перед ними будет выбор - ждать страховой случай или оплатить 5% от полной выплаты за "профилактику". То что пациента покалечат, это уже будет выбор пациента.
Я не против ранней диагностики, с том числе и через нейронку, только понимаю и смысл работы больниц - зарабатывание денег. Потому и выявляют болезни на поздних стадиях, что нет периодического скрининга. Даже сам что-то делаю в этом направлении https://moscowi.ru/med_diagnoz , только здоровый пациент на приёме у врача вызывает недоумение - зачем пришёл, зачем время отнимаешь, из за таких пациентов мы не окажем помощь действительно нуждающемуся.
Мне не верится, что это написано 15 летним подростком - не та лексика, не тот словарный запас - вообще слова не из этого возраста, слишком устойчивые обороты, не та тональность, не понятно откуда взялся опыт из риелтерского быта.
Пожалуйста потом не пишите, что опять над нами провели очередной эксперимент и эксперимент имеет важную исследовательскую роль.
В код я поверю - нейронки уже неплохо пишут код, а в статью - нет.
Затем, что это взаимосвязанные сущности. Меньше посещений -> меньше заказов > меньше покупок > меньше рентабельность. Фонды приросли (это были кредитные деньги), а прибыли резко стало меньше.
Из графиков видно, что маркетплейсы заняли освободившийся в 22 году рынок, накачали инвестиции за счёт заёмных денег, только теперь эффект закончился и они и катятся вниз по показателям - у маркетплейсов показатели ноль или почти ноль по собственным средствам.
А теперь им дали возможность совершенно добровольно отказаться от 5 миллионов покупателей в месяц каждому. То есть все отошли на пять лет назад в развитии - сейчас уже не важно что они вложили громадные инвестиции в основные фонды - рынок "внезапно" резко сократился.
Это неправильный вывод. Потеря даже 5 % посетителей - это три года работы сотен тысяч людей, всё потеряно за несколько недель.
Отнимите от этого 5 - 10% и слова "практически не изменилась" звучат по другому. Такие цифры это даже не общий тренд потерь, это только за один месяц по регуляторным причинам.
Позволю себе немного добавить цитатой;
Сомнения относительно возможностей персептронов развеяли советские математики — академик А.Н. Колмогоров (1903–1987) и академик В.И. Арнольд (род. в 1937). Им удалось доказать, что любая непрерывная функция n переменных f(x1, x2, ... xn) всегда может быть представлена в виде суммы непрерывных функций одного переменного f1(x1) + f2(x1) + ... + fn(xn), гипотеза Гильберта была опровергнута, и нейроинформатике, таким образом, был открыт “зеленый свет”.
В 1987–1991 гг. профессором Калифорнийского университета (США) Р.Хехт-Нильсеном теоремы Арнольда – Колмогорова были переработаны применительно к нейронным сетям. Было доказано, что для любого множества непротиворечивых между собой пар произвольной размерности (Xq, Dq), q = 1, ..., Q, существует двухслойный персептрон с сигмоидными активационными функциями и с конечным числом нейронов, который для каждого входного вектора Xq формирует соответствующий ему выходной вектор Dq.
Таким образом, была доказана принципиальная возможность построения нейронной сети, выполняющей преобразование, заданное любым множеством различающихся между собой обучающих примеров, и установлено, что такой универсальной нейронной сетью является двухслойный персептрон, т.е. персептрон с одним скрытым слоем, причем активационные функции его нейронов должны быть сигмоидными.
То же самое подаётся как теорема Джорджа Цибенко от 1989 года - не знаю чей приоритет правильный.
У вас получаются великолепные статьи.
Я ещё раз перечитал всё что вы написали, мне надо подумать над этим. В разреженных ембеддингах редкие токены получат большее значение, а часто встречающиеся токены меньшее значение - так действует алгоритм tf- idf и некоторые другие.
Если мы не снизим вес слова "утконос", то модель будет выдавать его чаще, чем следует. Градиентный спуск нелинейная функция, L2 - линейная (и именно штрафная) - надо углубиться с какой точностью считаются веса и при каком значении они обнуляются, что бы понять где прерывается переобучение, а где теряется связь.
,
Уже сама архитектура модели трансформера немного решает вопрос затухающих градиентов и вопрос взрывающихся градиентов. Оптимизатор Adam - это компромисс, обеспечивающий лучшие результаты, по прежнему это первый кандидат на применение.
То что некоторые веса стремятся к нулю - это тоже компромисс, есть вариант этого избежать. Weight Decay ничего не уничтожает, регуляризация работает как заложено алгоритмом. Малозначимые связи нужно обнулить, чем то приходится жертвовать при поиске паттернов.
400 тысяч рублей - это очень дорого, два месяца - это очень долго и по итогу от всего описанного нет понятного эффекта - охрана труда всё равно потребует человека, так зачем ещё вымучивать решение через ИИ ?
Может не совсем для ИИ, но именно для IT на стройке существует масса крайне важных задач.
Сложно делать анализ чужих данных не зная сути исследований, только вы вероятнее всего ошиблись.
По другим цифрам такое же.
Боже, помоги нам всем.
В llm для этого нет алгоритма. Просто нечему там рассуждать - модель обучают возвратить массив наиболее статистически значимых токенов и всё - на большее модель не способна.
А рассуждения это код похожий на;
Размер модели прямо пропорционален размеру датасета - это жёсткое правило. То что сейчас используют rag или другие способы расширения контента - это попытка довнести в модель"новые" данные которые на момент обучения модели были не известны и не включены в датасет.
На первых демонстрациях chatgpt оператор писал промпт, а чат выдавал наиболее релевантное продолжение. Тогда показывали пример на python, оператор быстренько поправлял код и это считалось супер отличным результатом. Никаких рассуждений там не было, я такое когда то делал на простом цикле подбора нужного кода без всякого ai.
Я много экспериментировал, подбирал параметры - не получается из llm получить хоть какое то рассуждение. LLM неплохо пересчитывает статистику слов и это всё что я получил.
Модели рассуждений это правила, написанные человеком. То что нам подают как рассуждения от языковых моделей при внимательном рассмотрении оказываются трюком, где прописано правило, только оно замаскировано в ненужной обвеске алгоритма.
Сколько я не пробовал, модели рассуждения из llm у меня не прорастало. Модель цитирует куски датасета, или выдаёт шум - но не каким образом это не рассуждение. Что по этому поводу заявляют техногиганты? - нужно больше датасета.
Хотя у меня устойчивое мнение, что они сильно уводят на ложный след.
Я понял чего вам не достаёт - на принятых работников нужно вешать неснимаемый ошейник с трекером при найме. И в автоматическом режиме - нет движения пять минут - удар током; нет движения голосовых связок - удар током, что то не то говорит - удар током.
Некоторых стимулировать током на постоянной основе в рандомное время - не выполнили план продаж или без энтузиазма выполнили, не до конца прониклись ценностями компании.
Результаты вашей работы сильно тормозят общий уровень медицины всей страны, стимулируя врачей калечить пациентов. Я делаю и продвигаю нечто такое https://moscowi.ru/med_diagnoz и немного общаясь с врачами я наблюдаю это постоянно - пациентов калечат неправильным ненужным излишним лечением. А назначая "рекомендованное" лечение тем самым врач автоматически лишает пациента адекватной помощи.
Реальных практических задач с себестоимостью ниже чем земные, на Луне нет.
Почему это проблема? И для кого это проблема?
Преподаватели прекрасно осознают, что 99 % абитуриентов полностью полагаются на ИИ, половина школьников старших классов не знает таблицу умножения, большая часть выпускников не понимают какой специальности их учили.
Ну прогнали текст через антиплагиат, всё равно все защитятся и выпустятся. В чём состоит проблема?
Откуда такие запредельные затраты? Что там сделали на миллиард, да ещё целых два - четыре года колупались?
Что это вообще за дурь, взять полностью готовую операционку разработанную зарубежными разработчиками в течении десятилетий, подать заявку и говорить что это теперь отечественная операционная система. Что там реально могли разработать ?
Так можно потыкать в винду и требовать от государства защиты интеллектуальных прав.
Как то был в таком кабинете - записали с моих слов рост, вес и померили давление. Что бы померить давление меня туда и отправляли. Принимала медсестра, врача не было. Нужно было кардиограмму снять, а без посещения этого кабинета не принимали. В общем погоняли по кабинетам бессмысленно и незачем.
А если у вас кабинет есть - это в Москве?
А мы то всё по старинке живём.
Каждое исследование стоит денег - тысяч долларов за каждое. Пациенту в каждое ухо будут кричать - "ИИ определило !!! Нужно скорее начинать лечение ".
По большей части деньги будет страховые, перед ними будет выбор - ждать страховой случай или оплатить 5% от полной выплаты за "профилактику". То что пациента покалечат, это уже будет выбор пациента.
Я не против ранней диагностики, с том числе и через нейронку, только понимаю и смысл работы больниц - зарабатывание денег. Потому и выявляют болезни на поздних стадиях, что нет периодического скрининга. Даже сам что-то делаю в этом направлении https://moscowi.ru/med_diagnoz , только здоровый пациент на приёме у врача вызывает недоумение - зачем пришёл, зачем время отнимаешь, из за таких пациентов мы не окажем помощь действительно нуждающемуся.