P.S. Я успел представить свою Ground Braking модификацию солверов аж в kaist, пока в Google пытались создать свой солвер (который вышел даже хуже, чем DreamCoder)
Нет, серьезно, я читал публикации и Ильи, и остальных "мега-гениев мира" - там и не пахнет трансформерами или даже анализом уравнений, описывающих плоскость (BrainFloat).
OpenAI вообще использует трансформер, взятый у Исламистской организации DeepMind (запрещена в России), и прогресса и действительно прорывных концептов у них тоже нет (по сравнению с той же meta/mistral, которые спокойно выкладывают свои модели).
Ну а реальный уровень Google(DeepMind) - примерно вот такой https://habr.com/ru/news/796767/.
И шквал новостей о том, что то Google/OpenAI обокрали/участвует в Мировом съезде по непонятному seq2seq - лишнее тому подтверждение.
Но чтобы просто произвести каждому китайцу по телефону придётся подождать около 100-200 лет ) Это на полностью автоматизированной фабрике, с минимум издержек по площади\времени производства.
А что если еще за границей готовы платить за телефоны? Например, в Индии?)
Ну и если Xiaomi еще не ошиблись с Унификацией операций - то как минимум фирма может успешно такое производство масштабировать/переводить на изготовление других моделей телефонов.
вы получаете остаток от деления на N, затем на N-1. вы все еще движетесь по воображаемому циферблату c N (N-1) цифрами (на котором обычно и обьясняют концепцию mod).
вы прошли M цифр, и до сих пор не сделали шаг через 0 (выше на картинке N с 11 до 10).
Пока вы не перешли этот воображаемый 0 - вы движетесь с постоянной скоростью V, где V - количество раз, когда вы пересекли воображаемый 0.
Поэтому цифры во втором ряду имеют линейную зависимость (остаток от деления). Сначала остаток от деления растет на 1 при изменении делителя на 1, затем - на 2.
Интереснее второй концепт:
Двоичный поиск. Дело в том, что множитель похоже совпадает с местом перехода от нескольких ходов без пересечения 0 до нескольких пересечений нуля за 1 ход.
Оба этих состояния легко проверить за конечное время.
Лучшее, что вы можете сделать - посчитать количество получающихся значений в каждой группе (и даже попробовать соорудить двоичный поиск - если количество цифр в группе больше 1 - уменьшаем значение, если <=1 - увеличиваем)
Тут, видимо, хотели прийти к тому, что если вы выполняете операцию N mod k1, и получаете какое-то значение, вы можете выполнить N mod k1-1 (и посмотреть, не сделали ли вы "оборот" при вычислении mod, если нет - пропустить до k1 значений при переборе, т.к. зависимость остатка от деления - линейная функция).
Из минусов - примерно та же сложность, что и просто перебрать SQRT(N) значений.
Вот пример вычисления множителей для 21 за 2 действия (в классическом переборе - 3):
Илья, создатель AlexNet. Да, тот самый, что пропустил появление Transformer будучи руководителем департамента.
Это все - причинно-следственные связи. Или просто функция ).
Добавьте в тот же DreamCoder свои теории (или даже в CVC) - и поиск решения будет выполнятся с учетом этих теорий.
И, да, у них (DeepMind/DreamCoder) даже не эвристика, чтобы использовать оптимальный поиск (увы, гении ИИ).
Если просто тренировать нейросеть как допустимую и оптимальную эвристику - должно помочь.
Спасибо, об этом уже все писали
И, ждем сравнений с CVC )
P.S. Я успел представить свою Ground Braking модификацию солверов аж в kaist, пока в Google пытались создать свой солвер (который вышел даже хуже, чем DreamCoder)
Learning by Abstraction: The Neural State Machine
https://proceedings.neurips.cc/paper_files/paper/2019/file/c20a7ce2a627ba838cfbff082db35197-Paper.pdf
Судя по всему - у всех )
Нет, серьезно, я читал публикации и Ильи, и остальных "мега-гениев мира" - там и не пахнет трансформерами или даже анализом уравнений, описывающих плоскость (BrainFloat).
OpenAI вообще использует трансформер, взятый у
Исламистской организацииDeepMind(запрещена в России), и прогресса и действительно прорывных концептов у них тоже нет (по сравнению с той же meta/mistral, которые спокойно выкладывают свои модели).Ну а реальный уровень Google(DeepMind) - примерно вот такой https://habr.com/ru/news/796767/.
И шквал новостей о том, что то Google/OpenAI обокрали/участвует в Мировом съезде по непонятному seq2seq - лишнее тому подтверждение.
У Гугл раз в 2 месяца стабильно крадут "сверхтехнологии".
OpenAi вообще - хакеры еще в позатом году, да еще анонимные.
И тут - риски аж для человечества.
Напомните, какой прогресс у них с Transformer (который Илья, создатель AlexNet, даже не заметил)? Как и у OpenSource )
Пошли наработки с DeepMind, космические корабли, бороздящие просторы, человечество и шарага, которая не может допилить Transformer )
А зачем? Тащить Linux, в котором ошибок больше, чем где-либо? Если Фирменное Рисование Окошек все равно свое.
За 5 лет можно силами ~40 человек ОС написать на Rust (https://ru.wikipedia.org/wiki/Redox)
В принципе, и одиночки пишут.
(https://github.com/flosse/rust-os-comparison?tab=readme-ov-file)
Но, видимо, у Huawei свои взгляды на безопасность (которые, видимо, обязательно соответствуют взглядам КНР)
вы порядком-двумя не ошиблись?
Там один с трапа самолета слетел и обосрался , у второго какие-то разборки со своими (за уши таскают своего пиздюка).
Обидно-то как, а я думал что это АНБ сделало ChatGPT, да.
А Transformer - разработка если не Ильи, создателя AlexNet, то хотя бы OpenAi
Там бывший начальник этой шараги пошел
краденнуюнайденную нейросеть тренировать вместе с геем (это наверное так называемый Blue Print).Вот это да...
Уверен, на это есть причины...
Это очень интересно, что там
очередная подборка болезней грызуновDreamCoder? BrainFloat? Word2Vec? Секреты SQUAD?Неужели Transformer, проходящий тест Тьюринга был создан в тех годах?
Услышим
ухомли мы когда-нибудь правду...Вот она - битва сверхдержав )
Ну так они видимо сейчас будут CVC/DreamCoder представлять хомякам (уже 3 года ждем).
Увы, у этих солверов на GPU IQ в районе 500 (в типичных тестах) )
Да не в фабрике жуть, а в цифрах )
81 тыс. м²
Но чтобы просто произвести каждому китайцу по телефону придётся подождать около 100-200 лет ) Это на полностью автоматизированной фабрике, с минимум издержек по площади\времени производства.
А что если еще за границей готовы платить за телефоны? Например, в Индии?)
Ну и если Xiaomi еще не ошиблись с Унификацией операций - то как минимум фирма может успешно такое производство масштабировать/переводить на изготовление других моделей телефонов.
Давайте представим:
вы получаете остаток от деления на N, затем на N-1. вы все еще движетесь по воображаемому циферблату c N (N-1) цифрами (на котором обычно и обьясняют концепцию mod).
вы прошли M цифр, и до сих пор не сделали шаг через 0 (выше на картинке N с 11 до 10).
Пока вы не перешли этот воображаемый 0 - вы движетесь с постоянной скоростью V, где V - количество раз, когда вы пересекли воображаемый 0.
Поэтому цифры во втором ряду имеют линейную зависимость (остаток от деления). Сначала остаток от деления растет на 1 при изменении делителя на 1, затем - на 2.
Интереснее второй концепт:
Двоичный поиск. Дело в том, что множитель похоже совпадает с местом перехода от нескольких ходов без пересечения 0 до нескольких пересечений нуля за 1 ход.
Оба этих состояния легко проверить за конечное время.
Лучшее, что вы можете сделать - посчитать количество получающихся значений в каждой группе (и даже попробовать соорудить двоичный поиск - если количество цифр в группе больше 1 - уменьшаем значение, если <=1 - увеличиваем)
Тут, видимо, хотели прийти к тому, что если вы выполняете операцию N mod k1, и получаете какое-то значение, вы можете выполнить N mod k1-1 (и посмотреть, не сделали ли вы "оборот" при вычислении mod, если нет - пропустить до k1 значений при переборе, т.к. зависимость остатка от деления - линейная функция).
Из минусов - примерно та же сложность, что и просто перебрать SQRT(N) значений.
Вот пример вычисления множителей для 21 за 2 действия (в классическом переборе - 3):
Еще у вас появилась необходимость в 1000 примерах (чтобы найти контекстные синонимы Четверг-дата).
А для контекстных синонимов уже есть добрый десяток решений.
Ну и бонус - вы получаете сколько угодно классов именованных сущностей (без необходимости разметки).
Т.е. в общем пайплайн - находим все, что попадает под определение именованных сущностей, определяем класс.
Ой как сложно.
Может сделать так:
1) Разобрать грамматически
2) Найти все типы грамматического дерева, соответствующие именованным сущностям (adj+noun, noun, etc)
3) Используя словарь синонимов (Word2Vec, например), проверить по интересующим типам (по близости векторов)
В чем магия - с вероятностью 99% именованные сущности это подлежащее, определение (существительное+прилагательное), и т.д.
Плюсы - машинное обучение нужно только на этапе 2. Сама модель - просто образец Explainable Machine Learning.
И еще небольшой плюс:
Нет, при таком подходе хватит пары абзацев.
Ок, а кто будет покупать?
Китайцы-то тоже не полные дураки, у них тоже знают про переходные процессы (и скорость чтения тоже повыше).
Мало того, Китайскому Андерграунду удалось получить технологии Parallel To Serial Converter(!) (и контроллеры потребляющие 50 mW).
Ну а 1 MIOPS - ой да хоть 200 (и хоть где):
https://www.linkedin.com/posts/valeriy-pushkarev-564733265_making-libsdriversverilog-endpoints-for-activity-7210512068985192448-IUEx