При чем тут статья, если вы цитируете мой комментарий?
Цитата моего комментария: "35 миллионов распознаваний MNIST в секунду на не самом свежем CPU." Цитата вашего комментария: "Не понял почему это fuzzy и что такое несвежий MCU".
> Не каждый CPU и, уж тем более, не каждый MCU имеет аппаратный MAC При чем тут аппаратный MAC на CPU или на MCU, если MAC изначально упоминался для вычислений GPU и NPU:
"Если перевести бинарные маски литералов в тернарные векторы {-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса."
Очевидно, кто тут читал по диагонали.
Потенциальная возможность использования MAC + Clipped ReLU для инференса на GPU или NPU -- это просто интересная идея, которую стоит проверить.
Основная идея FPTM не в этом, а в том, что модель требует на два порядка меньше clauses (модель физически в 100 раз может быть меньше), чем любые другие варианты Цетлин Машин, при сопоставимой accuracy. Именно потому теперь появилась возможность генерировать текст посимвольно с помощью FPTM, в отличие от любой другой ЦМ.
Не Fuzzy, а Fuzzy-Pattern Tsetlin Machine, потому, что каждая clause -- это не строгий набор литералов, а суперпозиция суб-паттернов. Таким образом каждая clause может вмещать в себе огромное количество clauses чуть меньшего размера. Каждая clause -- это нечеткий паттерн или правило.
Не MCU, а CPU. 35 миллионов предсказаний MNIST в секунду на Ryzen 7950X3D.
Каждая clause в FPTM -- это суперпозиция разных sub-patterns. Благодаря этому, можно достичь сопоставимой или лучше accuracy, используя в 10-100 раз меньше clauses, относительно других вариантов ЦМ. Модель получается очень компактная, с невероятно быстрым training и inference: 35 миллионов распознаваний MNIST в секунду на не самом свежем CPU. FPTM -- это первая, и пока единственная Цетлин Машина, способная генерировать текст. Пример модели, генерирующей текст доступен тут: https://github.com/BooBSD/Tsetlin.jl
А это пример генерации:
ROMEO:
The father's death,
And then I shall be so;
For I have done that was a queen,
That I may be so, my lord.
JULIET:
I would have should be so, for the prince,
And then I shall be so;
For the princely father with the princess,
And then I shall be the virtue of your soul,
Which your son,--
ESCALUS:
What, what should be particular me to death.
BUCKINGHAM:
God save the queen's proclaim'd:
Come, come, the Duke of York.
KING EDWARD IV:
So do I do not know the prince,
And then I shall be so, and such a part.
KING RICHARD III:
Shall I be some confess the state,
Which way the sun the prince's dead;
And then I will be so.
Если перевести бинарные маски литералов в тернарные векторы {-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса.
Отлично подходит. Fuzzy-Pattern Tsetlin Machine позволяет даже обучать небольшие модели прямо на MCU. По крайней мере, модель в память влезает и работает быстро.
Fuzzy-Pattern Tsetlin Machine даже пытается посимвольно текст генерировать:
ROMEO:
The father's death,
And then I shall be so;
For I have done that was a queen,
That I may be so, my lord.
JULIET:
I would have should be so, for the prince,
And then I shall be so;
For the princely father with the princess,
And then I shall be the virtue of your soul,
Which your son,--
ESCALUS:
What, what should be particular me to death.
BUCKINGHAM:
God save the queen's proclaim'd:
Come, come, the Duke of York.
KING EDWARD IV:
So do I do not know the prince,
And then I shall be so, and such a part.
KING RICHARD III:
Shall I be some confess the state,
Which way the sun the prince's dead;
And then I will be so.
Отличная идея и реализация! Немного смущает, что птицы всегда в клетке, а не на вольном выпасе. Кстати, если есть излишек яиц, мяса курицы или других домашних продуктов, то можно продавать ufermera.com
При чем тут статья, если вы цитируете мой комментарий?
Цитата моего комментария: "35 миллионов распознаваний MNIST в секунду на не самом свежем CPU."
Цитата вашего комментария: "Не понял почему это fuzzy и что такое несвежий MCU".
> Не каждый CPU и, уж тем более, не каждый MCU имеет аппаратный MAC
При чем тут аппаратный MAC на CPU или на MCU, если MAC изначально упоминался для вычислений GPU и NPU:
"Если перевести бинарные маски литералов в тернарные векторы
{-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса."Очевидно, кто тут читал по диагонали.
Потенциальная возможность использования MAC + Clipped ReLU для инференса на GPU или NPU -- это просто интересная идея, которую стоит проверить.
Основная идея FPTM не в этом, а в том, что модель требует на два порядка меньше clauses (модель физически в 100 раз может быть меньше), чем любые другие варианты Цетлин Машин, при сопоставимой accuracy. Именно потому теперь появилась возможность генерировать текст посимвольно с помощью FPTM, в отличие от любой другой ЦМ.
Не Fuzzy, а Fuzzy-Pattern Tsetlin Machine, потому, что каждая clause -- это не строгий набор литералов, а суперпозиция суб-паттернов. Таким образом каждая clause может вмещать в себе огромное количество clauses чуть меньшего размера. Каждая clause -- это нечеткий паттерн или правило.
Не MCU, а CPU. 35 миллионов предсказаний MNIST в секунду на Ryzen 7950X3D.
Зачем вы мне вывод LLM цитируете?
Каждая clause в FPTM -- это суперпозиция разных sub-patterns. Благодаря этому, можно достичь сопоставимой или лучше accuracy, используя в 10-100 раз меньше clauses, относительно других вариантов ЦМ. Модель получается очень компактная, с невероятно быстрым training и inference: 35 миллионов распознаваний MNIST в секунду на не самом свежем CPU. FPTM -- это первая, и пока единственная Цетлин Машина, способная генерировать текст. Пример модели, генерирующей текст доступен тут: https://github.com/BooBSD/Tsetlin.jl
А это пример генерации:
ROMEO: The father's death, And then I shall be so; For I have done that was a queen, That I may be so, my lord. JULIET: I would have should be so, for the prince, And then I shall be so; For the princely father with the princess, And then I shall be the virtue of your soul, Which your son,-- ESCALUS: What, what should be particular me to death. BUCKINGHAM: God save the queen's proclaim'd: Come, come, the Duke of York. KING EDWARD IV: So do I do not know the prince, And then I shall be so, and such a part. KING RICHARD III: Shall I be some confess the state, Which way the sun the prince's dead; And then I will be so.Если перевести бинарные маски литералов в тернарные векторы
{-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса.Препринт статьи: https://arxiv.org/pdf/2508.08350
Отлично подходит. Fuzzy-Pattern Tsetlin Machine позволяет даже обучать небольшие модели прямо на MCU. По крайней мере, модель в память влезает и работает быстро.
Fuzzy-Pattern Tsetlin Machine даже пытается посимвольно текст генерировать:
ROMEO: The father's death, And then I shall be so; For I have done that was a queen, That I may be so, my lord. JULIET: I would have should be so, for the prince, And then I shall be so; For the princely father with the princess, And then I shall be the virtue of your soul, Which your son,-- ESCALUS: What, what should be particular me to death. BUCKINGHAM: God save the queen's proclaim'd: Come, come, the Duke of York. KING EDWARD IV: So do I do not know the prince, And then I shall be so, and such a part. KING RICHARD III: Shall I be some confess the state, Which way the sun the prince's dead; And then I will be so.https://github.com/BooBSD/Tsetlin.jl
У меня уже два таких :)
Позже с ним такой диалог:
— Раскодируй мне спутниковые каналы в телевизоре!
— Я не умею. У меня вообще никогда телевизора не было.
— Какой же ты тогда программист?
Кто вам сказал такую глупость?