Интересно, что литералы (веса модели), рождающиеся во время обучения Цетлин Машины, естественным образом представляют собой вектор тритов {-, 0, +}, записанный в виде двух битовых векторов через bit-slicing. Во всяком случае, именно такая реализация в https://github.com/BooBSD/Tsetlin.jl
При чем тут статья, если вы цитируете мой комментарий?
Цитата моего комментария: "35 миллионов распознаваний MNIST в секунду на не самом свежем CPU." Цитата вашего комментария: "Не понял почему это fuzzy и что такое несвежий MCU".
> Не каждый CPU и, уж тем более, не каждый MCU имеет аппаратный MAC При чем тут аппаратный MAC на CPU или на MCU, если MAC изначально упоминался для вычислений GPU и NPU:
"Если перевести бинарные маски литералов в тернарные векторы {-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса."
Очевидно, кто тут читал по диагонали.
Потенциальная возможность использования MAC + Clipped ReLU для инференса на GPU или NPU -- это просто интересная идея, которую стоит проверить.
Основная идея FPTM не в этом, а в том, что модель требует на два порядка меньше clauses (модель физически в 100 раз может быть меньше), чем любые другие варианты Цетлин Машин, при сопоставимой accuracy. Именно потому теперь появилась возможность генерировать текст посимвольно с помощью FPTM, в отличие от любой другой ЦМ.
Не Fuzzy, а Fuzzy-Pattern Tsetlin Machine, потому, что каждая clause -- это не строгий набор литералов, а суперпозиция суб-паттернов. Таким образом каждая clause может вмещать в себе огромное количество clauses чуть меньшего размера. Каждая clause -- это нечеткий паттерн или правило.
Не MCU, а CPU. 35 миллионов предсказаний MNIST в секунду на Ryzen 7950X3D.
Каждая clause в FPTM -- это суперпозиция разных sub-patterns. Благодаря этому, можно достичь сопоставимой или лучше accuracy, используя в 10-100 раз меньше clauses, относительно других вариантов ЦМ. Модель получается очень компактная, с невероятно быстрым training и inference: 35 миллионов распознаваний MNIST в секунду на не самом свежем CPU. FPTM -- это первая, и пока единственная Цетлин Машина, способная генерировать текст. Пример модели, генерирующей текст доступен тут: https://github.com/BooBSD/Tsetlin.jl
А это пример генерации:
ROMEO:
The father's death,
And then I shall be so;
For I have done that was a queen,
That I may be so, my lord.
JULIET:
I would have should be so, for the prince,
And then I shall be so;
For the princely father with the princess,
And then I shall be the virtue of your soul,
Which your son,--
ESCALUS:
What, what should be particular me to death.
BUCKINGHAM:
God save the queen's proclaim'd:
Come, come, the Duke of York.
KING EDWARD IV:
So do I do not know the prince,
And then I shall be so, and such a part.
KING RICHARD III:
Shall I be some confess the state,
Which way the sun the prince's dead;
And then I will be so.
Если перевести бинарные маски литералов в тернарные векторы {-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса.
Отлично подходит. Fuzzy-Pattern Tsetlin Machine позволяет даже обучать небольшие модели прямо на MCU. По крайней мере, модель в память влезает и работает быстро.
Fuzzy-Pattern Tsetlin Machine даже пытается посимвольно текст генерировать:
ROMEO:
The father's death,
And then I shall be so;
For I have done that was a queen,
That I may be so, my lord.
JULIET:
I would have should be so, for the prince,
And then I shall be so;
For the princely father with the princess,
And then I shall be the virtue of your soul,
Which your son,--
ESCALUS:
What, what should be particular me to death.
BUCKINGHAM:
God save the queen's proclaim'd:
Come, come, the Duke of York.
KING EDWARD IV:
So do I do not know the prince,
And then I shall be so, and such a part.
KING RICHARD III:
Shall I be some confess the state,
Which way the sun the prince's dead;
And then I will be so.
Отличная идея и реализация! Немного смущает, что птицы всегда в клетке, а не на вольном выпасе. Кстати, если есть излишек яиц, мяса курицы или других домашних продуктов, то можно продавать ufermera.com
Интересно, что литералы (веса модели), рождающиеся во время обучения Цетлин Машины, естественным образом представляют собой вектор тритов {-, 0, +}, записанный в виде двух битовых векторов через bit-slicing. Во всяком случае, именно такая реализация в https://github.com/BooBSD/Tsetlin.jl
При чем тут статья, если вы цитируете мой комментарий?
Цитата моего комментария: "35 миллионов распознаваний MNIST в секунду на не самом свежем CPU."
Цитата вашего комментария: "Не понял почему это fuzzy и что такое несвежий MCU".
> Не каждый CPU и, уж тем более, не каждый MCU имеет аппаратный MAC
При чем тут аппаратный MAC на CPU или на MCU, если MAC изначально упоминался для вычислений GPU и NPU:
"Если перевести бинарные маски литералов в тернарные векторы
{-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса."Очевидно, кто тут читал по диагонали.
Потенциальная возможность использования MAC + Clipped ReLU для инференса на GPU или NPU -- это просто интересная идея, которую стоит проверить.
Основная идея FPTM не в этом, а в том, что модель требует на два порядка меньше clauses (модель физически в 100 раз может быть меньше), чем любые другие варианты Цетлин Машин, при сопоставимой accuracy. Именно потому теперь появилась возможность генерировать текст посимвольно с помощью FPTM, в отличие от любой другой ЦМ.
Не Fuzzy, а Fuzzy-Pattern Tsetlin Machine, потому, что каждая clause -- это не строгий набор литералов, а суперпозиция суб-паттернов. Таким образом каждая clause может вмещать в себе огромное количество clauses чуть меньшего размера. Каждая clause -- это нечеткий паттерн или правило.
Не MCU, а CPU. 35 миллионов предсказаний MNIST в секунду на Ryzen 7950X3D.
Зачем вы мне вывод LLM цитируете?
Каждая clause в FPTM -- это суперпозиция разных sub-patterns. Благодаря этому, можно достичь сопоставимой или лучше accuracy, используя в 10-100 раз меньше clauses, относительно других вариантов ЦМ. Модель получается очень компактная, с невероятно быстрым training и inference: 35 миллионов распознаваний MNIST в секунду на не самом свежем CPU. FPTM -- это первая, и пока единственная Цетлин Машина, способная генерировать текст. Пример модели, генерирующей текст доступен тут: https://github.com/BooBSD/Tsetlin.jl
А это пример генерации:
ROMEO: The father's death, And then I shall be so; For I have done that was a queen, That I may be so, my lord. JULIET: I would have should be so, for the prince, And then I shall be so; For the princely father with the princess, And then I shall be the virtue of your soul, Which your son,-- ESCALUS: What, what should be particular me to death. BUCKINGHAM: God save the queen's proclaim'd: Come, come, the Duke of York. KING EDWARD IV: So do I do not know the prince, And then I shall be so, and such a part. KING RICHARD III: Shall I be some confess the state, Which way the sun the prince's dead; And then I will be so.Если перевести бинарные маски литералов в тернарные векторы
{-1, 0, +1}, то алгоритм подсчета голосов для FPTM clause -- это буквально перемножение с накоплением (MAC операция) + Clipped ReLU. То есть теоретически можно использовать современные GPU и NPU как минимум для инференса.Препринт статьи: https://arxiv.org/pdf/2508.08350
Отлично подходит. Fuzzy-Pattern Tsetlin Machine позволяет даже обучать небольшие модели прямо на MCU. По крайней мере, модель в память влезает и работает быстро.
Fuzzy-Pattern Tsetlin Machine даже пытается посимвольно текст генерировать:
ROMEO: The father's death, And then I shall be so; For I have done that was a queen, That I may be so, my lord. JULIET: I would have should be so, for the prince, And then I shall be so; For the princely father with the princess, And then I shall be the virtue of your soul, Which your son,-- ESCALUS: What, what should be particular me to death. BUCKINGHAM: God save the queen's proclaim'd: Come, come, the Duke of York. KING EDWARD IV: So do I do not know the prince, And then I shall be so, and such a part. KING RICHARD III: Shall I be some confess the state, Which way the sun the prince's dead; And then I will be so.https://github.com/BooBSD/Tsetlin.jl
У меня уже два таких :)
Позже с ним такой диалог:
— Раскодируй мне спутниковые каналы в телевизоре!
— Я не умею. У меня вообще никогда телевизора не было.
— Какой же ты тогда программист?
Кто вам сказал такую глупость?