От готовых реплик к контекстной памяти: как эволюционировали AI‑чаты

Прикольно, но почему тут не рассказано про LSTM и RNN? Это же очень важный этап!

Смысловой Embedding, или как доставать смысл из слов

Посмотрел отредактированную вашу статью - да, намного лучше. Но, чтобы было НАМНОГО удобнее читать - во первых sigmoid сам по себе модуля (|x|) в формуле не имеет (там просто 1 / (1 + exp(-x))), да и хотелось бы увидеть результат хотя бы простенькой сети с вашими смысловыми эмбеддингами и без.

Но, а так - интересненько, мне кажется, идея имеет смысл.

Как проверить текст на следы ИИ: маркеры и артефакты, которые выдают нейрослоп

Кстати, я заметил что в статье пишешь обычными кавычками и знаком минус за место дефиса длинного, а потом смотришь статью (когда она уже выпущена) - а там красуются эти самые "«" и подобные изменения.

Как проверить текст на следы ИИ: маркеры и артефакты, которые выдают нейрослоп

Просто эту самую "воду" не лей и всё.

Смысловой Embedding, или как доставать смысл из слов

Вы лучше уже новый пишите, потому что старый уже мало кто заметит.

Смысловой Embedding, или как доставать смысл из слов

Хорошая идея, но вот что я бы сказал по статье:

1. Зачем везде курсив и жирное вставлять!?!?!? Это некрасиво выглядит...

2. Слишком короткая - хотя бы плюсы и минусы бы добавили или более подробный (хотя бы теоретический) разбор вашей идеи.

3. Бенчмарки должны быть - не обязательно сравнения, хотя бы покажите что модель с вашими смысловыми эмбеддингами вообще работает, а не скатывается в loss 4 или наоборот, оверфиттинг, и всё такое.

Так же вам надо довести формулы до ума, там ваш модуль может только мешать, попробуйте без него.

И ещё - правильно было бы писать не как:

, как у вас, а вот так:

- это сигмоида.

LSWM 2.0 is all you need

А-а-а, теперь понял!

OpenAI связала Moonshot AI с попытками извлечь скрытые рассуждения моделей

Вы написали "Отмучу" - кого вы там хотите мучить, а потом отмучивать? Или вы имели ввиду "отмечу"?

LSWM 2.0 is all you need

Мне почему-то кажется, что residual connections даст больше эффект чем mLSTM

Я имел ввиду объединить их...

Ну типа:

1. LSWM

2. Residual connection (то есть то что пошло на вход мы прибавляем к результату слоя)

3. mLSTM.

4. Выход.

LSWM 2.0 is all you need

Если нашли какую-то ошибку, недочёт или что либо ещё - сообщайте пожалуйста.

Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)

Про Linear Attention - да, знаю, я впринципе вроде того и хотел сделать, просто там вроде бы Q, K, V, а у меня нету этого.

Про ту статью (где про softsign) - ну там вроде бы про инициализацию модели писали и про CV вообще писали (но, хотя NLP тоже упоминали).

А так по поводу LSWM - я хочу на самом деле переработать LWM слой, а SWM сделать намного стабильнее.

Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)

И ещё - сеть всё равно чувствительна к сиду, кажется потому что у меня не конкатенация.

Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)

Гитхаба в некоторое время не будет, потому что там надо 2FA этот проходить, а у меня рекавери 2FA код лежит в другом месте (к которому я пока не могу получить доступ), так что возможно только через неделю точно будет гитхаб.

Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)

Не бейте меня(

Python Tkinter: как перестать бояться Canvas и начать рисовать интерфейсы

Во первых Tkinter уже в Python.

Во вторых в нём достаточно понятно всё.

В третьих - про Tkinter проще писать, и это вообще мне кажется основа всех учебных материалов по GUI в Python)

Python Tkinter: как перестать бояться Canvas и начать рисовать интерфейсы

Я думал на Хабре про Tkinter ни кто не пишет, щас же этот ваш "ИИ-хайп"

Почему "+=" сложнее реализовать, чем "+": опыт HydraScript

Кто эти комменты минусовал и что он принял перед тем чтобы их минусовать?

Почему "+=" сложнее реализовать, чем "+": опыт HydraScript

Типа просто делаешь так в парсере (псевдокод):

если ТокенТип == "айди":
    имя = ТокенСодержимое
    следующийТокен()
    если токенСодержимое == "+=":
        следующийТокен()
        выражение = парситьВыражение()
        нода = АСТнода("присваивание", имя,
          АСТнода("+", имя, выражение))

(айди это типа id - identifier, так лексер в основном обозначает то что это не команда, а переменная)

Нет? Попробуйте просто сделать что-то подобное, если понравиться решение.

Почему "+=" сложнее реализовать, чем "+": опыт HydraScript

Ой я под M имел ввиду VM (опечатка)

Как методичка из 1990-х объясняет устройство современных нейросетей

Вы говорили про какой то там "Мешок слов".

И потом говорите что в химии это решено через какой то "GNN". Что за бред вообще!?!

У "вектора" молекулы и всего подобного есть не только три свойства, там их намного больше, и 100% хотя бы одно из них отличается от других