Да, есть определенная хронология у развития нейросетей. Знаковые, скажем так, места. Стэнфорд, Торонто, DeepMind. Хинтон, ЛеКун, Бенжио. И много еще дат с разнообразными событиями. А вот в Красноярске в 1996-м вышла книга "Нейронные сети на персональном компьютере". Её автора звали Александр Горбань.

Привет, дорогой Хабр. Давайте сегодня все вместе вспомним этого выдающегося человека.

Третьего дня я решил сделать лид-магнит для своего Telegram-канала. Схема такая - бот собирает у пользователя текст, обрабатывает его нейросетью, выдает что-то полезное, и в конце просит подписаться на канал в обмен на результат. Aiogram 3, Python, VPS за 150 рублей - ничего необычного.

Встал первый вопрос - за что платить? Бот прототипный, аудитория на входе пока еще, собственно, не особо и понятно сколько человек. Платить $20 в месяц ради теста гипотезы - нет. Мы не ищем легких путей. Пошел разбираться, что вообще бесплатного есть.

Алексей Андреевич Ляпунов был математиком — специалистом по математической логике. В 1954 году, когда кибернетика официально называлась реакционной буржуазной лженаукой, он открыл в Московском университете семинар по кибернетике. Это было примерно как читать запрещенную литературу в читальном зале публичной библиотеки. Только публичной библиотекой был МГУ.

Он не был диссидентом. Он просто считал, что обратная связь существует независимо от того, что о ней думают, скажем так, философы нужной закалки.

Привет, Хабр. Есть устойчивое заблуждение насчет того, что убило рыцарский меч. Многие говорят - порох. И это самая логичная версия. Но Дон Алонсо де Кастро, который сражался при Павии в 1525-м, рассказал бы иначе.

Есть крайне занимательный факт. Двоичная логика, которую использует каждый современный процессор - математически не оптимальна и проигрывает тернарной по плотности представления данных. Но как так-то?

Аж в 1956 году Николай Брусенцов из Вычислительного центра МГУ взял этот факт всерьез и убедил академика Соболева дать ему лабораторию. Через три года машина работала.

Ее назвали Сетунь - по реке рядом с университетом. По итогу произвели около 50 штук (но тут, кстати, источники расходятся между цифрами 46 и 50). И к сожалению, больше ни одна серийная ЭВМ в мире на троичной логике не выходила.

Вот и разберемся - в архитектуре, цифрах и в том, куда это все делось.

Итак, только вычислительная часть обучения пятой версии ChatGPT обошлась в $500 миллионов. А вот уже полные затраты с исследованиями, данными и экспериментальными прогонами - от $1.25 до $2.5 млрд по разным оценкам. И речь пока именно о старте новой линейки, которая релизнулась чуть больше года назад. Далее - сервер с восемью H100 стоит от $270K до $450K, и это не считая сети, охлаждения и инфраструктуры. И это все при том, что 90% параметров большинства нейросетей - числа вроде 0.0003 или -0.0007, которые несут минимум полезной информации, но хранятся как полноценные 16-битные числа с плавающей точкой.

Содержать нейросеть - задачка весьма дорогая. Отсюда и вырос целый класс исследований - как сделать нейросеть, которая думает почти так же хорошо, но весит в 10 раз меньше и не требует GPU за $10K? Однобитные и тернарные сети - один из ответов на этот вопрос. 

Привет, дорогой наш ХАБР! Сегодня команда Exnode постарается рассказать, насколько, собственно, реальны однобитные LLM.