В 2010 году исследователи из Хоккайдского университета поставили чашку Петри. На дно налили влажный агар, разложили 36 овсяных хлопьев в точках, соответствующих крупнейшим городам вокруг Токио, а кусочек слизевика поместили в центр — в точку, соответствующую Токио. Участки, соответствующие горам и водоёмам, засветили лампой — физарум избегает яркого света и сам обходил эти зоны, воспроизводя реальные географические ограничения при прокладке железных дорог.

Через 26 часов посмотрели что получилось.

Сеть из протоплазматических трубок, которую вырастил слизевик, воспроизводила топологию реальной железнодорожной сети токийской агломерации. Узел за узлом. Причём не просто воспроизводила — по трём инженерным критериям одновременно: стоимости (суммарная длина трубок), транспортной эффективности (среднее время пути между узлами) и устойчивости (сколько соединений можно убрать, прежде чем сеть развалится).

Нейросети работают на GPU — это вроде бы очевидно. А что, если я вас скажу, что аж в 2018 году группа из UCLA напечатала нейросеть на 3D‑принтере из обычного пластика. Пять пластин. И никаких транзисторов. Никакой памяти. Никакого электричества. Причем, точность распознавания рукописных цифр — 91.75%.

И оно, чудо это — работало.

Если 95% вашей задачи выполняется параллельно - максимальное ускорение 20 раз. Хоть 8 процессоров, хоть 8 тысяч. Потолок встроен в задачу, не в железо.

Это закон Амдала. Сформулирован в 1967-м на конференции AFIPS в статье с названием "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities" - то есть "В защиту одиночного процессора". Амдал пришел объяснить, почему массовый параллелизм не даст обещанного выигрыша для многих реальных задач.

TLS 1.3 с прямой секретностью - это правильный выбор. Если завтра скомпрометируют серверный ключ - прошлые сессии не расшифруются. Эфемерные ключи уничтожены. Все продумано.

Проблема в том, что это защита от одного сценария. Не от того, о котором идет речь.

Компьютеры греются. Это знает каждый, кто хоть раз держал ноутбук на коленях час-другой. Виноваты несовершенство кремния, сопротивление проводников, паразитные токи. Уберешь все дефекты - и вычисления станут бесплатными. Ага.

Вот только это неправда. Даже абсолютно идеальный процессор, без единого недостатка в конструкции, обязан выделять тепло. 

Но что, если…

Недавно попалось на глаза одно очень интересное видео с динамическими шкалами по популярности разных языков программирования по годам (вроде как, начиная с 1980х). Удивительно, сколько всего и как много придумало человечество. И как быстро меняются тренды, а еще - сколько всего уникального уходит в тень истории. Вот был такой Лисп. Принято считать, что Лисп - это что-то из учебников по истории программирования. Где-то между перфокартами и первыми компиляторами. Условный артефакт. Язык, которым пользовались бородатые профессора, пока не пришел Python и не навел порядок.

Только вот Python тоже унаследовал из Лиспа некоторую часть. Но не все. Самое радикальное так и не забрал.

Да, есть определенная хронология у развития нейросетей. Знаковые, скажем так, места. Стэнфорд, Торонто, DeepMind. Хинтон, ЛеКун, Бенжио. И много еще дат с разнообразными событиями. А вот в Красноярске в 1996-м вышла книга "Нейронные сети на персональном компьютере". Её автора звали Александр Горбань.

Привет, дорогой Хабр. Давайте сегодня все вместе вспомним этого выдающегося человека.

Третьего дня я решил сделать лид-магнит для своего Telegram-канала. Схема такая - бот собирает у пользователя текст, обрабатывает его нейросетью, выдает что-то полезное, и в конце просит подписаться на канал в обмен на результат. Aiogram 3, Python, VPS за 150 рублей - ничего необычного.

Встал первый вопрос - за что платить? Бот прототипный, аудитория на входе пока еще, собственно, не особо и понятно сколько человек. Платить $20 в месяц ради теста гипотезы - нет. Мы не ищем легких путей. Пошел разбираться, что вообще бесплатного есть.

Алексей Андреевич Ляпунов был математиком — специалистом по математической логике. В 1954 году, когда кибернетика официально называлась реакционной буржуазной лженаукой, он открыл в Московском университете семинар по кибернетике. Это было примерно как читать запрещенную литературу в читальном зале публичной библиотеки. Только публичной библиотекой был МГУ.

Он не был диссидентом. Он просто считал, что обратная связь существует независимо от того, что о ней думают, скажем так, философы нужной закалки.

Привет, Хабр. Есть устойчивое заблуждение насчет того, что убило рыцарский меч. Многие говорят - порох. И это самая логичная версия. Но Дон Алонсо де Кастро, который сражался при Павии в 1525-м, рассказал бы иначе.

Есть крайне занимательный факт. Двоичная логика, которую использует каждый современный процессор - математически не оптимальна и проигрывает тернарной по плотности представления данных. Но как так-то?

Аж в 1956 году Николай Брусенцов из Вычислительного центра МГУ взял этот факт всерьез и убедил академика Соболева дать ему лабораторию. Через три года машина работала.

Ее назвали Сетунь - по реке рядом с университетом. По итогу произвели около 50 штук (но тут, кстати, источники расходятся между цифрами 46 и 50). И к сожалению, больше ни одна серийная ЭВМ в мире на троичной логике не выходила.

Вот и разберемся - в архитектуре, цифрах и в том, куда это все делось.

Итак, только вычислительная часть обучения пятой версии ChatGPT обошлась в $500 миллионов. А вот уже полные затраты с исследованиями, данными и экспериментальными прогонами - от $1.25 до $2.5 млрд по разным оценкам. И речь пока именно о старте новой линейки, которая релизнулась чуть больше года назад. Далее - сервер с восемью H100 стоит от $270K до $450K, и это не считая сети, охлаждения и инфраструктуры. И это все при том, что 90% параметров большинства нейросетей - числа вроде 0.0003 или -0.0007, которые несут минимум полезной информации, но хранятся как полноценные 16-битные числа с плавающей точкой.

Содержать нейросеть - задачка весьма дорогая. Отсюда и вырос целый класс исследований - как сделать нейросеть, которая думает почти так же хорошо, но весит в 10 раз меньше и не требует GPU за $10K? Однобитные и тернарные сети - один из ответов на этот вопрос. 

Привет, дорогой наш ХАБР! Сегодня команда Exnode постарается рассказать, насколько, собственно, реальны однобитные LLM.