Если 95% вашей задачи выполняется параллельно - максимальное ускорение 20 раз. Хоть 8 процессоров, хоть 8 тысяч. Потолок встроен в задачу, не в железо.

Это закон Амдала. Сформулирован в 1967-м на конференции AFIPS в статье с названием "Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities" - то есть "В защиту одиночного процессора". Амдал пришел объяснить, почему массовый параллелизм не даст обещанного выигрыша для многих реальных задач.

TLS 1.3 с прямой секретностью - это правильный выбор. Если завтра скомпрометируют серверный ключ - прошлые сессии не расшифруются. Эфемерные ключи уничтожены. Все продумано.

Проблема в том, что это защита от одного сценария. Не от того, о котором идет речь.

Компьютеры греются. Это знает каждый, кто хоть раз держал ноутбук на коленях час-другой. Виноваты несовершенство кремния, сопротивление проводников, паразитные токи. Уберешь все дефекты - и вычисления станут бесплатными. Ага.

Вот только это неправда. Даже абсолютно идеальный процессор, без единого недостатка в конструкции, обязан выделять тепло. 

Но что, если…

Недавно попалось на глаза одно очень интересное видео с динамическими шкалами по популярности разных языков программирования по годам (вроде как, начиная с 1980х). Удивительно, сколько всего и как много придумало человечество. И как быстро меняются тренды, а еще - сколько всего уникального уходит в тень истории. Вот был такой Лисп. Принято считать, что Лисп - это что-то из учебников по истории программирования. Где-то между перфокартами и первыми компиляторами. Условный артефакт. Язык, которым пользовались бородатые профессора, пока не пришел Python и не навел порядок.

Только вот Python тоже унаследовал из Лиспа некоторую часть. Но не все. Самое радикальное так и не забрал.

Да, есть определенная хронология у развития нейросетей. Знаковые, скажем так, места. Стэнфорд, Торонто, DeepMind. Хинтон, ЛеКун, Бенжио. И много еще дат с разнообразными событиями. А вот в Красноярске в 1996-м вышла книга "Нейронные сети на персональном компьютере". Её автора звали Александр Горбань.

Привет, дорогой Хабр. Давайте сегодня все вместе вспомним этого выдающегося человека.

Третьего дня я решил сделать лид-магнит для своего Telegram-канала. Схема такая - бот собирает у пользователя текст, обрабатывает его нейросетью, выдает что-то полезное, и в конце просит подписаться на канал в обмен на результат. Aiogram 3, Python, VPS за 150 рублей - ничего необычного.

Встал первый вопрос - за что платить? Бот прототипный, аудитория на входе пока еще, собственно, не особо и понятно сколько человек. Платить $20 в месяц ради теста гипотезы - нет. Мы не ищем легких путей. Пошел разбираться, что вообще бесплатного есть.

Алексей Андреевич Ляпунов был математиком — специалистом по математической логике. В 1954 году, когда кибернетика официально называлась реакционной буржуазной лженаукой, он открыл в Московском университете семинар по кибернетике. Это было примерно как читать запрещенную литературу в читальном зале публичной библиотеки. Только публичной библиотекой был МГУ.

Он не был диссидентом. Он просто считал, что обратная связь существует независимо от того, что о ней думают, скажем так, философы нужной закалки.

Привет, Хабр. Есть устойчивое заблуждение насчет того, что убило рыцарский меч. Многие говорят - порох. И это самая логичная версия. Но Дон Алонсо де Кастро, который сражался при Павии в 1525-м, рассказал бы иначе.

Есть крайне занимательный факт. Двоичная логика, которую использует каждый современный процессор - математически не оптимальна и проигрывает тернарной по плотности представления данных. Но как так-то?

Аж в 1956 году Николай Брусенцов из Вычислительного центра МГУ взял этот факт всерьез и убедил академика Соболева дать ему лабораторию. Через три года машина работала.

Ее назвали Сетунь - по реке рядом с университетом. По итогу произвели около 50 штук (но тут, кстати, источники расходятся между цифрами 46 и 50). И к сожалению, больше ни одна серийная ЭВМ в мире на троичной логике не выходила.

Вот и разберемся - в архитектуре, цифрах и в том, куда это все делось.

Итак, только вычислительная часть обучения пятой версии ChatGPT обошлась в $500 миллионов. А вот уже полные затраты с исследованиями, данными и экспериментальными прогонами - от $1.25 до $2.5 млрд по разным оценкам. И речь пока именно о старте новой линейки, которая релизнулась чуть больше года назад. Далее - сервер с восемью H100 стоит от $270K до $450K, и это не считая сети, охлаждения и инфраструктуры. И это все при том, что 90% параметров большинства нейросетей - числа вроде 0.0003 или -0.0007, которые несут минимум полезной информации, но хранятся как полноценные 16-битные числа с плавающей точкой.

Содержать нейросеть - задачка весьма дорогая. Отсюда и вырос целый класс исследований - как сделать нейросеть, которая думает почти так же хорошо, но весит в 10 раз меньше и не требует GPU за $10K? Однобитные и тернарные сети - один из ответов на этот вопрос. 

Привет, дорогой наш ХАБР! Сегодня команда Exnode постарается рассказать, насколько, собственно, реальны однобитные LLM.