В моём случае это было устройство типа чипа на кредитке - там класс защиты от физического проникновения довольно высокий, поэтому размер кристалла уменьшен до предела (около 1х1 мм) и отсюда такие скромные ресурсы у MCU.
Во Франции есть ST Microelectronics (STM* микроконтроллеры довольно популярны), есть Gemalto (они занимаются банковскими картами с большой долей рынка в мире). Но в целом таких компаний мало конечно, тут вы правы.
В embedded programming часто код оптимизируется по максимуму.
Помнится был у меня проект когда в 16 Кб оперативки уживались OS+USB и сетевой стек+простой веб сервер+движок базы данных (правда поддерживающий предопределённые SELECT, но с JOIN-ами). Причём в процессе работы над проектом мне даже удалось оптимизировать код и освободить около 1 Кб памяти.
Да, но не только трансформерами - мир гораздо сложнее и настоящий исследователь подвергает сомнению истины и смотрит гораздо шире на вещи.
Вы почитайте работы Джефри Хинтона, например его идеи по введению функций вместо весов связей. Или вот KAN-сети - это тоже иной взгляд на работу НС.
Можно и не на таком детальном уровне даже посмотреть, например то что сейчас делают со смешиванием разных подходов к обучению. Много чего нового по работе с контекстным окном, но это уже конечно совсем высокоуровневые улучшения.
Как я понял, Ян не то что против LLM, он призывает не зацикливаться, не попасть в ловушку кажущейся простоты. Как исследователя я его понимаю, пока есть такой интерес (и инвестиции) к ИИ, он хотел бы продвинуться в исследованиях дальше простых чатботов, ведь эта ниша быстро прогрессирует и без новых идей может скоро дойти до своих пределов.
Это всё не моё личное мнение по этой теме, просто была возможность поговорить и узнать как это видит такой весьма умный и талантливый человек как Ян Ле Кун.
Кстати, я с ним общался на конференции и попросил разъяснить этот тезис. Если кратко, то это скорее хайп с его стороны (ф Ян знатный шоумен) чтобы привлечь внимание к тому что нынешние студенты должны смотреть дальше за горизонт, а не пытаться здесь и сейчас повторить/соорудить что-то вокруг существующих моделей. Прямо сейчас на его взгляд идёт конкуренция между большими компаниями, но они больше заняты экстенсивным развитием. А думать нужно о базовых концепциях, модернизировать их, придумывать новые подходы. Показателен пример с DeepSeek, мы все помним как все вздрогнули когда кто-то придумал что-то новое...
Полуось была моей первой основной операционкой на первом купленном компе в те далёкие 90-е года. Помню её удивительную стабильность, виндовые программы запускал в виндоэмуляторе, который воспринимался как прослойка, это избавляло от перезагрузки от постоянно падающих виндовых программ.
Даже что-то там кодил на SOM кажется под полуосью в WatcomC...
Когда вышла NT4, то перешёл на неё уже - софта больше, стабильность примерно такая же. Потом на работе была NT2k, которые постепенно заместились линуксом и фряхой.
Всякие дос надстройки типа win3.x/win95/win98/winMe только тыкал палочкой и отодвигал подальше :-)
Стало интересно - поднимется полуось на старом железе сейчас?
Оставляя за скобками способ выявления хакера/бота, если он попался, то самое полезное - это максимально замедлить его работу. Именно не просто сломать (он просто перезагрузится и пойдёт к кому-то другому), а именно blackhole ему сделать. Сколько там таймаут по сокету? вот один chunk на несколько байт ему из /dev/zero отдавать чтобы только коннект не обрывался. Или TCP ACK замедлить или ещё что-то. Многие файрволы именно так и делают - кидаем IP этого buddy в определённую таблицу и пусть он повисит помучается. Да и вам по трафику легче будет. У меня так было настроено - сидит демон и логи грепает от разных сервисов которые наружу выставлены, как только обнаружит такого бота - добавляет его в таблицу и всё.
Реклама прямо в тексте раздражает, но если уж без этого никак то раскройте нам почему там первая ваша платформа "не тянет"? Просто интересно, разобрались или нет...
PS Помнится N лет назад @Tzimie написал утилиту которая анализировала то как используется БД и предлагала оптимальные индексы для улучшения производительности.
Широко известное решение которое позволяет искать по содержимому - это например Immich. Прекрасно работает у меня "на стареньком core2duo" с базой около 70 тыс фото+видео. Поиск моментальный. Там возможностей побольше чем в этом Google Photo, советую & рекомендую...
В официальном уставе OpenAI (вот сейчас специально сходил и проверил) указано что если другой проект/компания будет догонять/обгонять их в гонке AGI, то они не будут с ними конкурировать, а станут им помогать.
Так что как-то противоречиво выглядит их позиция, хотя это очень по-американски :)
У меня почему-то когнитивный диссонанс - решение на mod_security нельзя назвать удобным и мощным (на мой взгляд).
То есть там где дело доходит до того что люди себе ставят задачу развернуть-таки WAF (то есть у них и правда что-то критичное есть что защищать нужно) - там уж как-то не мелочатся, а разворачивают решение с наглядной визуализацией что происходит, кучей метрик и эвристик. У вас не будет времени залезать в текстовые конфиги и править правила когда что-то действительно будет атаковано. А "выдернуть сетевой кабель" не всегда возможно физически и/или функционально.
Решение на апаче с этим модулем требует ещё много всего чтобы им можно было пользоваться на таких критичных проектах.
Однако тема интересная, очень любопытно будет почитать про snort и другие open source решения, буду ждать!
PS У нас используется Imperva и кое-где Palo Alto (у этих правда какие-то косяки в последнее время).
В моём случае это было устройство типа чипа на кредитке - там класс защиты от физического проникновения довольно высокий, поэтому размер кристалла уменьшен до предела (около 1х1 мм) и отсюда такие скромные ресурсы у MCU.
Во Франции есть ST Microelectronics (STM* микроконтроллеры довольно популярны), есть Gemalto (они занимаются банковскими картами с большой долей рынка в мире). Но в целом таких компаний мало конечно, тут вы правы.
В embedded programming часто код оптимизируется по максимуму.
Помнится был у меня проект когда в 16 Кб оперативки уживались OS+USB и сетевой стек+простой веб сервер+движок базы данных (правда поддерживающий предопределённые SELECT, но с JOIN-ами). Причём в процессе работы над проектом мне даже удалось оптимизировать код и освободить около 1 Кб памяти.
Но это был так скажем специфический случай...
Вспомнилась история одного фидошника, вот кажется нашёл - https://habr.com/ru/articles/27055/ :-)
Да, но не только трансформерами - мир гораздо сложнее и настоящий исследователь подвергает сомнению истины и смотрит гораздо шире на вещи.
Вы почитайте работы Джефри Хинтона, например его идеи по введению функций вместо весов связей. Или вот KAN-сети - это тоже иной взгляд на работу НС.
Можно и не на таком детальном уровне даже посмотреть, например то что сейчас делают со смешиванием разных подходов к обучению. Много чего нового по работе с контекстным окном, но это уже конечно совсем высокоуровневые улучшения.
Как я понял, Ян не то что против LLM, он призывает не зацикливаться, не попасть в ловушку кажущейся простоты. Как исследователя я его понимаю, пока есть такой интерес (и инвестиции) к ИИ, он хотел бы продвинуться в исследованиях дальше простых чатботов, ведь эта ниша быстро прогрессирует и без новых идей может скоро дойти до своих пределов.
Это всё не моё личное мнение по этой теме, просто была возможность поговорить и узнать как это видит такой весьма умный и талантливый человек как Ян Ле Кун.
Кстати, я с ним общался на конференции и попросил разъяснить этот тезис.
Если кратко, то это скорее хайп с его стороны (ф Ян знатный шоумен) чтобы привлечь внимание к тому что нынешние студенты должны смотреть дальше за горизонт, а не пытаться здесь и сейчас повторить/соорудить что-то вокруг существующих моделей. Прямо сейчас на его взгляд идёт конкуренция между большими компаниями, но они больше заняты экстенсивным развитием. А думать нужно о базовых концепциях, модернизировать их, придумывать новые подходы.
Показателен пример с DeepSeek, мы все помним как все вздрогнули когда кто-то придумал что-то новое...
Полуось была моей первой основной операционкой на первом купленном компе в те далёкие 90-е года. Помню её удивительную стабильность, виндовые программы запускал в виндоэмуляторе, который воспринимался как прослойка, это избавляло от перезагрузки от постоянно падающих виндовых программ.
Даже что-то там кодил на SOM кажется под полуосью в WatcomC...
Когда вышла NT4, то перешёл на неё уже - софта больше, стабильность примерно такая же. Потом на работе была NT2k, которые постепенно заместились линуксом и фряхой.
Всякие дос надстройки типа win3.x/win95/win98/winMe только тыкал палочкой и отодвигал подальше :-)
Стало интересно - поднимется полуось на старом железе сейчас?
Оставляя за скобками способ выявления хакера/бота, если он попался, то самое полезное - это максимально замедлить его работу.
Именно не просто сломать (он просто перезагрузится и пойдёт к кому-то другому), а именно blackhole ему сделать. Сколько там таймаут по сокету? вот один chunk на несколько байт ему из /dev/zero отдавать чтобы только коннект не обрывался. Или TCP ACK замедлить или ещё что-то.
Многие файрволы именно так и делают - кидаем IP этого buddy в определённую таблицу и пусть он повисит помучается.
Да и вам по трафику легче будет.
У меня так было настроено - сидит демон и логи грепает от разных сервисов которые наружу выставлены, как только обнаружит такого бота - добавляет его в таблицу и всё.
Реклама прямо в тексте раздражает, но если уж без этого никак то раскройте нам почему там первая ваша платформа "не тянет"? Просто интересно, разобрались или нет...
Не знаю как вам, но мне было не жалко потратить 10 минут времени и прочитать статью целиком. Думаю оно того стОит, спасибо автору!
Спасибо, полезно как вводная статья в тему квантования и perplexity в целом
Чуть не запалили :-)
Прикольная дока! От души :)
Мне так первый раз в руки попала Роза Мира, в рулоне :-)
Очень полезная методика, хочется попробовать.
PS Помнится N лет назад @Tzimie написал утилиту которая анализировала то как используется БД и предлагала оптимальные индексы для улучшения производительности.
Широко известное решение которое позволяет искать по содержимому - это например Immich. Прекрасно работает у меня "на стареньком core2duo" с базой около 70 тыс фото+видео. Поиск моментальный.
Там возможностей побольше чем в этом Google Photo, советую & рекомендую...
В официальном уставе OpenAI (вот сейчас специально сходил и проверил) указано что если другой проект/компания будет догонять/обгонять их в гонке AGI, то они не будут с ними конкурировать, а станут им помогать.
Так что как-то противоречиво выглядит их позиция, хотя это очень по-американски :)
Пишут что можно: https://github.com/sgl-project/sglang/tree/main/benchmark/deepseek_v3#example-serving-with-2-h208
У меня почему-то когнитивный диссонанс - решение на mod_security нельзя назвать удобным и мощным (на мой взгляд).
То есть там где дело доходит до того что люди себе ставят задачу развернуть-таки WAF (то есть у них и правда что-то критичное есть что защищать нужно) - там уж как-то не мелочатся, а разворачивают решение с наглядной визуализацией что происходит, кучей метрик и эвристик. У вас не будет времени залезать в текстовые конфиги и править правила когда что-то действительно будет атаковано. А "выдернуть сетевой кабель" не всегда возможно физически и/или функционально.
Решение на апаче с этим модулем требует ещё много всего чтобы им можно было пользоваться на таких критичных проектах.
Однако тема интересная, очень любопытно будет почитать про snort и другие open source решения, буду ждать!
PS У нас используется Imperva и кое-где Palo Alto (у этих правда какие-то косяки в последнее время).
Будет (было бы) забавно если бы хоть один из выигравших публично отказался принимать подарок от Линуса ввиду его национальности или ещё чего-то :-)
Ребята, аплодирую стоя! Молодцы!
Вот теперь можно будет 4090 по нормальной цене брать :-)