Тут не в LLM дело - это всё было и до них. Больше 5 лет назад я хотел изучить Javascript и, как и все, пытался найти достойную книгу для обучения, но на странице 20-40 (уже не помню), я уже не мог вывозить заумные обороты, которые только вгоняют в недоумение больше, чем стараются объяснить, в итоге бросил и пошёл поступать на менеджмент, потому что думал, что как-то всё сложно с программированием. До той поры, пока не сел учить бух. учёт - это тоже трындец, мама дорогая, тот же самый заумный язык со странными оборотами. Благо, я не знаю почему, но курсы на Coursera на английском намного лучше дают понимание, чем книги на русском! Ещё раз, курсы на неродном языке понятнее, чем книги на родном!
Я всё же надеюсь, что LLM вгонит последний гвоздь в гроб этой тенденции и люди уже одумываются лить воду в книги.
Ну вот я бы не хотел возвращения времён буткитов, которые успешно канули в лету благодаря Secure Boot - многие часы за Unhackme. Писать безопасный софт то ещё приключения. Например, я сейчас три дня угрохиваю, чтобы сделать качественный фаззер для своей либы и всё равно дырки нахожу и варианты обхода. Пошёл четвёртый и хз когда это кончится.
Тут скорее думал про людей, закончивших курсы "Стань программистом за месяц", которые изучают только синтаксис, а про CS не слышали. И пишут код с нулевым понятием оптимизации, безопасности, дубливарониями и прочего и прочего.
Кстати да, тут очень даже верно. Поэтому, как я думаю, что с ИИ намного лучше писать на Rust, чтобы компилятор выявлял ошибки ИИ и потом агент их исправлял.
При написании что сайта, что либы, нужно очень внимательно следить за агентом, думать головой и быть архитектором, тестером и надевать другие шляпы, тогда и получится всё. Как выпущу либу, то напишу подробно о том, как непрогеры в работе с ИИ должны активно логикой работать, следить за фокусом ИИ и его контекстным окном. Зная ИИ, одних только юнит тестов пришлось понаделать 3500 штук, а потом ещё буду проверть их через мутационное тестирование, чтобы найти ошибки в генерации кода. А в изначальной статье сразу хотят, чтобы дал промпт и ИИ ему сам всё написал - бред.
Вот с этим согласен. Вместо Питона я решил начать обучение с Rust, чтобы он бил по рукам за ошибки и учил правильной статической типизации. Но, имхо, это обучения для того, кто хочет программистом стать, а не кодером.
Имхо, в среднем, все мы люди и все мы ошибаемся, поэтому инструменты должны защищать от ошибок, как это сделано в Rust или, как ниже заметили, в TS. Всё же JS - это язык с громадным легаси, от которого невозможно отказаться, иначе всё рухнет, но и которое иногда очень неясно работает и, чтобы написать безопасный и быстрый код, нужно все эти особенности знать, а на это убить надо от 5 лет безостановочного кодинга, т.е. тупо стать сеньором.
Согласен, что сеньор сможет написать относительно безопасный и быстрый код (ну тут скорее просто быстро написать код, чем быстрый код), на фронте и на бэке, но то же самое сможет сделать на расте миддл.
Спасибо вам большое, кое-какие идеи я у вас подглядел и попробую перенести в свой механизм безопасного кеширования.
У меня возник вопрос по поводу выбора политики вытеснения. Вы подробно рассмотрели LRU, LFU и в итоге остановились на S3-FIFO (а в вашем плане для secure-cache вы рассматриваете W-TinyLFU). В последнее я часто натыкаюсь на упоминания о новом алгоритме SIEVE, который предлагает отличную устойчивость к сканированию при минимальной сложности реализации.
Интересно узнать, рассматривали ли вы SIEVE в качестве альтернативы? Возможно, для ваших нагрузок в Авито сложная политика приема в W-TinyLFU/S3-FIFO дает ощутимое преимущество в хит-рейте, которое оправдывает большую сложность по сравнению с SIEVE?
Надеюсь, с распространением LLM, мейнтейнерам станет легче улучшать безопасность проектов своих. Тут куда до фаззинга, когда иногда не найдёшь простых юнит тестов.
Аналог SBOM, но для AI-кода. Простой список с указанием модели, промпта и параметров, которые породили сниппет. Если что-то ломается, можно понять, откуда это взялось и почему. Прозрачность означает ответственность.
Это что даст? Модели по своей природе будут писать разный код для одного и того же промпта, это если условиться, что компании не будут модели обновлять.
Имхо, я сейчас создаю такую либу и могу только сказать, что нужно критически проверять сам код несколькими моделями несколько раз, потом обложить его юнит, интеграционными, фазз тестами, потом ещё провести оценку угроз по Страйду и попросить ИИ сыграть в red teaming с написанием PoC, а сами PoC кидать в adversarial tests папочку и гонять со всеми тестами.
Помимо этого всего, надо ещё обложится всякими SAST и прочими тулзами, потому что ИИ мелочи не видит - они как раз и помогут находить.
Тут не в LLM дело - это всё было и до них. Больше 5 лет назад я хотел изучить Javascript и, как и все, пытался найти достойную книгу для обучения, но на странице 20-40 (уже не помню), я уже не мог вывозить заумные обороты, которые только вгоняют в недоумение больше, чем стараются объяснить, в итоге бросил и пошёл поступать на менеджмент, потому что думал, что как-то всё сложно с программированием. До той поры, пока не сел учить бух. учёт - это тоже трындец, мама дорогая, тот же самый заумный язык со странными оборотами. Благо, я не знаю почему, но курсы на Coursera на английском намного лучше дают понимание, чем книги на русском! Ещё раз, курсы на неродном языке понятнее, чем книги на родном!
Я всё же надеюсь, что LLM вгонит последний гвоздь в гроб этой тенденции и люди уже одумываются лить воду в книги.
А можно за Водяного погонять, чтобы Петя искал место под Питер где-нибудь рядом с Геленджиком или Сочи?
В мире поголовной проприетарищины - глоток свежего воздуха.
Ну вот я бы не хотел возвращения времён буткитов, которые успешно канули в лету благодаря Secure Boot - многие часы за Unhackme. Писать безопасный софт то ещё приключения. Например, я сейчас три дня угрохиваю, чтобы сделать качественный фаззер для своей либы и всё равно дырки нахожу и варианты обхода. Пошёл четвёртый и хз когда это кончится.
С питоном я тоже пробовал - мучился очень: https://github.com/DavidOsipov/PostQuantum-Feldman-VSS
В итоге когда закончу с либой на TS, то перепишу на Rust. Как раз и буду учиться расту.
Все части Ведьмака!
Тут скорее думал про людей, закончивших курсы "Стань программистом за месяц", которые изучают только синтаксис, а про CS не слышали. И пишут код с нулевым понятием оптимизации, безопасности, дубливарониями и прочего и прочего.
Кстати да, тут очень даже верно. Поэтому, как я думаю, что с ИИ намного лучше писать на Rust, чтобы компилятор выявлял ошибки ИИ и потом агент их исправлял.
Да ёмаё, ребята правильно пишут, что нужно же головой думать и руками, даже когда с ИИ работаешь!!
Я сделал свой сайт с помощью ИИ, и делаю вот такую довольно сложную либу: https://github.com/DavidOsipov/Security-kit , хотя я просто продакт, которому нравится кибербез.
При написании что сайта, что либы, нужно очень внимательно следить за агентом, думать головой и быть архитектором, тестером и надевать другие шляпы, тогда и получится всё. Как выпущу либу, то напишу подробно о том, как непрогеры в работе с ИИ должны активно логикой работать, следить за фокусом ИИ и его контекстным окном. Зная ИИ, одних только юнит тестов пришлось понаделать 3500 штук, а потом ещё буду проверть их через мутационное тестирование, чтобы найти ошибки в генерации кода. А в изначальной статье сразу хотят, чтобы дал промпт и ИИ ему сам всё написал - бред.
Вот с этим согласен. Вместо Питона я решил начать обучение с Rust, чтобы он бил по рукам за ошибки и учил правильной статической типизации. Но, имхо, это обучения для того, кто хочет программистом стать, а не кодером.
Офигенно! Не думал, что вход в хрюшку доставит столько эмоций! Крутой чувак.
Имхо, в среднем, все мы люди и все мы ошибаемся, поэтому инструменты должны защищать от ошибок, как это сделано в Rust или, как ниже заметили, в TS. Всё же JS - это язык с громадным легаси, от которого невозможно отказаться, иначе всё рухнет, но и которое иногда очень неясно работает и, чтобы написать безопасный и быстрый код, нужно все эти особенности знать, а на это убить надо от 5 лет безостановочного кодинга, т.е. тупо стать сеньором.
Согласен, что сеньор сможет написать относительно безопасный и быстрый код (ну тут скорее просто быстро написать код, чем быстрый код), на фронте и на бэке, но то же самое сможет сделать на расте миддл.
Потому что выстрелить себе в колено, открыв кучи уязвимостей, на JS в разы легче, чем на Rust (который за такое сильно бьёт по рукам).
Ну ёмаё, пойду тогда дописывать доп. проверки в своём пете. А вам спасибо!
Вот я повёлся на этот SIEVE :( Ок, буду долбаться с W-TinyLFU - с первого взгляда он меня несколько отпугнул.
Спасибо вам большое за ответ!! Если вдруг есть рядом научные статьи, которые вы порекомендуете, буду очень благодарен!
И за такой крутой ответ вам плюсик в карму.
Спасибо вам большое, кое-какие идеи я у вас подглядел и попробую перенести в свой механизм безопасного кеширования.
У меня возник вопрос по поводу выбора политики вытеснения. Вы подробно рассмотрели LRU, LFU и в итоге остановились на S3-FIFO (а в вашем плане для secure-cache вы рассматриваете W-TinyLFU). В последнее я часто натыкаюсь на упоминания о новом алгоритме SIEVE, который предлагает отличную устойчивость к сканированию при минимальной сложности реализации.
Интересно узнать, рассматривали ли вы SIEVE в качестве альтернативы? Возможно, для ваших нагрузок в Авито сложная политика приема в W-TinyLFU/S3-FIFO дает ощутимое преимущество в хит-рейте, которое оправдывает большую сложность по сравнению с SIEVE?
Кстати, тут же недавно была статья, что мейнтейнер ядра линукс как раз и ревьюит предложенное ллмкой. Но вообще да, с OSS громадная проблема с этим.
Надеюсь, с распространением LLM, мейнтейнерам станет легче улучшать безопасность проектов своих. Тут куда до фаззинга, когда иногда не найдёшь простых юнит тестов.
Это что даст? Модели по своей природе будут писать разный код для одного и того же промпта, это если условиться, что компании не будут модели обновлять.
Имхо, я сейчас создаю такую либу и могу только сказать, что нужно критически проверять сам код несколькими моделями несколько раз, потом обложить его юнит, интеграционными, фазз тестами, потом ещё провести оценку угроз по Страйду и попросить ИИ сыграть в red teaming с написанием PoC, а сами PoC кидать в adversarial tests папочку и гонять со всеми тестами.
Помимо этого всего, надо ещё обложится всякими SAST и прочими тулзами, потому что ИИ мелочи не видит - они как раз и помогут находить.
Но обычно это решается просто вмешательством прогера, чтобы перенаправить ИИ.