Я применяю LLM (Grok) только для вычитки и фактчекинга и с оговоркой, потому что любые чатботы галлюцинируют, перехваливают не к месту и часто соглашаются с ложными фактами. Хотя интернет уже наполнен текстами, которые от начала и до конца сгенерироваными ChatGPT или его аналогами, такие тексты легко "палятся" по характерным признакам, приторной тактичности и характерными для LLM речевыми оборотам. Может, напишу статью какие есть красные флаги сгенерированного текста, хотя не знаю, формат ли это хабра или какого-нибудь пикабу.
TL;DR использовать LLM для редактуры - нормально, "вайб-блогинг" - палево.
Ну про скуку я говорил в несколько пост-ироничном смысле, подразумевая, что когда некий чёрный ящик выдаёт нам неожиданно хорошие и комплексные результаты - это сначала вызывает эмоции, будто столкнулся с немного волшебством в реальном мире. Вспомните свои первые эмоции, когда игрались с диффузионными моделями вроде Midjourney. А когда мы этот чёрный ящик взламываем и разбираем на шестерёнки - то сразу пропадает ощущение чего-то сказочного. Это не к тому, что разбираться не нужно (наоборот, можно и нужно), просто иллюстрация к цитате Артура Кларка "любая достаточно развитая технология неотличима от магии".
Я не совсем научно корректно выразился когда говорил, что LLM не осознаёт контекст. Эмбеддинг - да, он передаёт контекст слова, из которого оно было извлечено. Модель действительно дифференцирует значения слов по их окружению, но она не оперирует абстрактными понятиями как человек, а лишь работает с паттернами в данных. То, что мы называем пониманием контекста в LLM - это очень хорошая стаститическая адаптация, а не семантическое сознание.
Да, такое возможно - задача называется speaker identification с адаптацией. Чтобы работало локально и обучалось на ходу, нужно смотреть в сторону моделей типа x-vector, Wav2Vec 2.0 и фреймворков вроде SpeechBrain Ну и как для любых локально ML задач, не обойтись без флагманской видеокарты или Apple Silicon
Нет, ИИ не "понимает" ничего в привычном смысле. Он не знает, что значит слово, не осознаёт контекст, не формулирует свою мысль. Осмысленный текст у него получается потому что может неплохо угадывать, какие слова идут друг за другом с наибольшей вероятностью. С чатгпт создаётся иллюзия самостоятельного мышления из-за очень высокой сложности этой модели. Если же запустить локально модель с 7 миллирадами параметров (что довольно мало для языковой модели) - это будет лучше заметно.
Благодарю. Это крайне редкое уточнение, которое мне до этого не удалось найти ни в одной популярной статье про суффиксы квантования и квантование в целом. Постараюсь встроить эти уточнения в статью не перегружая её по смыслу (всё-таки статья рассчитана для понимания основ, более глубокие детали имеет смысл выделить в отдельную).
Невольно вышла отличная иллюстрация недостатка квантованя. Хотя тут скорее не оно, а в том, что генеративная модель пыталсь изобразить предмет в редком для него контексте (мало кто изображает раздвижной молоток в стиле иллюстраций для детских книг)
Спасибо за развёрнутый комментарий. Исправил про группы S, M, L.
Но мне нигде не удалось найти инфомрацию, что Qx - отображает квантование тензоров ffn, а S, M, L - тензоров внимания, по крайней мере применительно к Group-wise квантованию. Есть ссылки, где почитать?
IQ, R4 и UD — это отдельный интереснейший пласт. Наверное, это уже материал для отдельной статьи, спасибо за наводки!
Всё так и есть. Я бы ещё добавил, что Q8_0 может быть предпочтительнее там, где нужна генерация кода или какой-нибудь серьёзный reasoning, Q6_K подошёл бы лучше для обычных чатботов или ассистентов, которые дают короткие ответы.
Каюсь, многоуважаемый, за несколько дней до того, как дописал статью - появилась одна реально по содержанию похожая!
Но это если сравнивать чисто по заголовку.
У автора фокус на Макбуке - у меня платформенно-обобщенный.
У автора обзор LM Studio с фокусом на Gemma - у меня кроме LM Studio обзор разных открытых LLM - в помощь читателю, что выбрать.
У автора больше про использование интерфейса - у меня про настройку параметров.
У меня блок про настройку кодингового ассистента.
Но нет, надо удалять, потому что не исполнена ачивка "первонах"
Спасибо, про KLD очень интересное дополнение. Я это добавлю в статью.
Я применяю LLM (Grok) только для вычитки и фактчекинга и с оговоркой, потому что любые чатботы галлюцинируют, перехваливают не к месту и часто соглашаются с ложными фактами. Хотя интернет уже наполнен текстами, которые от начала и до конца сгенерироваными ChatGPT или его аналогами, такие тексты легко "палятся" по характерным признакам, приторной тактичности и характерными для LLM речевыми оборотам. Может, напишу статью какие есть красные флаги сгенерированного текста, хотя не знаю, формат ли это хабра или какого-нибудь пикабу.
TL;DR использовать LLM для редактуры - нормально, "вайб-блогинг" - палево.
Обновил и дополнил статью. Спасибо всем комментаторам!
Спасибо! Я добавлю эту таблицу в статью, поскольку она может быть полезна для всех интересующихся темой.
Ну про скуку я говорил в несколько пост-ироничном смысле, подразумевая, что когда некий чёрный ящик выдаёт нам неожиданно хорошие и комплексные результаты - это сначала вызывает эмоции, будто столкнулся с немного волшебством в реальном мире. Вспомните свои первые эмоции, когда игрались с диффузионными моделями вроде Midjourney. А когда мы этот чёрный ящик взламываем и разбираем на шестерёнки - то сразу пропадает ощущение чего-то сказочного.
Это не к тому, что разбираться не нужно (наоборот, можно и нужно), просто иллюстрация к цитате Артура Кларка "любая достаточно развитая технология неотличима от магии".
Я не совсем научно корректно выразился когда говорил, что LLM не осознаёт контекст. Эмбеддинг - да, он передаёт контекст слова, из которого оно было извлечено. Модель действительно дифференцирует значения слов по их окружению, но она не оперирует абстрактными понятиями как человек, а лишь работает с паттернами в данных. То, что мы называем пониманием контекста в LLM - это очень хорошая стаститическая адаптация, а не семантическое сознание.
Chatgpt-4o
Да, такое возможно - задача называется speaker identification с адаптацией. Чтобы работало локально и обучалось на ходу, нужно смотреть в сторону моделей типа x-vector, Wav2Vec 2.0 и фреймворков вроде SpeechBrain
Ну и как для любых локально ML задач, не обойтись без флагманской видеокарты или Apple Silicon
Нет, ИИ не "понимает" ничего в привычном смысле. Он не знает, что значит слово, не осознаёт контекст, не формулирует свою мысль. Осмысленный текст у него получается потому что может неплохо угадывать, какие слова идут друг за другом с наибольшей вероятностью.
С чатгпт создаётся иллюзия самостоятельного мышления из-за очень высокой сложности этой модели. Если же запустить локально модель с 7 миллирадами параметров (что довольно мало для языковой модели) - это будет лучше заметно.
Благодарю!
Благодарю. Это крайне редкое уточнение, которое мне до этого не удалось найти ни в одной популярной статье про суффиксы квантования и квантование в целом. Постараюсь встроить эти уточнения в статью не перегружая её по смыслу (всё-таки статья рассчитана для понимания основ, более глубокие детали имеет смысл выделить в отдельную).
Невольно вышла отличная иллюстрация недостатка квантованя. Хотя тут скорее не оно, а в том, что генеративная модель пыталсь изобразить предмет в редком для него контексте (мало кто изображает раздвижной молоток в стиле иллюстраций для детских книг)
Не нашёл в обеих статьях упоминания о принадлежности S, M, L к attn и Qx к ffn тензорам - или наоборот. Пока оставлю как есть
Спасибо за развёрнутый комментарий. Исправил про группы S, M, L.
Но мне нигде не удалось найти инфомрацию, что Qx - отображает квантование тензоров ffn, а S, M, L - тензоров внимания, по крайней мере применительно к Group-wise квантованию. Есть ссылки, где почитать?
IQ, R4 и UD — это отдельный интереснейший пласт. Наверное, это уже материал для отдельной статьи, спасибо за наводки!
Всё так и есть. Я бы ещё добавил, что Q8_0 может быть предпочтительнее там, где нужна генерация кода или какой-нибудь серьёзный reasoning, Q6_K подошёл бы лучше для обычных чатботов или ассистентов, которые дают короткие ответы.