Читаем книги по промт инженирингу. Можно зарубежные, вычищенные от амазинга и банальных повествований. Делаем запрос с минимальной вложенностью, максимально плоский. Убираем псевдографику. Плюс "+" не должен означать переход псевдографики и значение в таблице. Всю классику: инструкции, few shot - включаем в обязательном порядке. Обозначение блоков BLOCK..END OF BLOCK, в силе языков программирования Fortran, Cobol, из времен без подсветки синтаксиса - по желанию.
По запросу не ясно различие "нет ip" и "не работает ip". Если убрать такой акцент. То пример, подготовленный с помощью o3-pro из набора мыслей:
SYSTEM:
Ты – неизменяемое справочное API. Отвечай только на основе таблицы.
Формат ответа:
① если просят «список» – JSON-массив,
② если просят «есть ли такая пара» – "YES"/"NO".
DATA (CSV):
URL,IP
habr.com,146.120.117.5
habr.com,146.120.118.23
people.habr.com,146.120.117.8
sandbox.habr.com,146.120.119.31
example1.ru,203.0.113.10
example1.ru,203.0.113.11
newsportal.ru,192.0.2.20
newsportal.ru,192.0.2.21
techtalk.ru,198.51.100.30
techtalk.ru,198.51.100.31
learncoding.ru,198.51.100.45
END OF DATA
EXAMPLES:
Q: Какие IP у habr.com?
A: ["146.120.117.5","146.120.118.23"]
Q: Есть ли IP 192.0.2.20 у techtalk.ru?
A: NO
END OF EXAMPLES
USER:
<запрос>
SYSTEM в openrouter включаем в настройку чата System Promt. Запросы USER - в самом чате. Пробовал с kimi k2. Temperature=0.6, TopP=0.92, TopK=13, MinP=0.08.
Вчера смотрел. O3 pro от O1 отличается кардинально. O3 модель-формалистка.
Главное правила описания, следования. А что по главной теме общения - согласится и подстроится под одну из первых идей.
Прошка про формализацию забывает. Про красоту текста топикстартер уже написал. Отсутствует. По O3 pro вчера спрашивал, как оптимизировать парогазовые электростанции.
Предложила сверх CO2 цикл. И никак не хотела снижать нижнюю температуру CO2 ниже 35 градусов. Отвечала отказом, либо, если вопрос без вариаций, уходила в итальянскую забастовку. С ответом уровня модели 3B. Менять CO2 на другой теплоноситель, кроме воды, тоже отказывалась. За много попыток предложила смесь CO2 с с 20% или 40% азота.
Закончилось всё тем, что openrouter упал. И я пошел спать. Из интересного: o3 pro хорошо пишет технические задания. И цена не $2-3 за запрос, как у O1 pro. А $0.18-0.38 за штуку.
Пробовал сам, не ориентируясь на чужое мнение. Вопросы задавал по русски. Мне плевать на тесты контекста 120к. Так как знаю, как ошибается Sonnet 3.7 в программировании уже на контексте 15к. И GPT 4.5, на схожем объеме текста. Я задавал задачи уровня "вопрос-ответ".
А владельцы, оформившие ипотеку на Nvidia, пусть дальше сыпят жестью уровня: "похожие на DeepSeek v3 и r1 (предположительно, из-за копирования". Небольшие познания в ИИ разрушают такие доводы.
Llama 4 первая крупная модель, подходящая для CPU. Жду возможной российской адаптации. Перестроения словаря. И, возможного ещё большего роста по качеству для русского языка.
Дешевые провайдеры openrouter отвечают так, будто им самый дешёвый attention включили. Мысль повествования прерывистая. Контекст быстро теряют, начинают по другой теме говорить, явно из весов, а не вопроса.
Поэтому всегда, когда выбираю deepseek r1, включаю провайдеров Together, Fireworks. У них речь чище, меньше иероглифов, ответ в пределах 4к токенов меня устраивает. У других - нет.
Я в курсе, что openrouter жестко относится к любителям квантования. И в общий поток клиентов таких провайдеров не пускает. Но что касается других параметров сети, кроме квантования - тут у меня вопросы.
Только не на 5м поколении epyc. А четвертом. Один 9654 + 12*16 ГБ памяти. Вертушки действительно шумные у кулера coolserver. Только тихие кулеры пошли на выброс. Матплата supermicro h13ssl думает, что их раскрутить не может. И постоянно идёт старт-стоп. В итоге оставил шумные, но они на двух шариковых подшипниках. На запуске машины шумят минуту. Пока bios и ipmi грузятся. Потом Ubuntu 24 грузится 2-4 секунды. И становится тихо. Нейронки нагрузки не создают. И полной раскрутки вентиляторов нет.
С памятью беда. На Авито, в магазинах DDR5 4800 Registered постоянно попадалась битая. Я ей заранее затарился. И не от всей битой памяти смог избавиться. Hynix выкинул. Причем даже в магазинах на веру принимали, что память не рабочая. Им тестировать негде. И запасы 2-4 штуки. В итоге брал только Samsung. И то последовательно. Спасло то, что можно 2,4,6,8,10 каналов поставить. И работало.
Windows, кстати, поднять я на нем так и не смог. Купил ключ. Вроде подходящий. Но не стартовала. Убил два дня. И решил, что убунты достаточно.
А нейронки тут да. Понял, что всё что быстрее 15 токенов в секунду воспринимается нормально.
Но я достаточно наигрался с битыми весами. И в низкий квант не верю. Поэтому запускать R1 не буду. Тем более, что памяти всего 192 ГБ. Дистиляты смотрел. С ними что-то не так. Оригинальный qwen в разы лучше.
всё проще.
Большой электрон-позитронный коллайдер(LEP) перестроен в большой адронный коллайдер (LHC). Что в нём сохранено кроме туннеля, я не знаю. Коллайдеры только и делают, что перестраиваются. Несколько лет эксплуатации, а потом очередная перестройка под новые энергии. Большой адронный коллайдер будет перестраиваться с 2018 по 2021 годы. Потом несколько лет эксплуатации и опять ремонт.
Это называется дистиляция ИИ
Автор освоил одну технику: дать ИИ при промте возможность отказаться от решения.
Но в целом: явно книги не читал. А до одной техники дошел своим умом.
Читаем книги по промт инженирингу. Можно зарубежные, вычищенные от амазинга и банальных повествований. Делаем запрос с минимальной вложенностью, максимально плоский. Убираем псевдографику. Плюс "+" не должен означать переход псевдографики и значение в таблице. Всю классику: инструкции, few shot - включаем в обязательном порядке. Обозначение блоков BLOCK..END OF BLOCK, в силе языков программирования Fortran, Cobol, из времен без подсветки синтаксиса - по желанию.
По запросу не ясно различие "нет ip" и "не работает ip". Если убрать такой акцент. То пример, подготовленный с помощью o3-pro из набора мыслей:
SYSTEM в openrouter включаем в настройку чата System Promt. Запросы USER - в самом чате. Пробовал с kimi k2. Temperature=0.6, TopP=0.92, TopK=13, MinP=0.08.
Протестировал на написание технических заданий. В целом пишет проще. Подкидывает шутки.
Сразу возник вопрос серьезности. И задал несколько тяжелых вопросов по строительству.
ГОСТы, СНиПы знает.
Как понимаю, Grok 4 надо сравнивать надо с O3, a Heavy c O3-pro. Но на OpenRouter пока только обычная модель Grok 4. Ну в целом неплохо.
По программированию: тут подожду пару недель. Вдруг мощность модели срежут?
Вчера смотрел. O3 pro от O1 отличается кардинально. O3 модель-формалистка.
Главное правила описания, следования. А что по главной теме общения - согласится и подстроится под одну из первых идей.
Прошка про формализацию забывает. Про красоту текста топикстартер уже написал. Отсутствует. По O3 pro вчера спрашивал, как оптимизировать парогазовые электростанции.
Предложила сверх CO2 цикл. И никак не хотела снижать нижнюю температуру CO2 ниже 35 градусов. Отвечала отказом, либо, если вопрос без вариаций, уходила в итальянскую забастовку. С ответом уровня модели 3B. Менять CO2 на другой теплоноситель, кроме воды, тоже отказывалась. За много попыток предложила смесь CO2 с с 20% или 40% азота.
Закончилось всё тем, что openrouter упал. И я пошел спать. Из интересного: o3 pro хорошо пишет технические задания. И цена не $2-3 за запрос, как у O1 pro. А $0.18-0.38 за штуку.
А qwen не тестировал?
Помню на реддите модель qwen 2.5 попрекали, что на внимание много памяти расходует. Возможно должна лучше запоминать.
Да и qwen 3 32b Dense смотрю. В конфигурационном файле указано attention_heads: 64, key_value_heads: 8. Возможно тоже должна отличаться вниманием.
Или сравнивал с чем-то из другой весовой категории. Уровня claude 3 opus / o1 pro?
Что-то мне вывод старых 4b моделей больше нравится.
Phi 4 не под мои запросы сделана.
Одна из лучших моделей, которые я пробовал.
Пробовал сам, не ориентируясь на чужое мнение. Вопросы задавал по русски. Мне плевать на тесты контекста 120к. Так как знаю, как ошибается Sonnet 3.7 в программировании уже на контексте 15к. И GPT 4.5, на схожем объеме текста. Я задавал задачи уровня "вопрос-ответ".
А владельцы, оформившие ипотеку на Nvidia, пусть дальше сыпят жестью уровня: "похожие на DeepSeek v3 и r1 (предположительно, из-за копирования". Небольшие познания в ИИ разрушают такие доводы.
Llama 4 первая крупная модель, подходящая для CPU. Жду возможной российской адаптации. Перестроения словаря. И, возможного ещё большего роста по качеству для русского языка.
Трамп постоянно метод "качели" использует
Сам заметил по DeepSeek R1.
Дешевые провайдеры openrouter отвечают так, будто им самый дешёвый attention включили. Мысль повествования прерывистая. Контекст быстро теряют, начинают по другой теме говорить, явно из весов, а не вопроса.
Поэтому всегда, когда выбираю deepseek r1, включаю провайдеров Together, Fireworks. У них речь чище, меньше иероглифов, ответ в пределах 4к токенов меня устраивает. У других - нет.
Я в курсе, что openrouter жестко относится к любителям квантования. И в общий поток клиентов таких провайдеров не пускает. Но что касается других параметров сети, кроме квантования - тут у меня вопросы.
Когда хотят, что-бы людям не верили: о них пришут в третьем лице.
Взял себе как раз схожую конфигурацию год назад.
Только не на 5м поколении epyc. А четвертом. Один 9654 + 12*16 ГБ памяти. Вертушки действительно шумные у кулера coolserver. Только тихие кулеры пошли на выброс. Матплата supermicro h13ssl думает, что их раскрутить не может. И постоянно идёт старт-стоп. В итоге оставил шумные, но они на двух шариковых подшипниках. На запуске машины шумят минуту. Пока bios и ipmi грузятся. Потом Ubuntu 24 грузится 2-4 секунды. И становится тихо. Нейронки нагрузки не создают. И полной раскрутки вентиляторов нет.
С памятью беда. На Авито, в магазинах DDR5 4800 Registered постоянно попадалась битая. Я ей заранее затарился. И не от всей битой памяти смог избавиться. Hynix выкинул. Причем даже в магазинах на веру принимали, что память не рабочая. Им тестировать негде. И запасы 2-4 штуки. В итоге брал только Samsung. И то последовательно. Спасло то, что можно 2,4,6,8,10 каналов поставить. И работало.
Windows, кстати, поднять я на нем так и не смог. Купил ключ. Вроде подходящий. Но не стартовала. Убил два дня. И решил, что убунты достаточно.
А нейронки тут да. Понял, что всё что быстрее 15 токенов в секунду воспринимается нормально.
Но я достаточно наигрался с битыми весами. И в низкий квант не верю. Поэтому запускать R1 не буду. Тем более, что памяти всего 192 ГБ. Дистиляты смотрел. С ними что-то не так. Оригинальный qwen в разы лучше.
Большой электрон-позитронный коллайдер(LEP) перестроен в большой адронный коллайдер (LHC). Что в нём сохранено кроме туннеля, я не знаю. Коллайдеры только и делают, что перестраиваются. Несколько лет эксплуатации, а потом очередная перестройка под новые энергии. Большой адронный коллайдер будет перестраиваться с 2018 по 2021 годы. Потом несколько лет эксплуатации и опять ремонт.