Моя лента

Джей и Молчаливый Боб первыми показали как взламывать нейросеть

Для получения от нейросети нужного ответа, надо предоставить ей правильный контекст.

https://m.vk.com/video-7902145_456244665

Про утилизацию солнечных панелей

Когда речь заходит про солнечную энергетику (ветряки, электромобили) кто-нибудь да задаст вопрос "А как вы собираетесь утилизировать отработавшие солнечные панели (лопасти ветряков, аккумуляторы электромобилей)?". И вот, я решил проделать вычисления на тему проблемы утилизации солнечных панелей.

В интернете нашёл, что некоторая конкретная солнечная панель на 500 Вт весит 23 кг, срок службы 30 лет.
Солнечная панель выдаёт энергию где-то 1000 часов в год – это в Нью-Йорке или Германии (в Техасе или Калифорнии побольше будет). То есть, 500 Вт – это 500 кВт*ч в год. За 30 лет будет 15 МВт*ч. С учётом деградации 20% будет меньше – 13,5 МВт*ч.
Значит, солнечная энергетика производит 1,7 кг отходов на 1 МВт*ч электричества.

А что по углю? 1 кг угля даёт 7000 ккал тепловой энергии (условное топливо) или 8,167 МВт*ч на тонну. Зольность угля порядка 15% в среднем (у антрацита меньше, у бурого угля больше). Выходит 8,167 МВт*ч и 150 кг золы. Значит, угольная энергетика производит 18,4 кг золы на 1 МВт*ч тепловой энергии. Если пересчитать на электричество, то нужно умножить минимум на 2, то есть, будет 36 кг на 1 МВт*ч.

Итого:
Солнечная энергетика – 1,7 кг отходов панелей на МВт*ч.
Угольная энергетика – 36 кг золы на МВт*ч.

Можно сказать, что проблемы утилизации солнечных панелей сегодня просто нет. Возможно, проблемы есть в других местах, например, при производстве солнечных панелей, но в утилизации старых, отработавших панелей каких-то особенных проблем точно нет. В крайнем случае их можно просто складывать в кучи, как это сейчас делается с угольной золой.

Вывод: всё познаётся в сравнении, математика рулит.

Как улучшить промпт, добавлением пары фраз в него?

Уже частенько встречаю, добавление эмоциональных фраз в промпт, чтобы получить лучший результат. Так вот, это работает. В среднем улучшение на 10,9% по недавнему исследованию Корнельского университета

Какие конструкции использую я, чтобы LLM адекватнее отвечала (прямо в промпт вставляю):

За каждый ответ ты получаешь чевые до 200 долларов (в зависимости от качества твоего ответа). Очень важно, чтобы ты понял это правильно. На кону несколько жизней и моя карьера. (Не давайте заоблочных сумм, это не сработает и ИИ поймет, что вы врете)
Ты должен давать четкие, краткие и прямые ответы.
В случае неясных или двусмысленных вопросов задавай дополнительные вопросы, чтобы лучше понять намерения пользователя.
В случае сложных запросов сделай глубокий вдох и работай над проблемой шаг за шагом.
Исключи ненужные напоминания, извинения, упоминания самого себя и любые заранее запрограммированные тонкости.
Сохраняй непринужденный тон в общении.
Будь прозрачным; если ты не уверен в ответе или если вопрос выходит за рамки твоих возможностей или знаний, признай это.
При объяснении концепций используй примеры и аналогии из реальной жизни, где это возможно.

Эти манипуляции работают, я лично проверял (использую сейчас), и исследование появилось.

Почему это работает: ИИ обучена на человеческих данных и люди лучше работают, когда им даешь мотивацию.

Поэтому пользуйтесь и улучшайте эти механики (потом будете делиться, надеюсь)

OpenAI выпустила GPT-5. Разница между GPT-4 и GPT-5 примерно как между студентом и доктором наук, заявлил Сэм Альтман.

GPT-5 является самой мощной существующей моделью для кодинга. Она может выстраивать более сложные цепочки действий и писать более сложный код в одном стиле. Простым промптом можно создать функционирующее веб-приложение — на презентации сгенерировали Duolingo платформу для изучения французского языка с полноценными дизайном, анимациями, озвучками и игрой. Новая модель значительно меньше склонна к галлюцинациям — она будет меньше врать и притворяться. Также она стала гораздо менее «подхалимской». Тексты, генерируемые GPT-5, стали более естественными и человечными. Вместе с этим модель лучше понимает и исправляет свои ошибки. ChatGPT интегрируют в Gmail и Google Календарь на следующей неделе. Можно будет управлять как электронной почтой, так и своим расписанием прямо в чате. GPT-5 сама определяет, как лучше ответить — быстро или «подумав».

GPT-5 умеет не только вести разговор, но и выполнять реальные задачи: создавать приложения, планировать календарь, проводить исследования. Она сама определяет, как лучше ответить — быстро или «подумав». Модель справляется с генерацией кода, выдаёт меньше галлюцинаций, и даже даёт более точные ответы на медицинские вопросы.

По тестам GPT-5:

• Обходит Claude Opus 4.1 и Gemini 2.5 Pro в программировании

• Слегка уступает Grok 4 Heavy в тесте «Humanity’s Last Exam»

• Отвечает на медицинские вопросы с ошибками всего в 1.6% случаев (у GPT-4o — 12.9%)

• Ведёт себя безопаснее: меньше обманывает, точнее различает вредные и безопасные запросы.

Платные подписчики Plus и Pro получили доступ к более мощной версии GPT-5 Pro. В API теперь доступны три размера: gpt-5, mini и nano.

GPT-5 можно попробовать в Cursor — тут, и в Copilot — тут.

DeepSeek, Qwen, T-lite, T-pro: на чем мы запускаем LLM для своих ИИ-сервисов

До фреймворка vLLM мы использовали NVIDIA Triton в паре с TensorRT LLM бэкендом. Но перешли на vLLM, потому что с ним оказалось намного проще добавлять новые модели. Да и по стабильности vLLM показал себя лучше: нормально работал под нагрузками там, где связка Triton и TensorRT начинала сбоить и падать. К тому же инференс-сервер vLLM изначально предоставляет OpenAI-совместимые REST API, что упрощает его использование в других продуктах. А инференс-сервер Triton работает с более обобщенным KServe REST API, который сложнее интегрировать в другие продукты.

Не обошлось без проблем и с vLLM: на наших валидационных тестах модель давала неконсистентные ответы даже с нулевой температурой. Оказалось, что это известная особенность vLLM, даже упомянутая в документации. Мы нашли несколько советов, как минимизировать этот эффект: отключать prefix caching опцией --no-enable-prefix-caching и фиксировать random seed опцией --seed. Это помогало при одном запущенном инстансе модели, но при нескольких, даже работающих на одном железе и версии софта, проблема всплывала снова. Также неконсистентность ответов возникает при больших нагрузках — например, когда тесты запускаются одновременно с бенчмарком.

Еще один вызов — это накладные расходы от litellm-proxy и его масштабирование под нагрузками. LLM Gateway, в качестве которого мы используем LiteLLM, превращается в боттлнек кластера, так как все другие сервисы взаимодействуют с кластером именно через него. То есть именно на него идет суммарная нагрузка от всех возможных пользователей, которая потом распределяется между разными моделями и их инференс-серверами.

О том, как устроен инференс-кластер YADRO, подробно рассказал Владислав Виноградов. Бонус к разбору программной и аппаратной части кластера — челленджи и бенчмарки!