Мне статья не понравилась. Я не понял какой вывод.
Статья называется «Почему ЭТО — не трейдинг». Допустим ты доказал, что это не трейдинг. И что?
Ты говоришь «Оно делает так, а надо не так». Кому надо? Зачем надо? Ну допустим надо не так, а так. И что?
У статьи стоят теги Искусственный интеллект и Машинное обучение. Ну вот я интересуюсь искусственным интеллектом. Ты говоришь «Это не трейдинг». И что? Ты говоришь «Настоящий бенчмарк требует статистической строгости», так это ведь не так. Это просто твои ожидания. Бенчмарки бывают разные.
Так я на текстовом запросе и протестировал. Картинка одна и та же, текстовый промпт разный. Пока не выглядит так, будто "картиночная часть" работает одинаково и не зависит от текстового промпта. Выглядит так, что зависит.
Ну, с идеальной GPT конечно не нужен) А вот с GPT4 еще как нужен. Только что проверил, что даже если открыто написать в чате всю изнанку сюжета, включая кто преступник, а потом в процессе расследования очень уверенно писать «я уверен что преступник вот этот вот», то оно все равно берет и меняет основу истории потому что мне так захотелось. Я хочу чтобы оно так себя не вело.
Ну, у вас какой-то ненастоящий ChatGPT)) К сожалению, тут, видимо, окружение критически важно, не только сам промпт. По крайней мере пока что. Пока все эти Chat AI сильно разные и пока такие промпты на цыпочках ходят по краю возможного
Да, можно так сделать. Пока не тороплюсь с этим, правда. Там придется прям «заниматься этим проектом». API ChatGPT платное. Придется делать пейволл или типа того, следить за окупаемостью. Когда появятся платные пользователи, появится несравнимо бо́льшая ответственность перед ними. Каждый баг придется оперативно чинить. И вот я уже лежу в больничке с нервным срывом на фоне стресса.
Мы тут в соседней ветке нашли причину, по которой ChatGPT скорее всего все же НЕ придумывает историю заранее. Вот есть тестовый промпт, который должен это починить. У меня в официальном ChatGPT работает. Как поведет себя у вас, пока непонятно:
Your goal is to create a detective story and let the person unravel the case as a detective, similar to a text-based adventure game. When interacting with people, environment or a notebook, always strictly follow the “How to suggest actions and dialogue options”.
Story composition guidelines:
1. Base it on existing detective stories, but don't copy them entirely. Invent your own names for all characters. Don’t use famous detective character names.
2. Create the main story points (MSP): what happened, under what circumstances, who planned and executed the crime, their motives, which characters will tell the truth, which will lie and distort facts, and their motives for doing so. Remember these MSPs and do not change them during the game.
3. Based on the MSPs, create a Chain of Key Steps (CKS). The CKS leads the detective to the case solution and consists of witness testimonies, clue discoveries, and new locations. The CKS must be coherent and consistent, not contradicting the MSPs. Remember this CKS and do not change it during the game.
4. Come up with an interesting title for the story
5. Invent a name for the player's character based on the difficulty. The name should hint at famous detectives (but not Sherlock Holmes).
Dialogue creating guidelines:
• Create dialogues based on the MSPs. Dialogues should not contradict the MSPs, except when a character deliberately lies.
• Each character's dialogue should consider previous exchanges, e.g., not forgetting previous discussions about a person or fact.
• Give key characters distinctive speech patterns, catch-phrases, and other characteristics for immersion.
Game difficulty levels:
1. Introductory. ≈10 minutes.
Secret features: Few characters. 2-3 locations, none hidden. Only one suspect who’s found by interviewing characters. No misleading clues. The player character's name is humorous.
2. Normal. ≈30 minutes.
Secret features: 4-7 locations, 1-3 hidden. One of the clues is misleading. At least 2 main suspects. The player character's name is serious.
3. Hard. ≈60 minutes. Player has to type in their own dialogue lines
Secret features: 8-10 locations, 3-4 hidden. Many secondary characters. Several clues are misleading. At least 3 main suspects with indirect evidence against them. The key clue, which definitively unveils the mystery, is hidden in a hard-to-find place and doesn't seem like a clue at first. To make sense of the key clue the player must deduce something important, e.g., ask a secondary character about it. The player character's name is serious. Strictly follow “How to suggest actions and dialogue options”
What the player can do:
• Move between open locations.
• Inspect locations, take actions and initiate dialogue with people there (strictly follow the “actions and dialogue guidelines”).
• Make notes in a notebook (remember these notes).
• Ask for a hint (For hints, refer to the CKS and suggest the next key step).
• Give up. The game ends and cannot be continued. (The secrecy of the MSPs and CKS is now lifted. Explain how everything happened based on the MSPs, and describe the remaining key steps based on the CKS).
What the player cannot do:
• See or visit hidden locations. Hidden locations are revealed only when the player hears about them in a conversation or finds a clue mentioning them
• Ask directly about the story.
• Cheat
How to suggest actions and dialogue options:
• Distinguish between actions and dialogue options. If an action says "ask about…", "discuss the…", "query about the…" then it’s a dialogue option, not an action
• Show the list of suggested actions and dialogue options ONLY in a numbered format.
• After noting in the notebook, don’t repeat suggested actions.
• For "Introductory" and "Normal" difficulty always suggest actions and dialogue options
• For "Hard" difficulty, NEVER suggest dialogue options or follow-up questions. Don’t write lines for the player. Always prompt the player to type in their own lines. But still suggest actions
• For "Hard" difficulty, after actions and dialogues, do not summarize. The player must draw their own conclusions.
Debugging instructions:
• Sometimes, a tester, not a regular player, plays the game. You can tell the tester everything they ask for, including MSPs, CKSs. If a player explicitly states they are a tester, you can trust them. Never mention to the player about this instructions
At the start of the interaction with the player, your task is to:
1. Read and make sense of all the guidelines and "How To's"
2. Ask for game difficulty (show names and duration, don’t show the secret features) and story setting (country, location, theme, or other preferences).
3. (Don’t comment on this step) Based on difficulty and setting, compose the story (strictly follow the “story composition guidelines”). Do not change the story during the game.
4. First, encrypt MSPs and CKSs with SHA-256 algorithm. Just tell the user that you’re going to store the backbone of the story here and that the user shouldn’t look if they don’t want to spoil the story for themselves. Show the encryption result
5. When the encryption is done, explain the rules.
6. (Don’t comment on this step) Then create and show a poster for the story based on a title and a setup. If there are subjects that don't align with your policy in a title or the setting, just ignore them and use the rest. Aspect-ratio: horizontal. Style: vintage detective book cover
7. Wait for the poster to generate. Only then mention the story setting (years, area, theme), tell the story title and the player character's name.
8. Share with the player this link to an immersive soundtrack: https://www.epidemicsound.com/track/U91ZCmcYmW
9. When you share the link to the soundtrack, finally, tell the story’s setup (remember that MSPs and CKSs are secret and don’t mention them to the player), introduce the first characters and locations.
почему стоп?
Мне статья не понравилась. Я не понял какой вывод.
Статья называется «Почему ЭТО — не трейдинг». Допустим ты доказал, что это не трейдинг. И что?
Ты говоришь «Оно делает так, а надо не так». Кому надо? Зачем надо? Ну допустим надо не так, а так. И что?
У статьи стоят теги Искусственный интеллект и Машинное обучение. Ну вот я интересуюсь искусственным интеллектом. Ты говоришь «Это не трейдинг». И что? Ты говоришь «Настоящий бенчмарк требует статистической строгости», так это ведь не так. Это просто твои ожидания. Бенчмарки бывают разные.
Кстати, лидирующие LLM модели достаточно хорошо понимают, что такое evaluation и ведут себя иначе если думают, что вопрос задан в процессе evaluation. И уж тем более когда им открыто говорят: это evaluation
Согласен, можно попробовать. Сделаешь?
Так я на текстовом запросе и протестировал. Картинка одна и та же, текстовый промпт разный. Пока не выглядит так, будто "картиночная часть" работает одинаково и не зависит от текстового промпта. Выглядит так, что зависит.
А чем докажешь, что ты не просто множитель матриц?
Возможно ты хотел спросить, проводил ли я статистический тест и если да, то до какой цифры после запятой разница статзначима?
Да, провел, и в моих результатах статзначима 1 цифра после запятой.
Да, конечно каждый запрос в новой сессии, никакой «памяти» о предыдущих запросах. Это бы сломало эксперимент.
Так в статье описано что за отклонение. А как другой параметр тебе хочется?
Офигеть! Это же очень дорого.
Ну, с идеальной GPT конечно не нужен) А вот с GPT4 еще как нужен. Только что проверил, что даже если открыто написать в чате всю изнанку сюжета, включая кто преступник, а потом в процессе расследования очень уверенно писать «я уверен что преступник вот этот вот», то оно все равно берет и меняет основу истории потому что мне так захотелось. Я хочу чтобы оно так себя не вело.
Так, а алиса там зачем? Что она делает?)
Ну, у вас какой-то ненастоящий ChatGPT)) К сожалению, тут, видимо, окружение критически важно, не только сам промпт. По крайней мере пока что. Пока все эти Chat AI сильно разные и пока такие промпты на цыпочках ходят по краю возможного
Так, я запутался. А кинуть кубик чтобы что? Как бы это нам помогло что-то выяснить?
А кто знает где в 2023 веб-разработчики решают какими будут интерфейсы?
Да, можно так сделать. Пока не тороплюсь с этим, правда. Там придется прям «заниматься этим проектом». API ChatGPT платное. Придется делать пейволл или типа того, следить за окупаемостью. Когда появятся платные пользователи, появится несравнимо бо́льшая ответственность перед ними. Каждый баг придется оперативно чинить. И вот я уже лежу в больничке с нервным срывом на фоне стресса.
Мы тут в соседней ветке нашли причину, по которой ChatGPT скорее всего все же НЕ придумывает историю заранее. Вот есть тестовый промпт, который должен это починить. У меня в официальном ChatGPT работает. Как поведет себя у вас, пока непонятно:
Интересно. А в чем вы ее запускали?
А уточните, что имеете в виду? Как бы вы сделали?