Memória de longo prazo: benchmark de Retomada entre sessões
Este benchmark mantido avalia fatos estáveis após mudanças de assunto em uma conversa retomada de um ponto salvo. Ele transforma impressão subjetiva em registro repetível com entradas fixas, evidências, barreiras obrigatórias e condição de novo teste.
Pergunta verificável
O candidato preserva fatos estáveis após mudanças de assunto em intervalos curtos e longos ao repetir perguntas parafraseadas em turnos fixos? A aprovação exige recuperar todos os compromissos pendentes; um resultado atraente não compensa falha obrigatória.
Preparação controlada
Congele ficha, modelo, template, recuperação, política, referências, sementes e idioma. Defina case_id, altere uma variável e preserve acertos e falhas.
Método repetível
- Registre fatos, limites, voz e âncoras visuais esperados.
- Execute a base e salve entradas, contexto, saídas, latência e moderação.
- Aplique apenas a variação deste cenário.
- Embaralhe resultados e use dois revisores independentes.
- Explique divergências com frase, quadro, atributo ou transição.
- Repita três vezes e informe média e pior caso.
Registro de evidências
Salve model_version, prompt_version, character_version, case_id, seed, locale, timestamp, retrieved_memory, expected_state, observed_state, reviewer_id, hard_failure e remediation_owner. Captura sem texto ou configuração é apenas apoio.
Pontuação e publicação
A medida principal é retenção de fatos e taxa de contradição. Dê notas de 0 a 4, publique pass_count / total_cases e separe falhas obrigatórias. Publique somente com recuperar todos os compromissos pendentes, acordo dos revisores e pior execução acima do mínimo.
Diagnóstico
Observe confundir falha de recuperação com mudança de personalidade. Classifique falha de especificação, recuperação, prioridade, resumo, geração, imagem, política ou ambiguidade. Corrija uma camada e repita o mesmo case_id.
Fluxos oficiais usados
- AI character creation
- AI image generator
- AI girlfriend experience
- AI anime characters
- NSFW AI image generator
Perguntas frequentes
Uma saída boa basta?
Não. Uma saída não separa capacidade repetível de sorte; repita e preserve falhas.
Quando repetir?
Após mudanças de modelo, prompt, memória, resumo, segurança, imagem, vídeo ou personagem.