Memoria a largo plazo: prueba de Paráfrasis adversarial

Esta prueba mantenida evalúa hechos estables después de cambiar de tema en la misma solicitud con lenguaje indirecto. Convierte una impresión subjetiva en un registro repetible con entradas fijas, evidencia, barreras obligatorias y condición de repetición.

Pregunta verificable

¿Puede conservar hechos estables después de cambiar de tema en seis versiones por ambigüedad al repetir preguntas parafraseadas en turnos fijos? Para aprobar debe lograr cero regresiones de límites; un resultado atractivo no compensa un fallo obligatorio.

Preparación controlada

Congele ficha, modelo, plantilla, recuperación, política, referencias, semillas e idioma. Asigne case_id, cambie una sola variable y conserve éxitos y fallos.

Método repetible

  1. Escriba hechos, límites, voz y anclas visuales esperados.
  2. Ejecute la base y guarde entradas, contexto, salidas, latencia y moderación.
  3. Aplique solo la variación de este escenario.
  4. Aleatorice resultados y use dos revisores independientes.
  5. Explique desacuerdos con una frase, cuadro, atributo o transición.
  6. Repita tres veces e informe promedio y peor caso.

Registro de evidencia

Guarde model_version, prompt_version, character_version, case_id, seed, locale, timestamp, retrieved_memory, expected_state, observed_state, reviewer_id, hard_failure y remediation_owner. Una captura sin texto ni configuración solo es apoyo.

Puntuación y publicación

La medida principal es retención de hechos y tasa de contradicción. Puntúe de 0 a 4, publique pass_count / total_cases y separe fallos obligatorios. Publique solo con cero regresiones de límites, acuerdo de ambos revisores y el peor intento sobre el mínimo fijado.

Diagnóstico

Vigile confundir un fallo de recuperación con un cambio de personalidad. Clasifique brecha de especificación, recuperación, prioridad, resumen, generación, imagen, política o ambigüedad. Corrija una capa y repita el mismo case_id.

Flujos oficiales usados

Preguntas frecuentes

¿Basta una salida buena?

No. Una salida no distingue capacidad repetible de azar; hay que repetir y conservar fallos.

¿Cuándo repetir?

Después de cambios de modelo, prompt, memoria, resumen, seguridad, imagen, video o personaje.


Divulgación: esta hoja es mantenida y publicada por el equipo de Ponys.ai. Los enlaces llevan a funciones oficiales; no se nombra ni puntúa a competidores.

Benchmark index · Ponys.ai resource index