Respuestas
Por qué un comparativo deja de ser legible si cambian los prompts
Si el conjunto de prompts varía entre dos mediciones, el comparativo pierde sentido: las dos cifras ya no describen las mismas preguntas. Un registro con identificadores estables permite recalcular solo sobre la intersección y dejar a la vista lo que no es comparable.
Cuando el conjunto de prompts cambia de una medición a otra, el comparativo deja de ser legible porque las dos cifras ya no describen el mismo conjunto de preguntas: las que planteaste a ChatGPT y a Google en una medición ya no coinciden con las de la anterior, y la diferencia que ves puede venir del cambio de perímetro y no de una variación real de visibilidad. Ejemplo ilustrativo, no una función del producto: imagina que anotaste diez preguntas planteadas a ChatGPT y a Google, que repites la medición con doce prompts y que el valor sube; sin saber qué prompts entraron y cuáles salieron, ese salto no se puede interpretar.
Las tres causas de una discontinuidad
En la práctica, una discontinuidad entre dos mediciones tiene tres orígenes distintos, y conviene separarlos antes de leer cualquier número.
- Prompts añadidos o eliminados. El conjunto cambia de cardinalidad: la media o el agregado se mueve porque cambia la base de cálculo, no porque cambie la respuesta de los motores.
- Prompts reformulados. La pregunta es la misma en esencia, pero el texto es distinto: para el sistema es un prompt nuevo y para quien lee es el mismo intento. Es el caso que más confusión genera.
- Medidas ausentes. Si una medida de visibilidad no está, RankAI la muestra como N/D, nunca como cero. Tratar un N/D como cero produce una discontinuidad artificial que parece un empeoramiento.
El recálculo sobre la intersección con un registro cumplimentado
La propuesta operativa de RankAI, que no es un estándar universal, consiste en llevar un registro de los prompts con un identificador estable y recalcular el comparativo solo sobre la intersección. Estos son los pasos, cada uno con un criterio verificable.
- Asigna un identificador estable a cada prompt antes de la medición. Criterio verificable: dos mediciones consecutivas deben mostrar el mismo identificador para la misma pregunta, y el recuento de identificadores debe poder reconstruirse a posteriori.
- Clasifica cada prompt como invariado, reformulado o nuevo en el registro. Criterio verificable: cada prompt reformulado tiene una referencia explícita al prompt de origen; un prompt sin referencia se clasifica como nuevo.
- Calcula el comparativo solo sobre la intersección de los identificadores invariados. Criterio verificable: el número de prompts de la intersección se declara junto al valor, y la suma de invariados, reformulados y nuevos coincide con el total del conjunto.
- Aísla los reformulados en una lectura aparte. Criterio verificable: los reformulados no entran en la intersección, porque el texto ha cambiado y no está garantizado que la respuesta sea equivalente; aparecen en una vista distinta, no en el comparativo principal.
Qué queda fuera del comparativo
Tras el recálculo sobre la intersección, una parte de la lectura queda fuera del comparativo y hay que declararla como tal: los prompts nuevos, los prompts reformulados y las medidas ausentes. Un prompt reformulado no entra en la intersección porque, al ser distinto el texto, no se puede atribuir la diferencia al motor en lugar de a la formulación; solo se puede leer como observación separada. Las medidas ausentes siguen siendo N/D y no deben sumarse ni promediarse como si fueran cero. Así, la parte comparable queda explícita y la parte no comparable no se esconde dentro de un número agregado.
Lo que a menudo se escapa es que la legibilidad de un comparativo no depende de la calidad del motor consultado, sino de la trazabilidad del perímetro. Un registro cumplimentado convierte el cambio de prompts de un evento invisible en un evento documentado: sabes cuántas preguntas han permanecido idénticas, cuántas se han reformulado y cuántas son nuevas. Nuestra propuesta es tratar la intersección como única base del comparativo principal y mantener todo lo demás en una lectura lateral, declarada. Esto evita dos errores simétricos: atribuir al motor un salto que viene del conjunto de preguntas, u ocultar un N/D dentro de una media. La disciplina del registro cuesta poco y hace reconstruible cada medición posterior, incluso con el tiempo y por parte de quien no cumplimentó el registro original.
Un límite verificable
El método descrito solo funciona si el registro se cumplimenta antes de la medición: si los identificadores se asignan a posteriori, la intersección no es verificable y el comparativo vuelve a ser una lectura no trazable. En ese caso, la única afirmación sostenible es que las dos mediciones no son comparables.
Para los casos en los que el perímetro no se puede reconstruir, y para la distinción entre lo que RankAI muestra y lo que no mide, consulta la página de profundización.