Visibilidad AI
Prompts comparables en el tiempo: cómo fijar un set estable
Para comparar respuestas de IA mes a mes necesitas las mismas preguntas, versionadas y congeladas antes de medir. Aquí tienes cómo hacerlo sin mezclar efectos.
Si quieres seguir las citas de tu marca en ChatGPT mes a mes, lo primero no es elegir el motor ni la métrica: es decidir qué preguntas vas a repetir. La respuesta práctica a cómo se mantienen comparables los prompts en el tiempo es fijar un conjunto estable de preguntas, versionarlo y congelarlo antes de medir. Si en cada ronda cambias las preguntas, la comparación se rompe. Con un set estable, la misma pregunta formulada hoy y dentro de dos meses genera dos respuestas que puedes leer en secuencia, y la diferencia entre ambas te dice algo. La clave no está en tener muchas preguntas, sino en tener las mismas.
Un set que se mueve no se puede comparar
Un conjunto de preguntas crece, se corrige y pierde piezas. Si cada cambio entra en la medición sin dejar rastro, la comparación entre dos rondas mezcla dos efectos: el cambio del motor y el cambio del set. Para separarlos hace falta un registro de versiones, es decir, una lista escrita de qué cambió, cuándo y por qué. Sin ese registro, reconstruir después es trabajar a base de suposiciones: quién añadió esa pregunta, en qué mes, antes o después de la medición de referencia. El problema no es teórico, es operativo.
El método que propone RankAI como práctica operativa
Lo que sigue es una propuesta operativa de RankAI, no un estándar universal. Sirve para que el set sea estable y verificable, y para conectarlo con la lectura de las citas de tu marca en ChatGPT.
- Congela el set antes de medir. Criterio verificable: existe un archivo o una tabla con la lista completa de preguntas, y la fecha de congelación es anterior a la de la ronda. Si no hay fecha, el set no está congelado.
- Asigna un identificador a cada pregunta. Criterio verificable: cada fila tiene un código único y estable, de modo que una pregunta renombrada sigue siendo la misma pregunta y no se convierte en una entrada nueva.
- Registra cada versión con una fila rellenada. Criterio verificable: la fila indica qué cambió, cuándo y de qué versión a cuál. Ejemplo ilustrativo (ficticio): «v2 → v3, 12 de junio, se añade pregunta sobre comparación de precios, sin eliminaciones». Si falta uno de los tres elementos, la fila no está completa.
- Mide solo versiones congeladas. Criterio verificable: la ronda cita la versión del set utilizada. Una medición sin versión declarada no es comparable con las demás.
- Trata la ausencia como ausencia. Criterio verificable: si una medida de visibilidad en IA no está, el producto la muestra como N/D, nunca como cero. Un cero es un dato; N/D es un dato que falta: confundirlos falsea la serie.
Hay un punto que suele escaparse: el set estable no solo sirve para comparar motores entre sí, sino para leer las citas de tu marca en ChatGPT como una serie y no como instantáneas. Si la pregunta cambia de forma, que una cita aparezca o desaparezca puede deberse a la nueva formulación y no a un cambio real. Por eso conviene separar dos niveles: el set congelado, que no se toca durante una ronda, y el set de trabajo, donde pruebas preguntas nuevas. Las experimentales solo pasan al set congelado en la versión siguiente, con su propia fila de registro. Así la serie histórica sigue siendo legible y las novedades no la contaminan. Es un método de higiene de la comparación, no una garantía sobre el resultado: te dice qué has medido, no qué va a pasar.
Un límite que puedes verificar
El método solo se sostiene si el registro se actualiza antes de medir, no después. Un registro reconstruido a posteriori puede parecer plausible, pero no es verificable: falta la prueba de que esa versión era la vigente en el momento de la ronda. Si el registro no existe, la comparación entre dos rondas sigue siendo una hipótesis, no un dato.
Para ver el cuadro completo sobre cómo leer estas medidas, consulta la página de profundización.