Cómo comparar dos herramientas de IA con tus tareas

Para comparar herramientas de IA, dales las mismas tareas, decide antes qué debe cumplir una respuesta útil y registra cuánto tienes que corregir. Así eliges para tu trabajo concreto, en lugar de quedarte con la respuesta que suena más convincente.

Esta guía propone una prueba manual con dos asistentes de texto y tres ejercicios copiables. No exige programación ni capturas. Los ejemplos son ficticios: sirven para practicar el método, no son resultados de una comparativa realizada por Siesia.

1. Define qué necesitas resolver

Escribe una frase: «Quiero usar la herramienta para transformar notas en tareas, resumir documentos y redactar respuestas sin inventar condiciones». Si tu necesidad es distinta, cambia los ejercicios antes de empezar. Una herramienta que resume bien puede no servir para analizar una hoja de cálculo o editar vídeo: esta prueba no evalúa esas capacidades.

Prepara una hoja de cálculo o un documento con estas columnas: ejercicio, herramienta, fecha, configuración, respuesta original, errores y correcciones necesarias. Necesitas acceso a las dos herramientas; usa sus opciones gratuitas si permiten completar los ejercicios. No contrates un plan solo para seguir esta guía. Si un límite te impide continuar, anótalo como restricción de acceso, no como error de la respuesta.

El enfoque de definir tareas y criterios antes de puntuar coincide con la guía de evaluación de Anthropic. Allí también se explica que una respuesta puede variar entre intentos. La rúbrica de este artículo es una propuesta práctica de Siesia, no una certificación ni un estándar oficial.

2. Mantén condiciones comparables

• Abre una conversación nueva para cada ejercicio. Evita que una respuesta anterior aporte pistas a la siguiente.
• Copia exactamente el mismo texto en ambos asistentes. No mejores el encargo de uno después de ver el resultado del otro.
• Anota el modelo o modo visible y el plan. Si no se muestra el modelo, escribe «no indicado».
• Desactiva memoria, instrucciones personales y búsqueda si puedes hacerlo en ambos. Si no, registra la diferencia.
• No introduzcas información confidencial. Los textos ficticios siguientes bastan para practicar.

Si una herramienta busca en internet y la otra solo usa el texto pegado, no atribuyas automáticamente la diferencia al modelo. Estarás comparando dos configuraciones. Esto puede servir para decidir cuál te resulta más útil, pero debes conservar esa distinción al interpretar los resultados.

3. Usa una rúbrica breve y comprensible

Una rúbrica es una lista de criterios con una regla de puntuación. En cada ejercicio asigna de cero a dos puntos a estas cuatro dimensiones:

Criterio	0 puntos	1 punto	2 puntos
Fidelidad	Altera o inventa un dato necesario	El dato principal es correcto, pero hay una omisión menor	Conserva todos los datos necesarios sin añadir hechos
Instrucciones	Incumple una condición esencial	Cumple lo esencial y falla un detalle de formato	Cumple todas las condiciones
Utilidad	No puedes usarla sin rehacerla	Necesita una corrección concreta	Puedes usarla tras tu comprobación habitual
Claridad	Hay ambigüedades que cambian lo que debes hacer	Se entiende, pero exige limpiar o reorganizar	Es directa y permite actuar sin dudas

No uses la suma para ocultar un error grave. Marca además «fallo crítico» si inventa un plazo, una condición comercial o una responsabilidad que podría provocar una acción equivocada. Para un encargo de atención al cliente, una respuesta elegante con una devolución inventada no resulta aceptable aunque obtenga puntos en claridad.

4. Ejecuta tres ejercicios con solución comprobable

Ejercicio A: convertir notas en tareas

Copia este bloque completo en cada asistente:

Convierte estas notas ficticias en una tabla con las columnas Tarea, Responsable y Fecha límite. Conserva las fechas tal como aparecen. Si falta responsable o fecha, escribe «No indicado». No conviertas una posibilidad en una tarea confirmada.
NOTAS:
Lucía enviará el presupuesto el 12 de noviembre.
Diego revisará las cifras; todavía no tiene fecha.
Hay que confirmar la sala antes del 10 de noviembre; no se asignó responsable.
Quizá hagamos un vídeo de presentación, pero no está decidido.

La solución debe tener tres tareas: enviar el presupuesto, revisar las cifras y confirmar la sala. Lucía y Diego solo aparecen en sus respectivas tareas. La revisión de cifras no tiene fecha y la confirmación de sala no tiene responsable. El vídeo no debe figurar como una tarea confirmada; puede mencionarse aparte como posibilidad si no contradice el formato solicitado.

Ejercicio B: resumir sin perder una excepción

Resume esta política ficticia en tres viñetas. Incluye plazo, condición y excepción. No añadas recomendaciones ni normas legales.
POLÍTICA:
El préstamo de equipos dura siete días naturales. Deben devolverse completos y con su funda. Los equipos marcados como «uso en sala» no pueden salir del edificio.

Comprueba tres elementos: siete días naturales, devolución completa con funda y prohibición de sacar los equipos de uso en sala. No debe transformar «naturales» en «laborables» ni inventar multas. El orden o las palabras pueden variar: puntúa el significado, no que copie una frase exacta.

Ejercicio C: responder sin rellenar información ausente

Redacta una respuesta de un máximo de 80 palabras para este caso ficticio. Usa únicamente los datos de la ficha. Si no puedes confirmar lo que pide el cliente, dilo con claridad y propone comprobarlo con la tienda. No prometas un resultado.
CLIENTE: «Compré una lámpara hace 20 días. ¿Me devolvéis el dinero?»
FICHA: La tienda atiende de lunes a viernes, de 10:00 a 18:00. Para revisar una compra necesita el número de pedido. La ficha no incluye una política de devoluciones.

La respuesta debe reconocer que no puede confirmar la devolución y pedir el número de pedido o proponer contactar con la tienda para comprobar el caso. No debe inventar un plazo de devolución ni afirmar que el cliente tiene o no tiene derecho al reembolso. Aquí no se evalúa conocimiento legal: se comprueba que el asistente respete la información disponible.

5. Puntúa antes de pedir mejoras

Guarda la primera respuesta y evalúala con la referencia de cada ejercicio. Anota una razón junto a cada punto perdido: «ha asignado a Diego la confirmación de sala» resulta más útil que «no me convence». Después, si necesitas corregirla, guarda también el mensaje de corrección y el tiempo aproximado que dedicas a dejarla lista.

Por ejemplo, una salida hipotética que mantiene bien las tareas pero deja sin señalar una fecha ausente puede necesitar una corrección. Otra que inventa la fecha exige comprobar todo de nuevo. Esa diferencia importa más que una redacción ligeramente más agradable.

Repite los tres ejercicios en conversaciones nuevas una segunda vez, con las mismas condiciones. Son doce respuestas en total entre ambas herramientas. Esta repetición no demuestra fiabilidad general; ayuda a detectar si tu elección depende de un único acierto. No selecciones solo el mejor intento de cada asistente: conserva todos.

6. Decide según tus prioridades, no solo por la suma

Mira primero los fallos críticos y después los patrones: ¿cuál preserva mejor los datos?, ¿cuál necesita menos correcciones?, ¿la ventaja se mantiene al repetir? Si una gana en resúmenes y otra en redacción, puedes elegir según la tarea que haces con más frecuencia, sin declarar una ganadora universal.

Si el resultado es parecido, añade un ejercicio más tomado de tu trabajo y anonimizado, con una solución o lista de datos esperados preparada antes. Si quieres empezar con ejemplos pequeños, consulta la guía de primeros pasos con un asistente de IA. Para aplicar el mismo cuidado a una salida real, también puedes revisar un correo generado antes de enviarlo.

Antes de pagar, comprueba por separado precio vigente, límites de uso, tratamiento de datos y disponibilidad de las funciones que necesitas en la documentación del proveedor. No están medidos por estos ejercicios. Guarda tu prueba y repítela cuando cambies de plan, modelo o tarea importante. El resultado que buscas no es «esta IA es la mejor», sino «esta configuración me ayuda en estas tareas y sé dónde debo revisarla».

Fuentes consultadas

• Anthropic: Demystifying evals for AI agents. Fundamentos de tareas, criterios y variación entre intentos; la prueba de tres ejercicios es una adaptación editorial propia.