El desafío de la evaluación en el núcleo de la IA científica

Entregue un sistema de IA a alguien y plantee una pregunta engañosamente simple: ¿es bueno? Los sistemas basados en LLM que se están implementando en la ciencia y la industria tienen como objetivo responder preguntas abiertas, sopesar pruebas y seguir pasos hacia una conclusión. Es fácil producir una respuesta fluida y segura, pero saber si es correcta y si se mantendrá la próxima vez que se pregunte es otra cuestión.

Los modelos de aprendizaje automático se han utilizado y probado durante años. ¿Qué ha cambiado? Los modelos de aprendizaje automático tradicionales se utilizan para realizar tareas como clasificar un correo electrónico como spam, predecir si un solicitante de préstamo incumplirá sus obligaciones o identificar un tumor en una imagen radiológica. Cada problema es específico y los resultados son deterministas: para una entrada determinada, hay una única salida. Existen décadas de prácticas establecidas sobre cómo verificar su trabajo. En pocas palabras, se reservan ejemplos que el modelo nunca ve durante el entrenamiento, se ejecutan frente al modelo entrenado y se mide con qué frecuencia obtiene las respuestas correctas.

Ese marco es riguroso, interpretable y fiable. También es insuficiente para los tipos de sistemas de IA que las organizaciones están desplegando ahora. El cambio refleja una transformación fundamental en lo que se le pide a la IA. Los modelos de lenguaje actuales y los sistemas agentes que actúan según su razonamiento no asignan entradas a un conjunto fijo de etiquetas. En cambio, generan lenguaje abierto y realizan acciones, y al hacerlo, rompen muchos de los supuestos que utilizan los enfoques clásicos. La misma pregunta, formulada dos veces, puede producir respuestas diferentes. Una respuesta puede ser fluida, segura y errónea. Para las preguntas más difíciles y valiosas que queremos que respondan los sistemas de IA, puede que no exista ninguna respuesta establecida con la que comparar.

En ninguna parte importa más esa brecha que en la ciencia, donde las preguntas que vale la pena hacer son precisamente aquellas que nadie ha respondido todavía. Además, una respuesta incorrecta no es solo una predicción errónea: puede llevar a un programa de investigación a un callejón sin salida de meses de duración.

Lo que sigue traza este cambio: por qué el marco clásico funcionaba tan bien, por qué se queda corto para la IA moderna y los nuevos enfoques que están surgiendo para cerrar la distancia.

El cómodo mundo de la evaluación clásica de aprendizaje automático

Los supuestos que rompen estos sistemas más nuevos rara vez se explican porque, en el aprendizaje automático clásico, casi nunca es necesario hacerlo. La evaluación tradicional se basa en tres de ellos, todos fáciles de pasar por alto porque generalmente se cumplen:

• Primero, que existe una verdad de referencia: una respuesta correcta definitiva con la que se pueden comparar los resultados del modelo.

• Segundo, que la tarea está delimitada de tal manera que el espacio de posibles resultados es finito y está bien definido.

• Tercero, que la corrección es inequívoca, en el sentido de que una predicción es correcta o incorrecta, y un humano (o un conjunto de datos etiquetado) puede notar la diferencia.

Estas premisas son perfectamente válidas para los problemas que dieron fama al aprendizaje automático:

• La detección de spam es un problema de clasificación binaria.

• El reconocimiento de imágenes asigna una entrada a un conjunto fijo de etiquetas.

• La detección de fraudes evalúa una transacción comparándola con un umbral preestablecido.

En cada caso, la evaluación sigue el mismo procedimiento: comparar el resultado del modelo con ejemplos cuyas respuestas correctas ya se conocen y medir la frecuencia con la que acierta.

De este marco de trabajo se derivan métricas estándar:

• Exactitud. La proporción de predicciones correctas realizadas por el modelo; es intuitiva, pero puede inducir a error cuando un resultado es mucho más frecuente que otro.

• Precisión. De todo lo que el modelo ha marcado como positivo, la fracción que realmente lo era; es una medida de la fiabilidad de sus alertas.

• Sensibilidad (Recall). De todos los positivos reales existentes, la fracción que el modelo ha detectado; es una medida de su capacidad para no omitir resultados.

• Puntuación F1. La media armónica entre precisión y sensibilidad; resulta útil cuando se necesita un único valor que penalice a los modelos que sacrifican una métrica en favor de la otra.

• Área bajo la curva ROC. La puntuación de confianza de un modelo puede ajustarse para equilibrar la detección de más positivos reales frente a la generación de más falsas alarmas. La curva ROC representa ese equilibrio en todos los umbrales posibles, y el área bajo dicha curva resume la capacidad discriminativa global en un solo número: 1,0 significa que el modelo separa perfectamente las dos clases, mientras que 0,5 indica que su rendimiento no es mejor que el de lanzar una moneda al aire.

Cada una de estas métricas captura aspectos reales del comportamiento del modelo, y se han vuelto tan fundamentales que son el primer recurso al que acuden la mayoría de los profesionales, independientemente del problema en cuestión. Los problemas surgen cuando el caso de estudio deja de cumplir las premisas subyacentes.

Por qué los modelos de lenguaje rompen el marco tradicional

En el caso de un modelo de lenguaje, todas esas premisas pierden su validez. El modelo no elige entre un conjunto predefinido de respuestas, sino que genera texto abierto, por lo que el espacio de posibles resultados es ilimitado. Para la mayoría de las preguntas relevantes, no existe una única verdad absoluta con la que comparar, y un fragmento puede ser preciso en un aspecto y erróneo en otro, relevante pero vago, o estar bien razonado solo superficialmente, a veces todo a la vez. Determinar si un resultado es correcto se convierte en una cuestión de juicio más que en una simple comparación con una respuesta fija.

El desafío se intensifica al considerar que los sistemas agentes actúan en lugar de limitarse a responder. Un agente de investigación podría recuperar información, sintetizarla de diversas fuentes, razonar a través de pasos intermedios y llegar a una conclusión que ningún humano ha supervisado. Evaluar un sistema así implica analizar no solo el resultado final, sino también la cadena de decisiones que lo produjo. Una conclusión correcta alcanzada mediante un razonamiento defectuoso no es lo mismo que una conclusión correcta obtenida mediante un razonamiento sólido, especialmente en entornos donde el propio razonamiento determinará acciones posteriores.

Detrás de estos cambios existen varias propiedades de los resultados de los modelos de lenguaje que dificultan su evaluación:

• La reproducibilidad ya no está garantizada. Dado que el mismo prompt puede devolver respuestas distintas en ejecuciones diferentes, una entrada fija ya no produce un resultado fijo y verificable. Esto desestabiliza un pilar fundamental compartido tanto por la práctica científica como por la evaluación clásica del aprendizaje automático.

• El fallo no deja rastro. Los modelos de lenguaje están entrenados para producir texto fluido y coherente, pero la fluidez no equivale a la exactitud. Un modelo puede generar una respuesta redactada con seguridad y coherencia interna que sea fácticamente incorrecta, y a menudo lo hará sin ninguna señal de que algo haya fallado.

• La exactitud depende del contexto. Si la respuesta de un modelo es adecuada suele depender de quién pregunta, por qué y qué planea hacer con la información. Un resumen que satisfaga a un lector general puede inducir a error a un especialista. Una respuesta técnicamente precisa puede resultar inútil si omite las advertencias necesarias.

El ámbito científico complica aún más la situación

Estos desafíos generales se ven amplificados en las aplicaciones científicas, donde la precisión no es una preferencia, sino un requisito práctico y profesional.

Las cuestiones científicas rara vez están totalmente delimitadas. Pedir a un sistema de IA que identifique candidatos a fármacos prometedores, proponga una ruta sintética o descubra conexiones interdisciplinares en la literatura no es como pedirle que clasifique una imagen. El espacio de respuestas es vasto, los criterios para una respuesta satisfactoria son multidimensionales y un error puede conducir a un experimento mal dirigido, provocar meses de tiempo perdido o impedir la capacidad de replicar los resultados.

Esto se ve agravado por un problema más profundo: en los ámbitos donde la IA podría aportar más valor, a menudo no existe todavía una verdad absoluta. Un sistema que presenta una hipótesis novedosa que conecta dos cuerpos de literatura previamente no relacionados no puede compararse con respuestas conocidas. Si la respuesta fuera conocida, la hipótesis no sería novedosa. Un modelo que obtiene buenos resultados en pruebas internas pero falla en condiciones experimentales reales puede provocar una asignación errónea de recursos, retrasar programas y erosionar la confianza de los investigadores, cuya adopción determina si la IA se gana un lugar duradero en su práctica científica.

Métricas de texto existentes

El texto generado por máquinas no llegó con los grandes modelos de lenguaje, ni tampoco el problema de evaluarlo. Los sistemas de traducción y resumen automáticos producían textos que necesitaban ser evaluados a gran escala mucho antes que los modelos actuales, y el campo desarrolló una familia de métricas automatizadas específicamente para ello. Tres siguen siendo de uso generalizado:

• BLEU.Diseñada para la traducción automática, mide cuánto coincide la salida del modelo con uno o más textos de referencia a nivel de secuencias cortas de palabras, con una penalización para las respuestas demasiado breves (Papineni et al., 2002).

• ROUGE.Desarrollada para el resumen de textos, adopta el punto de vista complementario, midiendo cuánto del texto de referencia se recupera en la salida del modelo (Lin, 2004).

• METEOR.Un refinamiento que intenta valorar el significado en lugar de la forma superficial, haciendo coincidir no solo palabras idénticas, sino también raíces y sinónimos, y equilibrando la precisión frente a la exhaustividad (Banerjee y Lavie, 2005).

Estas métricas son una medida de precisión cuando una tarea tiene un rango estrecho de respuestas aceptables. Sin embargo, heredan la suposición que falla en los sistemas en cuestión: requieren un texto de referencia con el que comparar y miden qué tan cerca está una salida de esa referencia, no si es correcta, razonada o útil. Una respuesta correcta redactada de forma diferente a la referencia puede obtener una puntuación baja, mientras que una respuesta fluida que repite la redacción de la referencia puede obtener una buena puntuación incluso cuando es incorrecta. Para la síntesis abierta, donde muchas redacciones son válidas y las respuestas más valiosas pueden no tener ninguna referencia, el parecido con un objetivo fijo es un indicador débil de calidad.

Enfoques de evaluación emergentes

En respuesta a estos desafíos, han surgido varios enfoques de evaluación. Estos no sustituyen a las métricas clásicas, sino que son complementos necesarios. Utilizados conjuntamente, abordan diferentes modos de fallo que un solo método pasaría por alto.

LLM-as-a-judge utiliza un modelo de lenguaje independiente para evaluar las salidas del modelo bajo análisis. Este enfoque escala de una manera que la revisión humana no puede. Un modelo de evaluación bien diseñado puede analizar miles de resultados en el tiempo que le tomaría a un experto en la materia revisar docenas. ¿Pueden los modelos de lenguaje funcionar con al menos la misma precisión que un humano? Sí, y la clave para que funcione es la especificidad.

Como ejemplo, tomemos un panel de expertos en la materia que revisan de forma independiente el mismo texto. Cada uno de los revisores puede llegar a conclusiones diferentes sobre su calidad, no porque uno esté equivocado, sino porque cada uno está sopesando implícitamente diferentes criterios no expresados. Uno prioriza la precisión factual, mientras que otro da más peso a la integridad o a la expresión adecuada de la incertidumbre. Sin métricas explícitas y compartidas, "bueno" significa lo que el revisor decida privadamente que significa.

Esta variación en el juicio humano está bien documentada. Zheng et al. (2023) descubrieron que los expertos humanos que evaluaban respuestas abiertas de LLM solo coincidían entre sí el 80% de las veces en una base cruda por pares, y esa cifra representa una condición favorable, ya que los evaluadores trabajaban a partir de la misma rúbrica explícita en la misma tarea. El panorama es más matizado cuando la evaluación se desglosa por tipo de habilidad. Ye et al. (2024) midieron el acuerdo entre evaluadores humanos a través de 12 dimensiones de evaluación distintas utilizando el alfa de Krippendorff y encontraron un alfa humano-humano general de solo 0,488, lo que indica solo un acuerdo moderado.

Un prompt de evaluación bien diseñado fuerza a que ese razonamiento implícito salga a la luz, pidiendo al modelo evaluador que analice dimensiones específicas y separables (consistencia factual, relevancia, integridad, expresión adecuada de la incertidumbre) en lugar de emitir un veredicto holístico único (Liu et al., 2023; Ye et al., 2024). Esto produce evaluaciones que son más consistentes, auditables y accionables, ya sea que el juez sea un modelo de lenguaje o un experto humano.

La evaluación con intervención humana sigue siendo indispensable para los casos en los que los métodos automatizados son más débiles, y la lógica sobre cuándo desplegarla refleja un principio bien establecido en la fabricación a gran escala. En un entorno de producción, no todas las unidades reciben el mismo nivel de escrutinio. Los componentes destinados a dispositivos médicos o sistemas críticos para la seguridad reciben una inspección humana directa e individual. Las salidas estándar están cubiertas por pruebas automatizadas, con revisores humanos que intervienen para investigar fallos, validar casos extremos o realizar auditorías periódicas por lotes. Estos principios se reflejan en el Reglamento del Sistema de Gestión de Calidad de la Administración de Alimentos y Medicamentos de EE. UU. (21 CFR Part 820) y en numerosas normas de calidad como AS9100D e ISO 13485:2016.

La evaluación de la IA científica sigue la misma lógica. Los resultados novedosos, las conclusiones de alto riesgo y la calibración de los sistemas de evaluación automatizados justifican una revisión experta directa. Los resultados rutinarios a gran escala se gestionan sistemáticamente, con el juicio humano disponible como una vía de escalada en lugar de un cuello de botella. Los expertos en la materia aportan algo que los sistemas automatizados no pueden: la capacidad de reconocer una respuesta sutilmente incorrecta que, sin embargo, es internamente coherente; identificar cuándo un modelo está razonando a partir de una comprensión obsoleta de un campo; o señalar cuándo un resultado, aunque técnicamente correcto, induciría a error a un profesional que lo interprete sin contexto. El objetivo no es maximizar la participación humana, sino dirigirla hacia donde tiene mayor impacto.

La evaluación comparativa retrospectiva aborda una de las tensiones más fundamentales en la evaluación de la IA científica: ¿cómo se mide un sistema ante preguntas para las cuales aún no se conoce la respuesta?

Considere dos casos de uso distintos. El primero: un investigador pide a un sistema de IA que busque una información específica, como un punto de fusión, una clasificación reglamentaria o un rendimiento de reacción documentado. Esto es sencillo de evaluar. O bien el sistema recuperó la respuesta correcta o no lo hizo. El segundo caso de uso es más difícil: un investigador pide al sistema que sintetice información de múltiples fuentes y produzca una idea que ningún documento contiene por sí solo. Esto es lo que más importa a los investigadores, y es mucho más difícil de evaluar porque no existe una respuesta preexistente que el sistema de IA pueda utilizar para validar su resultado. Estas tareas de mundo abierto son también las más propensas a la deriva. Tanto el enfoque de razonamiento esperado como la respuesta aceptable pueden cambiar a medida que evoluciona la comprensión científica, lo que significa que la evaluación debe revisarse en lugar de tratarse como un ejercicio único.

El instinto podría ser probar solo lo que se puede verificar. Sin embargo, eso significaría evaluar un sistema solo en las tareas para las que menos fue diseñado. Un enfoque mejor es pedir al sistema que responda preguntas que ya han sido resueltas mediante síntesis en lugar de solo mediante recuperación. Los hallazgos que alguna vez fueron novedosos, que requirieron conectar cuerpos de literatura dispares y que ahora forman parte del registro científico establecido, constituyen casos de prueba ideales. Si la información estaba disponible en el momento del descubrimiento, un sistema capaz debería ser capaz de reconstruir el razonamiento.

Esto es el benchmarking retrospectivo: utilizar el historial de descubrimientos científicos como un conjunto de evaluación representativo para el tipo de síntesis abierta que, de otro modo, no podría probarse directamente. Este enfoque tiene precedentes en el creciente campo del descubrimiento basado en la literatura.Swanson (1986)identificó dos cuerpos de literatura que estaban conectados lógicamente pero que no interactuaban entre sí, y demostró que las conexiones entre ellos implicaban una hipótesis (que el aceite de pescado en la dieta podría beneficiar a los pacientes con Raynaud) que no se había publicado explícitamente. Más tarde,Spangler et al. (2014)ampliaron esta lógica de forma computacional, extrayendo información de la literatura científica para generar hipótesis sobre qué quinasas fosforilan la proteína supresora de tumores p53, y utilizando después un análisis retrospectivo para validar la precisión del enfoque antes de realizar nuevos experimentos. En ambos casos, el valor del marco retrospectivo es el mismo: los datos de entrada se fijan en un momento específico en el tiempo, por lo que la evaluación no queda obsoleta como ocurre con los benchmarks de mundo abierto.

El enfoque sigue teniendo límites, ya que evalúa conexiones que ya se han establecido, no toda la gama de capacidades futuras, y requiere una ingeniería cuidadosa para limitar la información disponible para el sistema en el momento de la evaluación. Sin embargo, como comprobación de validez sobre si un sistema puede sintetizar genuinamente a partir de diversas fuentes en lugar de limitarse a recuperarlas, es una de las pocas herramientas rigurosas disponibles.

Las pruebas de estabilidad semánticaabordan un modo de fallo que las pruebas estáticas suelen pasar por alto. Los modelos de lenguaje pueden ser sensibles a cómo se construye una pregunta: reformular la misma consulta sin cambiar su significado puede producir una respuesta diferente. Para un asistente científico, esto es un problema de fiabilidad importante. Un investigador debería poder confiar en que la respuesta del sistema refleja el fondo de su pregunta, no las palabras concretas que haya utilizado. Varios escenarios ilustran este problema.

El primero es la sustitución de sinónimos. Utilizando pruebas de invarianza (perturbaciones que preservan el significado mientras varían la forma superficial),Ribeiro et al. (2020)identificaron fallos críticos que habían pasado desapercibidos en modelos comerciales de análisis de sentimiento ampliamente probados. Cambiar una palabra por un sinónimo cercano, como "filme" por "película" o "determinar" por "averiguar", no debería alterar la respuesta que da un asistente científico, pero en la práctica ocurre con frecuencia.

El segundo es la negación. La evaluación sistemática de modelos a través de muchos benchmarks de negación reveló limitaciones constantes: insensibilidad a la presencia de la negación, incapacidad para captar la semántica léxica de la negación y un fallo al razonar correctamente bajo negación (Truong et al., 2023). Esto es importante en contextos científicos donde unas pocas palabras pueden cambiar la veracidad de una afirmación: "A causa B", "A puede causar B", "sugiere que A causa B", "no respalda la afirmación de que A causa B", etcétera.

El tercero es la formalidad. Los estudios han demostrado que las variaciones en la gramática, el tono o la formalidad pueden alterar significativamente la calidad y la dirección de la respuesta de un modelo, produciendo algunos modelos respuestas de menor calidad para los usuarios que formulan las consultas de forma menos formal (p. ej., "¿Cuál es el mecanismo?" frente a "¿Podría explicar la base mecanística..."). Un investigador que escribe en lenguaje sencillo en lugar de en prosa técnica debería recibir la misma respuesta sustantiva que uno que no lo hace. Trabajos recientes formalizan esta preocupación:Lior et al. (2025)abogan por una evaluación estocástica sobre el espacio de perturbaciones de prompts que preservan el significado y descubren que incluso los modelos de alto rendimiento, como GPT-4o y Claude 3.7 Sonnet, muestran una sensibilidad sustancial a los prompts.

Dada la evidencia de varios estudios, una evaluación que solo analice una formulación por pregunta no sacará a la luz este problema. Por lo tanto, variar el lenguaje en consultas equivalentes y comprobar si las respuestas siguen siendo coherentes debería formar parte de cualquier disciplina de evaluación seria.

La evaluación del razonamientoes importante para los sistemas agentes y las aplicaciones científicas. Cuando un asistente de investigación razona sobre un problema, recupera fuentes y llega a una conclusión, a los científicos no solo les interesa si la conclusión es correcta, sino que necesitan entender cómo se ha llegado a ella. Esto refleja la expectativa científica fundamental de que los resultados deben ser reproducibles y los métodos deben ser transparentes.

Se demostró que el prompting de cadena de pensamiento (chain-of-thought), en el que se pide a los modelos que produzcan pasos de razonamiento intermedios antes de una respuesta final, mejora significativamente el rendimiento en tareas de razonamiento complejo. Su adopción se vio motivada en parte por la ventaja de interpretabilidad de hacer legible el razonamiento (Wei et al., 2022). Sin embargo, la visibilidad de los pasos de razonamiento no es garantía de fiabilidad.Turpin et al. (2023)demostraron que esta legibilidad puede ser ilusoria: las explicaciones de cadena de pensamiento pueden tergiversar sistemáticamente la base real de la predicción de un modelo. En su experimento clave, se añadió un sesgo sutil a las entradas del modelo reordenando las opciones de elección múltiple para que la respuesta correcta fuera siempre la "A". Esto alteró de forma fiable los resultados del modelo, pero los modelos no mencionaron sistemáticamente esta influencia en su razonamiento declarado. Un sistema que produce una respuesta correcta mediante una cadena de razonamiento defectuosa u opaca es un riesgo latente, porque la siguiente pregunta que responda podría no ser correcta y no habrá forma de saberlo.

La cuestión de cómo entrenar a los modelos para que razonen correctamente, en lugar de limitarse a producir respuestas correctas, ha empezado a recibir atención directa.Lightman et al. (2023)ilustran lo que está en juego comparando la supervisión de resultados, que recompensa a los modelos en función de si la respuesta final fue correcta, con la supervisión de procesos, que asigna crédito a cada paso individual del razonamiento. Descubrieron que los modelos entrenados con supervisión de resultados utilizaban regularmente un razonamiento incorrecto para llegar a respuestas finales correctas, y que la supervisión de procesos producía sistemas sustancialmente más fiables. La idea de entrenamiento se traduce en un principio de evaluación: si los pasos correctos pueden definirse con la suficiente precisión para entrenar con ellos, también pueden definirse con la suficiente precisión para auditarlos.

Evaluar el proceso de razonamiento en lugar de solo el resultado requiere, por tanto, un tipo de prueba diferente: no "¿es correcta esta respuesta?", sino "¿siguió el sistema los pasos adecuados para llegar a una respuesta?". Se trata de un ejercicio basado en rúbricas, pero aplicado al proceso en lugar de al producto. Es más exigente de diseñar y requiere la aportación de expertos para definir cómo son los pasos correctos, pero es precisamente el tipo de evaluación que genera la confianza justificada que los científicos necesitan antes de actuar basándose en las conclusiones de un sistema de IA.

Una dirección emergente en la evaluación de agentes sugiere que las acciones observables (las herramientas que llama un sistema, las búsquedas que ejecuta, el orden en que recupera la información) pueden proporcionar una señal más fiable de la calidad del razonamiento que los fundamentos declarados por sí solos. A diferencia del texto de cadena de pensamiento, que se genera mediante el mismo proceso que cualquier otra salida del modelo y, por tanto, está sujeto a los mismos riesgos de alucinación, las llamadas a herramientas y los pasos de recuperación dejan un rastro de auditoría y tienen consecuencias que limitan el comportamiento posterior. Los primeros trabajos sobre la evaluación de trayectorias de agentes en benchmarks diseñados para evaluar el uso de herramientas en varios pasos han empezado a puntuar estas acciones intermedias en lugar de solo los resultados de las tareas. Si este enfoque madura, puede ofrecer a los usuarios científicos algo más parecido a una auditoría de métodos genuina.

Combinación de enfoques sistemáticos y mediados por humanos

Ningún método de evaluación por sí solo es suficiente. Las organizaciones que más progresan en la evaluación de la IA científica son las que lo tratan como un problema de cartera: desplegando técnicas automatizadas a escala para lograr cobertura y coherencia, y reservando la revisión de expertos humanos para la calibración, la validación de casos límite y el tipo de juicios que requieren una comprensión científica genuina. Los mejores marcos de evaluación no subordinan uno al otro, aprovechando las fortalezas complementarias de cada uno.

Al crear soluciones de IA para la investigación científica, CAS aplica este enfoque por capas. La evaluación automatizada gestiona la escala y la coherencia en grandes conjuntos de resultados; las rúbricas estructuradas garantizan que la evaluación sea multidimensional en lugar de reducirse a un solo número; y los científicos del dominio, los mismos expertos cuyo trabajo de curación sustenta la CAS Content Collection™, proporcionan el juicio humano que determina si un sistema es técnicamente eficiente y científicamente sólido. Esto incluye evaluar no solo lo que concluye CAS Newton℠, sino cómo razona: si los pasos que sigue para llegar a una respuesta son los que un científico reconocería como apropiados, trazables y reproducibles. El objetivo no es minimizar la participación humana en nombre de la eficiencia. Es dirigir el juicio humano allí donde tiene más influencia.

Cómo es una buena evaluación

La evaluación no es un paso que se produce después de crear un sistema de IA. Es una restricción de diseño que debería dar forma a cómo se diseñan los sistemas desde el principio. Las preguntas que merece la pena hacerse pronto son:

• “¿Cómo es el éxito?”

• “¿Cómo sabríamos si el sistema se ha equivocado?”

• “¿Quién tiene la experiencia necesaria para emitir ese juicio?”

No son meras preguntas de evaluación. Son las cuestiones que determinan si un sistema de IA se ganará la confianza de los científicos e investigadores a quienes se les pide que actúen basándose en sus resultados.

El conjunto de herramientas de aprendizaje automático clásico no va a desaparecer. La precisión, la exhaustividad y el rendimiento en pruebas de referencia siguen siendo importantes y, para muchos componentes de sistemas de IA complejos, continúan siendo las medidas adecuadas. Sin embargo, para los sistemas que operan en la frontera de lo que la IA puede hacer —razonar sobre literatura científica, descubrir conexiones latentes, proponer hipótesis en ámbitos donde la verdad absoluta es incierta—, una evaluación rigurosa requiere más de lo que ofrecen los enfoques tradicionales. Desarrollar ese rigor es, en sí mismo, un desafío científico continuo que merece el mismo cuidado que los sistemas de IA evaluados.