El desafío de la evaluación en el núcleo de la inteligencia artificial científica

Entregue a alguien un sistema de inteligencia artificial y plantee una pregunta engañosamente simple: ¿es bueno? Los sistemas basados en LLM que se están implementando en la ciencia y la industria tienen como objetivo responder preguntas abiertas, sopesar pruebas y seguir pasos hacia una conclusión. Es fácil producir una respuesta fluida y segura, pero saber si es correcta y si se mantendrá la próxima vez que pregunte es otra cuestión. 

Los modelos de aprendizaje automático se han utilizado y probado durante años. ¿Qué ha cambiado? Los modelos tradicionales de aprendizaje automático se utilizan para realizar tareas como clasificar un email como spam, predecir si un solicitante de préstamo incumplirá sus pagos o identificar un tumor en una imagen radiológica. Cada problema es específico y los resultados son deterministas: para una entrada determinada, hay una única salida. Existen décadas de prácticas establecidas sobre cómo verificar su trabajo. En pocas palabras, se reservan ejemplos que el modelo nunca ve durante el entrenamiento, se ejecutan frente al modelo entrenado y se mide con qué frecuencia obtiene las respuestas correctas. 

Ese marco es riguroso, interpretable y fiable. También es insuficiente para los tipos de sistemas de inteligencia artificial que las organizaciones están implementando ahora. El cambio refleja una transformación fundamental en lo que se le pide a la inteligencia artificial. Los modelos de lenguaje actuales y los sistemas agentes que actúan según su razonamiento no asignan entradas a un conjunto fijo de etiquetas. En cambio, generan lenguaje abierto y toman medidas, y al hacerlo, rompen muchas de las suposiciones que utilizan los enfoques clásicos. La misma pregunta, formulada dos veces, puede producir respuestas diferentes. Una respuesta puede ser fluida, segura y errónea. Para las preguntas más difíciles y valiosas que queremos que respondan los sistemas de inteligencia artificial, es posible que no haya ninguna respuesta establecida con la que comparar. 

En ninguna parte esa brecha es más importante que en la ciencia, donde las preguntas que vale la pena hacer son precisamente aquellas que nadie ha respondido todavía. Además, una respuesta incorrecta no es solo una predicción errónea: puede llevar a un programa de investigación a un callejón sin salida de meses.  

Lo que sigue traza este cambio: por qué el marco clásico funcionó tan bien, por qué se queda corto para la inteligencia artificial moderna y los nuevos enfoques que están surgiendo para cerrar la distancia. 

El cómodo mundo de la evaluación clásica de aprendizaje automático 

Las suposiciones que rompen estos sistemas más nuevos rara vez se explican porque, en el aprendizaje automático clásico, casi nunca es necesario hacerlo. La evaluación tradicional se basa en tres de ellas, todas fáciles de pasar por alto porque generalmente se cumplen:  

• Primero, que existe una verdad absoluta: una respuesta correcta definitiva con la que se pueden comparar los resultados del modelo.  

• Segundo, que la tarea está delimitada de tal manera que el espacio de posibles resultados es finito y está bien definido.  

• Tercero, que la corrección es inequívoca en el sentido de que una predicción es correcta o incorrecta, y un humano (o un conjunto de datos etiquetado) puede notar la diferencia. 

Estas suposiciones son válidas para los problemas que hicieron famoso al aprendizaje automático en sus inicios:  

• La detección de spam es un problema de clasificación binaria.  

• El reconocimiento de imágenes asigna una entrada a un conjunto fijo de etiquetas.  

• La detección de fraudes evalúa una transacción comparándola con un umbral aprendido.  

En cada caso, la evaluación funciona de la misma manera: se compara el resultado del modelo con ejemplos cuyas respuestas correctas ya se conocen y se mide la frecuencia con la que acierta. 

Existen métricas estándar que surgen de este marco de trabajo:  

• Precisión (Accuracy). La proporción de todas las predicciones que un modelo acierta; es intuitiva, pero engañosa cuando un resultado es mucho más común que otro. 

• Precisión (Precision). De todo lo que el modelo marcó como positivo, la fracción que realmente lo era; una medida de la fiabilidad de sus alertas. 

• Exhaustividad (Recall). De todos los verdaderos positivos existentes, la fracción que el modelo detectó; una medida de lo poco que se le escapa. 

• Puntuación F1. La media armónica entre precisión y exhaustividad; útil cuando se necesita un único número que penalice a los modelos que sacrifican una métrica en favor de la otra. 

• Área bajo la curva ROC. La puntuación de confianza de un modelo puede ajustarse para equilibrar la detección de más verdaderos positivos frente a la activación de más falsas alarmas. La curva ROC representa ese equilibrio en todos los umbrales posibles, y el área bajo la misma resume el poder discriminativo general en un solo número: 1.0 significa que el modelo separa perfectamente las dos clases, 0.5 significa que no funciona mejor que lanzar una moneda al aire. 

Cada una de estas métricas captura aspectos reales del comportamiento del modelo, y se han vuelto tan fundamentales que son lo primero que consultan la mayoría de los profesionales, independientemente del problema en cuestión. El problema surge cuando el caso ya no cumple con las suposiciones subyacentes. 

Por qué los modelos de lenguaje rompen el marco tradicional 

Para un modelo de lenguaje, cada una de esas suposiciones deja de ser válida. No elige entre un conjunto predefinido de respuestas. En su lugar, genera texto abierto, por lo que el espacio de posibles resultados es ilimitado. Para la mayoría de las preguntas que vale la pena plantear, no existe una única verdad absoluta con la que comparar, y un pasaje puede ser preciso en un aspecto y erróneo en otro, relevante pero vago, bien razonado pero solo superficialmente, a veces todo a la vez. Determinar si un resultado es correcto se convierte en un juicio de valor más que en una simple comparación con una respuesta fija. 

El desafío se vuelve más agudo cuando se considera que los sistemas agentes actúan en lugar de solo responder. Un agente de investigación podría recuperar información, sintetizarla a partir de diversas fuentes, razonar a través de pasos intermedios y producir una conclusión que ningún ser humano revisó durante el proceso. Evaluar un sistema de este tipo significa evaluar no solo el resultado final, sino la cadena de decisiones que lo produjo. Una conclusión correcta alcanzada mediante un razonamiento defectuoso no es lo mismo que una conclusión correcta alcanzada mediante un razonamiento sólido, particularmente en entornos donde el razonamiento mismo informará las acciones subsiguientes. 

Subyacentes a estos cambios existen varias propiedades de los resultados de los modelos de lenguaje que dificultan la evaluación: 

• La reproducibilidad ya no está garantizada. Debido a que el mismo prompt puede devolver diferentes respuestas en diferentes ejecuciones, una entrada fija ya no produce un resultado fijo y verificable. Esto desestabiliza un pilar que comparten la práctica científica y la evaluación clásica de ML. 

• El fallo no deja señal. Los modelos de lenguaje están entrenados para producir texto fluido y coherente, pero la fluidez no es lo mismo que la corrección. Un modelo puede generar una respuesta redactada con confianza y internamente consistente que es fácticamente incorrecta, y a menudo lo hará sin ninguna señal de que algo ha salido mal.  

• La corrección depende del contexto. Si la respuesta de un modelo es buena, a menudo depende de quién pregunta, por qué y qué planea hacer con la respuesta. Un resumen que satisface a un lector general puede engañar a un especialista. Una respuesta que es técnicamente precisa puede ser inútil si omite las advertencias adecuadas. 

El dominio científico lo hace aún más difícil 

Estos desafíos generales se amplifican en las aplicaciones científicas, donde la precisión no es una preferencia, sino un requisito profesional y práctico. 

Las preguntas científicas rara vez están completamente delimitadas. Pedir a un sistema de inteligencia artificial que identifique candidatos a fármacos prometedores, proponga una ruta sintética o descubra conexiones entre dominios en la bibliografía no es como pedirle que clasifique una imagen. El espacio de respuestas es vasto, los criterios para una respuesta satisfactoria son multidimensionales y un error puede conducir a un experimento mal dirigido, causar meses de tiempo perdido o impedir la capacidad de replicar resultados. 

Esto se ve agravado por un problema más profundo: en los dominios donde la inteligencia artificial podría aportar más valor, a menudo aún no existe una verdad fundamental definitiva. Un sistema que presenta una hipótesis novedosa que conecta dos cuerpos de bibliografía previamente no relacionados no puede compararse con respuestas conocidas. Si la respuesta fuera conocida, la hipótesis no sería novedosa. Un modelo que obtiene una buena puntuación en los puntos de referencia internos pero falla en condiciones experimentales reales puede asignar mal los recursos, retrasar los programas y erosionar la confianza de los investigadores cuya adopción determina si la inteligencia artificial se gana un lugar duradero en su práctica científica.  

Métricas de texto existentes 

El texto generado por máquinas no llegó con los grandes modelos de lenguaje, y tampoco el problema de calificarlo. Los sistemas de traducción y resumen automáticos producían texto que necesitaba ser evaluado a escala mucho antes que los modelos actuales, y el campo construyó una familia de métricas automatizadas específicamente para hacerlo. Tres permanecen en uso generalizado: 

• BLEU. Diseñado para la traducción automática, mide cuánto se superpone el resultado del modelo con uno o más textos de referencia a nivel de secuencias cortas de palabras, con una penalización para las respuestas que son demasiado cortas (Papineni et al., 2002). 

• ROUGE. Desarrollado para el resumen, adopta un punto de vista complementario, midiendo cuánto del texto de referencia se recupera en el resultado del modelo (Lin, 2004). 

• METEOR. Un refinamiento que intenta valorar el significado en lugar de la forma superficial, haciendo coincidir no solo palabras idénticas, sino también raíces y sinónimos, y equilibrando la precisión con la exhaustividad (Banerjee y Lavie, 2005). 

Estas métricas son una medida de precisión cuando una tarea tiene un rango limitado de respuestas aceptables. Sin embargo, heredan la suposición que falla en los sistemas en cuestión: requieren un texto de referencia con el cual comparar y miden qué tan cerca está un resultado de esa referencia, no si es correcto, está bien razonado o es útil. Una respuesta correcta redactada de manera diferente a la referencia puede obtener una puntuación baja, mientras que una respuesta fluida que repite la redacción de la referencia puede obtener una buena puntuación incluso cuando es incorrecta. Para la síntesis de final abierto, donde muchas redacciones son válidas y las respuestas más valiosas pueden no tener ninguna referencia, la semejanza con un objetivo fijo es un indicador débil de calidad. 

Enfoques de evaluación emergentes 

En respuesta a estos desafíos, han surgido varios enfoques de evaluación. Estos no son reemplazos de las métricas clásicas, sino complementos necesarios para ellas. Utilizados juntos, abordan diferentes modos de fallo que un solo método pasaría por alto. 

LLM-as-a-judge (LLM como juez) utiliza un modelo de lenguaje independiente para evaluar los resultados del modelo bajo evaluación. Este enfoque escala de una manera que la revisión humana no puede. Un modelo de juez bien diseñado puede evaluar miles de resultados en el tiempo que le tomaría a un experto en la materia revisar docenas. ¿Pueden los modelos de lenguaje desempeñarse al menos con la misma precisión que un humano? Sí, y la clave para que funcione es la especificidad.  

Como ejemplo, tomemos un panel de expertos en la materia que revisan de forma independiente el mismo texto. Cada uno de los revisores puede llegar a conclusiones diferentes sobre su calidad, no porque uno esté equivocado, sino porque cada uno está sopesando implícitamente diferentes criterios no expresados. Uno prioriza la precisión factual mientras que otro pondera la integridad o la adecuada matización de la incertidumbre. Sin métricas explícitas y compartidas, "bueno" significa lo que el revisor decida privadamente que significa.  

Esta variación en el juicio humano está bien documentada. Zheng et al. (2023) descubrieron que los anotadores expertos humanos que evaluaban respuestas de LLM de final abierto estaban de acuerdo entre sí solo el 80% de las veces sobre una base de pares, y esa cifra representa una condición favorable, ya que los anotadores trabajaban a partir de la misma rúbrica explícita en la misma tarea. El panorama es más matizado cuando la evaluación se descompone por tipo de habilidad. Ye et al. (2024) midieron el acuerdo inter-anotador humano a través de 12 dimensiones de evaluación distintas utilizando el alfa de Krippendorff y encontraron un alfa humano-humano general de solo 0.488, lo que indica solo un acuerdo moderado. 

Un prompt de evaluación bien diseñado obliga a que ese razonamiento implícito salga a la luz, solicitando al modelo juez que evalúe dimensiones específicas y separables (consistencia factual, relevancia, integridad, expresión adecuada de la incertidumbre) en lugar de emitir un veredicto holístico único (Liu et al., 2023; Ye et al., 2024). Esto produce evaluaciones que son más consistentes, auditables y factibles, tanto si el juez es un modelo de lenguaje como un experto humano. 

La evaluación con intervención humana sigue siendo indispensable para los casos en los que los métodos automatizados son más débiles, y la lógica sobre cuándo desplegarla refleja un principio bien establecido en la fabricación a gran escala. En un entorno de producción, no todas las unidades reciben el mismo nivel de escrutinio. Los componentes destinados a dispositivos médicos o sistemas críticos para la seguridad reciben una inspección humana directa e individual. Los resultados estándar están cubiertos por pruebas automatizadas, con revisores humanos que intervienen para investigar fallos, validar casos límite o realizar auditorías periódicas por lotes. Estos principios se reflejan en la Regulación del Sistema de Gestión de Calidad de la Administración de Alimentos y Medicamentos de los EE. UU. (21 CFR Part 820) y en numerosos estándares de calidad como AS9100D y ISO 13485:2016. 

La evaluación de la IA científica sigue la misma lógica. Los resultados novedosos, las conclusiones de alto riesgo y la calibración de los sistemas de evaluación automatizados justifican una revisión directa por parte de expertos. Los resultados rutinarios a escala se manejan de forma sistemática, con el juicio humano disponible como una vía de escalada en lugar de un cuello de botella. Los expertos en la materia aportan algo que los sistemas automatizados no pueden: la capacidad de reconocer una respuesta sutilmente incorrecta que, sin embargo, es internamente coherente; identificar cuándo un modelo está razonando a partir de una comprensión obsoleta de un campo; o señalar cuándo un resultado, aunque técnicamente correcto, induciría a error a un profesional que lo interprete sin contexto. El objetivo no es maximizar la participación humana, sino dirigirla hacia donde tiene mayor impacto. 

La evaluación comparativa retrospectiva aborda una de las tensiones más fundamentales en la evaluación de la IA científica: ¿cómo se mide un sistema ante preguntas para las cuales aún no se conoce la respuesta?  

Considere dos casos de uso distintos. El primero: un investigador pide a un sistema de IA que busque una información específica, como un punto de fusión, una clasificación regulatoria o un rendimiento de reacción documentado. Esto es sencillo de evaluar. O bien el sistema recuperó la respuesta correcta o no lo hizo. El segundo caso de uso es más difícil: un investigador pide al sistema que sintetice información de múltiples fuentes y produzca una percepción que ningún documento contiene por sí solo. Esto es lo que más importa a los investigadores, y es mucho más difícil de evaluar porque no existe una respuesta preexistente que el sistema de IA pueda utilizar para validar su resultado. Estas tareas de mundo abierto son también las más propensas a la deriva. Tanto el enfoque de razonamiento esperado como la respuesta aceptable pueden cambiar a medida que evoluciona el conocimiento científico, lo que significa que la evaluación debe revisarse en lugar de tratarse como un ejercicio único. 

El instinto podría ser probar solo lo que se puede verificar. Sin embargo, eso significaría evaluar un sistema solo en las tareas para las que menos fue diseñado. Un mejor enfoque es pedir al sistema que responda preguntas que ya han sido resueltas mediante síntesis, no solo mediante recuperación. Los hallazgos que alguna vez fueron novedosos, que requirieron conectar cuerpos de bibliografía dispares y que ahora forman parte del registro científico establecido, constituyen casos de prueba ideales. Si la información estaba disponible en el momento del descubrimiento, un sistema capaz debería ser capaz de reconstruir el razonamiento.  

Esto es la evaluación comparativa retrospectiva: utilizar la historia del descubrimiento científico como un conjunto de evaluación representativo para el tipo de síntesis abierta que, de otro modo, no puede probarse directamente. El enfoque tiene precedentes en el creciente campo del descubrimiento basado en la bibliografía. Swanson, (1986) identificó dos cuerpos de bibliografía que estaban conectados lógicamente pero que no interactuaban entre sí, y demostró que las conexiones entre ellos implicaban una hipótesis (que el aceite de pescado en la dieta podría beneficiar a los pacientes con Raynaud) que no se había publicado explícitamente. Más tarde, Spangler et al. (2014) ampliaron esta lógica de forma computacional, analizando la bibliografía científica para generar hipótesis sobre qué quinasas fosforilan el supresor tumoral p53, y utilizando después un análisis retrospectivo para validar la precisión del enfoque antes de realizar nuevos experimentos. En ambos casos, el valor del marco retrospectivo es el mismo: los datos de entrada se fijan en un momento específico en el tiempo, por lo que la evaluación no queda obsoleta como ocurre con los puntos de referencia de mundo abierto.  

El enfoque sigue teniendo límites, ya que comprueba conexiones que ya se han establecido, no toda la gama de capacidades futuras, y requiere una ingeniería cuidadosa para limitar la información disponible para el sistema en el momento de la evaluación. Sin embargo, como comprobación de validez sobre si un sistema puede sintetizar genuinamente entre fuentes en lugar de limitarse a recuperar información de ellas, es una de las pocas herramientas rigurosas disponibles. 

Estabilidad semántica las pruebas abordan un modo de fallo que las pruebas estáticas suelen pasar por alto. Los modelos de lenguaje pueden ser sensibles a cómo se construye una pregunta: reformular la misma consulta sin cambiar su significado puede producir una respuesta diferente. Para un asistente científico, esto es un problema de fiabilidad importante. Un investigador debe poder confiar en que la respuesta del sistema refleja el fondo de su pregunta, no las palabras concretas que haya utilizado. Varios escenarios ilustran este problema. 

El primero es la sustitución de sinónimos. Utilizando pruebas de invariancia (perturbaciones que preservan el significado mientras varían la forma superficial), Ribeiro et al. (2020) identificaron fallos críticos que habían pasado desapercibidos en modelos comerciales de análisis de sentimiento ampliamente probados. Cambiar una palabra por un sinónimo cercano, como "film" por "película" o "determinar" por "averiguar", no debería alterar la respuesta que da un asistente científico, pero en la práctica ocurre con frecuencia. 

El segundo es la negación. La evaluación sistemática de modelos a través de muchos puntos de referencia de negación encontró limitaciones consistentes: insensibilidad a la presencia de la negación, incapacidad para captar la semántica léxica de la negación y un fallo al razonar correctamente bajo negación (Truong et al., 2023). Esto es importante en contextos científicos donde unas pocas palabras pueden cambiar la veracidad de una declaración: "A causa B", "A puede causar B", "sugiere que A causa B", "no respalda la afirmación de que A causa B", etcétera.   

El tercero es la formalidad. Los estudios han demostrado que las variaciones en la gramática, el tono o la formalidad pueden alterar significativamente la calidad y la dirección de la respuesta de un modelo, y algunos modelos producen respuestas de menor calidad para los usuarios que formulan las consultas de forma menos formal (por ejemplo, "¿Cuál es el mecanismo?" frente a "¿Podría explicar la base mecanística..."). Un investigador que escribe en lenguaje sencillo en lugar de en prosa técnica debería recibir la misma respuesta sustantiva que uno que no lo hace. Trabajos recientes formalizan esta preocupación: Lior et al. (2025) defienden la evaluación estocástica sobre el espacio de perturbaciones de las instrucciones que preservan el significado y descubren que incluso los modelos de mejor rendimiento, como GPT-4o y Claude 3.7 Sonnet, exhiben una sensibilidad sustancial a las instrucciones. 

Dada la evidencia de varios estudios, una evaluación que solo evalúe una formulación por pregunta no sacará a la luz este problema. Por lo tanto, variar el lenguaje en consultas equivalentes y comprobar si las respuestas siguen siendo coherentes debería formar parte de cualquier disciplina de evaluación seria. 

Evaluación del razonamiento es importante para los sistemas de agentes y las aplicaciones científicas. Cuando un asistente de investigación razona sobre un problema, recupera fuentes y llega a una conclusión, a los científicos no solo les interesa si la conclusión es correcta, sino que necesitan entender cómo se llegó a ella. Esto refleja la expectativa científica fundamental de que los resultados deben ser reproducibles y los métodos deben ser transparentes.  

Se demostró que la técnica de "cadena de pensamiento" (chain-of-thought prompting), en la que se pide a los modelos que produzcan pasos de razonamiento intermedios antes de una respuesta final, mejora significativamente el rendimiento en tareas de razonamiento complejo. Su adopción estuvo motivada en parte por la ventaja de interpretabilidad de hacer legible el razonamiento (Wei et al., 2022). Sin embargo, la visibilidad de los pasos de razonamiento no garantiza la fiabilidad. Turpin et al. (2023) demostraron que esta legibilidad puede ser ilusoria: las explicaciones de la cadena de pensamiento pueden tergiversar sistemáticamente la base real de la predicción de un modelo. En su experimento clave, se añadió un sesgo sutil a las entradas del modelo reordenando las opciones de respuesta múltiple para que la respuesta correcta fuera siempre la "A". Esto alteró de forma fiable los resultados del modelo, pero los modelos no mencionaron sistemáticamente esta influencia en su razonamiento declarado. Un sistema que produce una respuesta correcta mediante una cadena de razonamiento defectuosa u opaca es un riesgo latente, porque la siguiente pregunta que responda podría no ser correcta y no habrá forma de saberlo. 

La cuestión de cómo entrenar a los modelos para que razonen correctamente, en lugar de limitarse a producir respuestas correctas, ha empezado a recibir atención directa. Lightman et al. (2023) ilustran lo que está en juego comparando la supervisión de resultados, que recompensa a los modelos en función de si la respuesta final fue correcta, con la supervisión de procesos, que asigna crédito a cada paso individual del razonamiento. Descubrieron que los modelos entrenados con supervisión de resultados utilizaban regularmente un razonamiento incorrecto para llegar a respuestas finales correctas, y que la supervisión de procesos producía sistemas sustancialmente más fiables. La idea del entrenamiento se traduce en un principio de evaluación: si los pasos correctos pueden definirse con la suficiente precisión para entrenar con ellos, también pueden definirse con la suficiente precisión para auditarlos. 

Evaluar el proceso de razonamiento en lugar de limitarse al resultado requiere, por tanto, un tipo de prueba diferente: no "¿es correcta esta respuesta?", sino "¿siguió el sistema los pasos adecuados para llegar a una respuesta?". Se trata en sí mismo de un ejercicio basado en rúbricas, pero aplicado al proceso en lugar de al producto. Es más exigente de diseñar y requiere la aportación de expertos para definir cómo son los pasos correctos, pero es precisamente el tipo de evaluación que genera la confianza justificada que los científicos necesitan antes de actuar según las conclusiones de un sistema de inteligencia artificial. 

Una dirección emergente en la evaluación de agentes sugiere que las acciones observables (las herramientas que llama un sistema, las búsquedas que ejecuta, el orden en que recupera la información) pueden proporcionar una señal más fiable de la calidad del razonamiento que los fundamentos declarados por sí solos. A diferencia del texto de la cadena de pensamiento, que se genera mediante el mismo proceso que cualquier otro resultado del modelo y, por tanto, está sujeto a los mismos riesgos de alucinación, las llamadas a herramientas y los pasos de recuperación dejan un rastro de auditoría y tienen consecuencias que limitan el comportamiento posterior. Los primeros trabajos sobre la evaluación de la trayectoria de los agentes en puntos de referencia diseñados para evaluar el uso de herramientas en varios pasos han comenzado a puntuar estas acciones intermedias en lugar de solo los resultados de las tareas. Si este enfoque madura, puede ofrecer a los usuarios científicos algo más parecido a una auditoría de métodos genuina. 

Combinación de enfoques sistemáticos y mediados por humanos 

Ningún método de evaluación es suficiente por sí solo. Las organizaciones que más progresan en la evaluación de la IA científica son las que lo tratan como un problema de cartera: desplegando técnicas automatizadas a escala para lograr cobertura y coherencia, y reservando la revisión de expertos humanos para la calibración, la validación de casos extremos y los tipos de juicios que requieren una comprensión científica genuina. Los mejores marcos de evaluación no subordinan uno al otro, aprovechando las fortalezas complementarias de cada uno. 

Al crear soluciones de IA para la investigación científica, CAS aplica este enfoque por capas. La evaluación automatizada gestiona la escala y la coherencia en grandes conjuntos de resultados; las rúbricas estructuradas garantizan que la evaluación sea multidimensional en lugar de reducirse a un solo número; y los científicos de dominio, los mismos expertos cuyo trabajo de catalogación sustenta la CAS Content Collection™, aportan el juicio humano que determina si un sistema es técnicamente eficiente y científicamente sólido. Esto incluye evaluar no solo lo que concluye CAS Newton℠, sino cómo razona: si los pasos que sigue para llegar a una respuesta son los que un científico reconocería como apropiados, trazables y reproducibles. El objetivo no es minimizar la participación humana en nombre de la eficiencia. Es dirigir el juicio humano donde tiene más peso. 

Cómo es una buena evaluación 

La evaluación no es un paso que se produce después de construir un sistema de IA. Es una restricción de diseño que debería dar forma a cómo se diseñan los sistemas desde el principio. Las preguntas que vale la pena hacerse pronto: 

•  "¿Cómo es el éxito?" 

• "¿Cómo sabríamos si el sistema se equivocó?" 

• "¿Quién tiene la experiencia para emitir ese juicio?" 

Estas no son solo preguntas de evaluación. Son las preguntas que determinan si un sistema de IA se ganará la confianza de los científicos e investigadores a los que se les pide que actúen según sus resultados. 

El kit de herramientas clásico de ML no se retirará. La precisión, la recuperación y el rendimiento de referencia siguen siendo importantes, y para muchos componentes de sistemas de IA incluso complejos, siguen siendo las medidas correctas. Sin embargo, para los sistemas que operan en la frontera de lo que la IA puede hacer (razonar a través de bibliografías científicas, sacar a la luz conexiones latentes, proponer hipótesis en dominios donde la verdad fundamental es incierta), una evaluación rigurosa requiere más de lo que ofrecen los viejos enfoques. Desarrollar ese rigor es en sí mismo un desafío científico continuo, y uno que merece el mismo cuidado que los sistemas de IA que se están evaluando.