O desafio de avaliação no centro da IA científica

Entregue um sistema de IA a alguém e faça uma pergunta enganosamente simples: ele é bom? Os sistemas baseados em LLM que estão sendo aplicados na ciência e na indústria destinam-se a responder a perguntas abertas, ponderar evidências e percorrer etapas até uma conclusão. Uma resposta fluente e confiante é fácil de produzir, mas saber se ela está correta e se se sustentará na próxima vez que você perguntar é outra história.

Modelos de aprendizado de máquina são usados e testados há anos. O que mudou? Os modelos tradicionais de ML são usados para realizar tarefas como classificar um e-mail como spam, prever se um solicitante de empréstimo entrará em inadimplência ou identificar um tumor em uma imagem de radiologia. Cada problema é específico e os resultados são determinísticos: para uma determinada entrada, há uma única saída. Existem décadas de práticas estabelecidas sobre como verificar esse trabalho. Simplificando, você separa exemplos que o modelo nunca vê durante o treinamento, executa-os no modelo treinado e mede a frequência com que ele acerta as respostas.

Essa estrutura é rigorosa, interpretável e confiável. Ela também é insuficiente para os tipos de sistemas de IA que as organizações estão implantando agora. A mudança reflete uma alteração fundamental no que se espera que a IA faça. Os modelos de linguagem atuais e os sistemas agentivos que agem com base em seu raciocínio não mapeiam entradas para um conjunto fixo de rótulos. Em vez disso, eles geram linguagem aberta e realizam ações, e, ao fazer isso, rompem muitas das premissas usadas pelas abordagens clássicas. A mesma pergunta, feita duas vezes, pode produzir respostas diferentes. Uma resposta pode ser fluente, confiante e estar errada. Para as perguntas mais difíceis e valiosas que queremos que os sistemas de IA respondam, pode não haver nenhuma resposta definida para comparação.

Em nenhum lugar essa lacuna é mais importante do que na ciência, onde as perguntas que valem a pena são justamente aquelas que ninguém respondeu ainda. Além disso, uma resposta errada não é apenas uma previsão incorreta — ela pode levar um programa de pesquisa a um beco sem saída de meses.

O que se segue traça essa mudança: por que a estrutura clássica funcionava tão bem, por que ela falha para a IA moderna e as novas abordagens que estão surgindo para reduzir essa distância.

O mundo confortável da avaliação clássica de ML

As premissas que esses sistemas mais novos rompem raramente são explicitadas porque, no aprendizado de máquina clássico, quase nunca precisam ser. A avaliação tradicional baseia-se em três delas, todas fáceis de ignorar porque geralmente são satisfeitas:

• Primeiro, que existe uma verdade absoluta: uma resposta correta definitiva com a qual as saídas do modelo podem ser comparadas.

• Segundo, que a tarefa é delimitada de modo que o espaço de possíveis saídas seja finito e bem definido.

• Terceiro, que a correção é inequívoca, no sentido de que uma previsão está certa ou errada, e um humano (ou um conjunto de dados rotulado) pode identificar a diferença.

Essas premissas funcionam bem para os problemas que tornaram o aprendizado de máquina famoso inicialmente:

• A detecção de spam é um problema de classificação binária.

• O reconhecimento de imagem mapeia uma entrada para um conjunto fixo de rótulos.

• A detecção de fraude avalia uma transação com base em um limite aprendido.

Em cada caso, a avaliação funciona da mesma maneira: compara-se a saída do modelo com exemplos cujas respostas corretas já são conhecidas e mede-se a frequência com que ele acerta.

Existem métricas padrão que surgem dessa estrutura:

• Acurácia. A proporção de todas as previsões que um modelo acerta; intuitiva, mas enganosa quando um resultado é muito mais comum que outro.

• Precisão. De tudo o que o modelo marcou como positivo, a fração que realmente era; uma medida de quão confiáveis são seus alertas.

• Recall. De todos os verdadeiros positivos existentes, a fração que o modelo capturou; uma medida de quão pouco ele deixa passar.

• Pontuação F1. A média harmônica entre precisão e recall; útil quando você precisa de um único número que penalize modelos que sacrificam um em favor do outro.

• Área sob a curva ROC. A pontuação de confiança de um modelo pode ser ajustada para equilibrar a captura de mais verdadeiros positivos e o disparo de mais alarmes falsos. A curva ROC traça esse equilíbrio em todos os limites possíveis, e a área sob ela resume o poder discriminatório geral em um único número — 1,0 significa que o modelo separa perfeitamente as duas classes, 0,5 significa que ele não tem um desempenho melhor do que o cara ou coroa.

Cada uma captura algo real sobre o comportamento do modelo, e essas medidas tornaram-se tão fundamentais que são a primeira coisa que a maioria dos profissionais busca, independentemente do problema em questão. O problema começa quando o cenário não satisfaz mais as premissas subjacentes.

Por que os modelos de linguagem rompem a estrutura antiga

Para um modelo de linguagem, cada uma dessas premissas deixa de existir. Ele não escolhe a partir de um conjunto predefinido de respostas. Em vez disso, gera texto aberto, portanto, o espaço de possíveis saídas é ilimitado. Para a maioria das perguntas que valem a pena, não existe uma verdade absoluta para comparação, e um trecho pode ser preciso em um aspecto e errado em outro, relevante, mas vago, bem fundamentado, mas apenas superficialmente, às vezes tudo ao mesmo tempo. Se uma saída está correta torna-se um julgamento, e não uma simples comparação com uma resposta fixa.

O desafio torna-se mais agudo quando se considera que sistemas agentes agem em vez de apenas responder. Um agente de pesquisa pode recuperar informações, sintetizá-las de várias fontes, raciocinar por meio de etapas intermediárias e produzir uma conclusão que nenhum humano revisou ao longo do caminho. Avaliar tal sistema significa avaliar não apenas a saída final, mas a cadeia de decisões que a produziu. Uma conclusão correta alcançada por meio de um raciocínio falho não é o mesmo que uma conclusão correta alcançada por meio de um raciocínio sólido, particularmente em ambientes onde o próprio raciocínio informará ações subsequentes.

Por trás dessas mudanças estão várias propriedades das saídas dos modelos de linguagem que dificultam a avaliação:

• A reprodutibilidade não é mais garantida. Como o mesmo prompt pode retornar respostas diferentes em execuções distintas, uma entrada fixa não gera mais um resultado fixo e verificável. Isso abala um pilar que a prática científica e a avaliação clássica de ML compartilham.

• A falha não deixa sinal. Modelos de linguagem são treinados para produzir texto fluente e coerente, mas fluência não é o mesmo que correção. Um modelo pode gerar uma resposta formulada com confiança e internamente consistente que está factualmente errada, e muitas vezes fará isso sem qualquer sinal de que algo deu errado.

• A correção depende do contexto. Se a resposta de um modelo é boa, muitas vezes depende de quem está perguntando, por que e o que pretendem fazer com a resposta. Um resumo que satisfaz um leitor geral pode enganar um especialista. Uma resposta tecnicamente precisa pode ser inútil se omitir as ressalvas necessárias.

O domínio científico torna tudo ainda mais difícil

Esses desafios gerais são amplificados em aplicações científicas, onde a precisão não é uma preferência, mas um requisito prático e profissional.

Questões científicas raramente são totalmente delimitadas. Pedir a um sistema de IA que identifique candidatos a medicamentos promissores, proponha uma rota sintética ou encontre conexões entre domínios na literatura não é como pedir que ele classifique uma imagem. O espaço de respostas é vasto, os critérios para uma resposta satisfatória são multidimensionais e um erro pode levar a um experimento mal direcionado, causar meses de tempo perdido ou impedir a capacidade de replicar resultados.

Isso é agravado por um problema mais profundo: nos domínios onde a IA poderia agregar mais valor, muitas vezes ainda não existe uma verdade absoluta. Um sistema que apresenta uma hipótese inovadora conectando dois conjuntos de literatura anteriormente não relacionados não pode ser comparado com respostas conhecidas. Se a resposta fosse conhecida, a hipótese não seria inovadora. Um modelo que obtém uma boa pontuação em benchmarks internos, mas falha em condições experimentais reais, pode alocar recursos incorretamente, atrasar programas e corroer a confiança dos pesquisadores, cuja adoção determina se a IA conquistará um lugar duradouro em sua prática científica.

Métricas de texto existentes

O texto gerado por máquina não surgiu com os grandes modelos de linguagem, nem o problema de pontuá-lo. Sistemas de tradução automática e sumarização produziam textos que precisavam ser avaliados em escala muito antes dos modelos atuais, e o campo construiu uma família de métricas automatizadas especificamente para isso. Três permanecem em amplo uso:

• BLEU.Projetado para tradução automática, ele mede quanto da saída do modelo se sobrepõe a um ou mais textos de referência ao nível de sequências curtas de palavras, com uma penalidade para respostas muito curtas (Papineni et al., 2002).

• ROUGE.Desenvolvido para sumarização, ele adota a visão complementar, medindo quanto do texto de referência é recuperado na saída do modelo (Lin, 2004).

• METEOR.Um refinamento que tenta creditar o significado em vez da forma superficial, combinando não apenas palavras idênticas, mas radicais e sinônimos, e equilibrando a precisão com a revocação (Banerjee e Lavie, 2005).

Essas métricas são uma medida de precisão quando uma tarefa tem uma faixa estreita de respostas aceitáveis. No entanto, elas herdam a suposição que falha para os sistemas em questão: exigem um texto de referência para comparação e medem o quanto uma saída corresponde a essa referência, não se ela está correta, bem fundamentada ou útil. Uma resposta correta, mas redigida de forma diferente da referência, pode ter uma pontuação baixa, enquanto uma resposta fluida que ecoa a redação da referência pode ter uma pontuação alta, mesmo estando errada. Para a síntese aberta, onde muitas redações são válidas e as respostas mais valiosas podem não ter referência alguma, a semelhança com um alvo fixo é um indicador fraco de qualidade.

Abordagens de avaliação emergentes

Em resposta a esses desafios, várias abordagens de avaliação surgiram. Elas não substituem as métricas clássicas, mas são complementos necessários a elas. Usadas em conjunto, abordam diferentes modos de falha que um método isolado deixaria passar.

LLM-as-a-judge utiliza um modelo de linguagem separado para avaliar as saídas do modelo sob análise. Essa abordagem escala de uma forma que a revisão humana não consegue. Um modelo de avaliação bem projetado pode analisar milhares de saídas no tempo que um especialista levaria para revisar dezenas. Os modelos de linguagem podem ter um desempenho pelo menos tão preciso quanto o de um humano? Sim, e o segredo para fazê-lo funcionar é a especificidade.

Como exemplo, considere um painel de especialistas no domínio revisando independentemente o mesmo texto. Cada um dos revisores pode chegar a conclusões diferentes sobre sua qualidade, não porque um esteja errado, mas porque cada um está implicitamente ponderando critérios diferentes e não ditos. Um prioriza a precisão factual, enquanto outro pondera a completude ou a moderação apropriada da incerteza. Sem métricas explícitas e compartilhadas, "bom" significa o que quer que o revisor decida privadamente que significa.

Essa variação no julgamento humano é bem documentada.Zheng et al. (2023) descobriram que avaliadores humanos especialistas, ao avaliarem respostas abertas de LLMs, concordaram entre si apenas 80% das vezes em uma base bruta de pares, e esse número representa uma condição favorável, já que os avaliadores estavam trabalhando a partir da mesma rubrica explícita na mesma tarefa. O cenário é mais sutil quando a avaliação é decomposta por tipo de habilidade.Ye et al. (2024) mediram a concordância interavaliadores humana em 12 dimensões de avaliação distintas usando o alfa de Krippendorff e encontraram um alfa humano-humano geral de apenas 0,488, o que indica apenas uma concordância moderada.

Um prompt de avaliação bem projetado força esse raciocínio implícito a vir à tona, pedindo ao modelo avaliador que analise dimensões específicas e separáveis (consistência factual, relevância, completude, expressão apropriada de incerteza) em vez de emitir um veredito holístico único (Liu et al., 2023; Ye et al., 2024). Isso produz avaliações mais consistentes, auditáveis e acionáveis, seja o avaliador um modelo de linguagem ou um especialista humano.

A avaliação com humanos no circuito permanece indispensável para os casos em que os métodos automatizados são mais fracos, e a lógica de quando implantá-la reflete um princípio bem estabelecido na manufatura em larga escala. Em um ambiente de produção, nem toda unidade recebe o mesmo nível de escrutínio. Componentes destinados a dispositivos médicos ou sistemas críticos de segurança recebem inspeção humana direta e individual. Saídas padrão são cobertas por testes automatizados, com revisores humanos sendo trazidos para investigar falhas, validar casos extremos ou conduzir auditorias periódicas em lote. Esses princípios estão refletidos no Regulamento do Sistema de Gestão da Qualidade da Food and Drug Administration dos EUA (21 CFR Part 820) e em inúmeros padrões de qualidade, como AS9100D e ISO 13485:2016.

A avaliação de IA científica segue a mesma lógica. Saídas inovadoras, conclusões de alto risco e a calibração de sistemas de avaliação automatizados justificam a revisão direta por especialistas. Saídas de rotina em escala são tratadas sistematicamente, com o julgamento humano disponível como um caminho de escalonamento, em vez de um gargalo. Especialistas no domínio trazem algo que os sistemas automatizados não conseguem: a capacidade de reconhecer uma resposta sutilmente errada que, no entanto, é internamente coerente; de identificar quando um modelo está raciocinando a partir de uma compreensão desatualizada de um campo; ou de sinalizar quando um resultado, embora tecnicamente correto, induziria ao erro um profissional que o interpretasse sem contexto. O objetivo não é maximizar o envolvimento humano, mas direcioná-lo para onde ele tem mais impacto.

O benchmarking retrospectivo aborda uma das tensões mais fundamentais na avaliação de IA científica: como medir um sistema em questões para as quais você ainda não conhece a resposta?

Considere dois casos de uso distintos. O primeiro: um pesquisador pede a um sistema de IA que procure uma informação específica, como um ponto de fusão, uma classificação regulatória ou um rendimento de reação documentado. Isso é simples de avaliar. Ou o sistema recuperou a resposta correta ou não. O segundo caso de uso é mais difícil: um pesquisador pede ao sistema que sintetize informações de várias fontes e produza um insight que nenhum documento único contém. É com isso que os pesquisadores mais se preocupam, e é muito mais difícil de avaliar porque não existe uma resposta pré-existente que o sistema de IA possa usar para validar seu resultado. Essas tarefas de mundo aberto também são as mais propensas a desvios. Tanto a abordagem de raciocínio esperada quanto a resposta aceitável podem mudar à medida que o conhecimento científico evolui, o que significa que a avaliação deve ser revisitada em vez de tratada como um exercício único.

O instinto pode ser testar apenas o que pode ser verificado. No entanto, isso significaria avaliar um sistema apenas nas tarefas para as quais ele foi menos projetado. Uma abordagem melhor é pedir ao sistema que responda a perguntas que já foram respondidas por meio de síntese, e não apenas por recuperação. Descobertas que antes eram inovadoras, que exigiam a conexão de conjuntos de literatura díspares e que agora fazem parte do registro científico estabelecido, são casos de teste ideais. Se a informação estava disponível na época da descoberta, um sistema capaz deve ser capaz de reconstruir o raciocínio.

Este é o benchmarking retrospectivo: usar o histórico de descobertas científicas como um conjunto de avaliação substituto para o tipo de síntese aberta que, de outra forma, não poderia ser testada diretamente. Essa abordagem tem precedentes no campo crescente da descoberta baseada em literatura.Swanson (1986)identificou dois corpos de literatura que estavam logicamente conectados, mas não eram interativos, e mostrou que as conexões entre eles implicavam uma hipótese (de que o óleo de peixe na dieta poderia beneficiar pacientes com Raynaud) que não havia sido publicada explicitamente. Mais tarde,Spangler et al. (2014)estenderam essa lógica computacionalmente, minerando a literatura científica para gerar hipóteses sobre quais quinases fosforilam a proteína supressora de tumor p53, usando então a análise retrospectiva para validar a precisão da abordagem antes que qualquer novo experimento fosse realizado. Em ambos os casos, o valor do enquadramento retrospectivo é o mesmo: as entradas são fixadas em um momento específico no tempo, de modo que a avaliação não se torna obsoleta da maneira como os benchmarks de mundo aberto se tornam.

A abordagem ainda tem limites, pois testa conexões que já foram feitas, não a gama completa de capacidades futuras, e requer uma engenharia cuidadosa para restringir as informações disponíveis ao sistema no momento da avaliação. No entanto, como uma verificação de validade sobre se um sistema pode realmente sintetizar entre fontes, em vez de apenas recuperar informações delas, é uma das poucas ferramentas rigorosas disponíveis.

O teste de estabilidade semânticaaborda um modo de falha que os testes estáticos geralmente ignoram. Os modelos de linguagem podem ser sensíveis à forma como uma pergunta é construída: reformular a mesma consulta sem alterar seu significado pode produzir uma resposta diferente. Para um assistente científico, essa é uma preocupação significativa de confiabilidade. Um pesquisador deve ser capaz de confiar que a resposta do sistema reflete a substância de sua pergunta, não as palavras específicas que ele usou. Vários cenários ilustram esse problema.

O primeiro é a substituição de sinônimos. Usando testes de invariância (perturbações que preservam o significado enquanto variam a forma superficial),Ribeiro et al. (2020)identificaram falhas críticas que passaram despercebidas em modelos de análise de sentimento comerciais extensivamente testados. Trocar uma palavra por um quase sinônimo, como "filme" por "longa-metragem" ou "determinar" por "descobrir", não deveria alterar a resposta que um assistente científico fornece, mas, na prática, isso acontece com frequência.

O segundo é a negação. A avaliação sistemática de modelos em muitos benchmarks de negação encontrou limitações consistentes: insensibilidade à presença de negação, incapacidade de capturar a semântica lexical da negação e falha em raciocinar corretamente sob negação (Truong et al., 2023). Isso é importante em contextos científicos onde algumas palavras podem alterar a veracidade de uma afirmação: "A causa B", "A pode causar B", "sugere que A causa B", "não apoia a alegação de que A causa B", e assim por diante.

O terceiro é a formalidade. Estudos mostraram que variações na gramática, tom ou formalidade podem alterar significativamente a qualidade e a direção da saída de um modelo, com alguns modelos produzindo respostas de menor qualidade para usuários que formulam consultas de forma menos formal (por exemplo, "Qual é o mecanismo?" vs. "Você poderia explicar a base mecanística..."). Um pesquisador que escreve em linguagem simples, em vez de prosa técnica, deve receber a mesma resposta substantiva que alguém que não o faz. Trabalhos recentes formalizam essa preocupação:Lior et al. (2025)defendem a avaliação estocástica sobre o espaço de perturbações de prompt que preservam o significado e descobrem que mesmo modelos de alto desempenho, como o GPT-4o e o Claude 3.7 Sonnet, exibem uma sensibilidade substancial ao prompt.

Dadas as evidências de vários estudos, uma avaliação que analisa apenas uma formulação por pergunta não revelará esse problema. Portanto, variar a linguagem entre consultas equivalentes e verificar se as respostas permanecem consistentes deve fazer parte de qualquer disciplina de avaliação séria.

A avaliação do raciocínioé importante para sistemas agentes e aplicações científicas. Quando um assistente de pesquisa raciocina sobre um problema, recupera fontes e chega a uma conclusão, os cientistas não estão interessados apenas em saber se a conclusão está correta, mas precisam entender como ela foi alcançada. Isso reflete a expectativa científica fundamental de que os resultados devem ser reproduzíveis e os métodos devem ser transparentes.

O prompting de cadeia de pensamento (chain-of-thought), no qual os modelos são solicitados a produzir etapas de raciocínio intermediárias antes de uma resposta final, mostrou melhorar significativamente o desempenho em tarefas de raciocínio complexas. Sua adoção foi parcialmente motivada pelo benefício de interpretabilidade de tornar o raciocínio legível (Wei et al., 2022). No entanto, a visibilidade das etapas de raciocínio não é uma garantia de confiabilidade.Turpin et al. (2023)mostraram que essa legibilidade pode ser ilusória: as explicações de cadeia de pensamento podem representar sistematicamente de forma errada a base real para a previsão de um modelo. Em seu experimento principal, um viés sutil foi adicionado às entradas do modelo reordenando as opções de múltipla escolha para que a resposta correta fosse sempre "A". Isso alterou de forma confiável as saídas do modelo, mas os modelos falharam consistentemente em mencionar essa influência em seu raciocínio declarado. Um sistema que produz uma resposta correta por meio de uma cadeia de raciocínio falha ou opaca é um risco latente, porque a próxima pergunta que ele responder pode não estar correta, e não haverá como saber.

A questão de como treinar modelos para raciocinar corretamente, em vez de apenas produzir respostas corretas, começou a receber atenção direta.Lightman et al. (2023)ilustram os riscos comparando a supervisão de resultados, que recompensa os modelos com base na correção da resposta final, com a supervisão de processo, que atribui crédito a cada etapa individual de raciocínio. Eles descobriram que os modelos treinados com supervisão de resultados usavam regularmente raciocínios incorretos para chegar a respostas finais corretas, e que a supervisão de processo produzia sistemas substancialmente mais confiáveis. O insight de treinamento se traduz em um princípio de avaliação: se as etapas corretas podem ser definidas com precisão suficiente para treinar, elas também podem ser definidas com precisão suficiente para auditar.

Avaliar o processo de raciocínio, em vez de apenas o resultado, requer, portanto, um tipo diferente de teste: não "esta resposta está correta?", mas "o sistema seguiu as etapas apropriadas para chegar a uma resposta?". Este é, por si só, um exercício baseado em rubricas, mas aplicado ao processo em vez do produto. É mais exigente de projetar e requer a contribuição de especialistas para definir como são as etapas corretas, mas é precisamente o tipo de avaliação que constrói a confiança justificada de que os cientistas precisam antes de agir com base nas conclusões de um sistema de IA.

Uma direção emergente na avaliação de agentes sugere que ações observáveis (as ferramentas que um sistema chama, as pesquisas que executa, a ordem em que recupera informações) podem fornecer um sinal mais confiável da qualidade do raciocínio do que apenas as justificativas declaradas. Ao contrário do texto de cadeia de pensamento, que é gerado pelo mesmo processo que qualquer outra saída do modelo e, portanto, está sujeito aos mesmos riscos de alucinação, as chamadas de ferramentas e as etapas de recuperação deixam uma trilha de auditoria e têm consequências que restringem o comportamento subsequente. Trabalhos iniciais sobre avaliação de trajetória de agentes em benchmarks projetados para avaliar o uso de ferramentas em várias etapas começaram a pontuar essas ações intermediárias, em vez de apenas os resultados das tarefas. Se essa abordagem amadurecer, poderá oferecer aos usuários científicos algo mais próximo de uma auditoria de métodos genuína.

Combinando abordagens sistemáticas e mediadas por humanos

Nenhum método de avaliação único é suficiente. As organizações que estão fazendo mais progresso na avaliação de IA científica são aquelas que a tratam como um problema de portfólio: implantando técnicas automatizadas em escala para cobertura e consistência e reservando a revisão de especialistas humanos para calibração, validação de casos extremos e os tipos de julgamentos que exigem compreensão científica genuína. As melhores estruturas de avaliação não tornam uma subordinada à outra, aproveitando os pontos fortes complementares de cada uma.

Ao construir soluções de IA para pesquisa científica, o CAS aplica essa abordagem em camadas. A avaliação automatizada lida com a escala e a consistência em grandes conjuntos de resultados; rubricas estruturadas garantem que a avaliação seja multidimensional, em vez de reduzida a um único número; e cientistas de domínio, os mesmos especialistas cujo trabalho de curadoria sustenta a CAS Content Collection™, fornecem o julgamento humano que determina se um sistema é tecnicamente eficiente e cientificamente sólido. Isso inclui avaliar não apenas o que o CAS Newton℠ conclui, mas como ele raciocina: se as etapas que ele segue para chegar a uma resposta são aquelas que um cientista reconheceria como apropriadas, rastreáveis e reproduzíveis. O objetivo não é minimizar o envolvimento humano em nome da eficiência. É direcionar o julgamento humano onde ele tem mais impacto.

Como é uma boa avaliação

A avaliação não é uma etapa que ocorre após a construção de um sistema de IA. É uma restrição de design que deve moldar como os sistemas são projetados desde o início. As perguntas que vale a pena fazer desde cedo:

• "Como é o sucesso?"

• "Como saberíamos se o sistema estivesse errado?"

• "Quem tem a experiência para fazer esse julgamento?"

Estas não são apenas perguntas de avaliação. São as perguntas que determinam se um sistema de IA conquistará a confiança dos cientistas e pesquisadores que precisam agir com base em seus resultados.

O kit de ferramentas clássico de ML não será aposentado. Precisão, recall e desempenho em benchmarks ainda importam e, para muitos componentes de sistemas de IA complexos, continuam sendo as medidas certas. No entanto, para sistemas que operam na fronteira do que a IA pode fazer — raciocinando sobre literaturas científicas, revelando conexões latentes, propondo hipóteses em domínios onde a verdade fundamental é incerta — uma avaliação rigorosa exige mais do que as abordagens antigas oferecem. Desenvolver esse rigor é, por si só, um desafio científico contínuo que merece o mesmo cuidado que os sistemas de IA avaliados.