IA e os Problemas Difíceis do Mundo · Ciências da Terra e do clima · arXiv · 2026-10-23
Podemos confiar nas avaliações de previsões meteorológicas de IA para eventos extremos? Como os protocolos de avaliação moldam os rankings dos modelos
Título original: Can We Trust Evaluations of AI Weather Forecasts for Extremes? How Evaluation Protocols Shape Model Rankings
Os estudos divergem sobre se os modelos meteorológicos de IA conseguem prever eventos extremos, e os autores atribuem parte disso a protocolos de avaliação diferentes. Em um desenho experimental comum, os rankings dos modelos dependeram fortemente da métrica: o modelo baseado em física foi melhor nos extremos observados, enquanto os modelos de IA se saíram melhor sob pontuação ponderada. Uma análise de contingência mostrou que os modelos de IA subestimam os extremos e os deixam passar, enquanto o modelo físico os prevê com mais frequência e gera falsos alarmes, com as diferenças de pontuação decorrendo principalmente de descalibração, e não de discriminação.