AI na Matatizo Magumu ya Ulimwengu · Hisabati · arXiv · 2026-10-19
Zaidi ya Ukusanyaji: Kutathmini Urasimishaji Mwaminifu wa Kauli kutoka Lugha Asilia hadi Lean
Kichwa asilia: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean hukagua kama tamko lililotengenezwa lina aina sahihi (well typed), lakini haliwezi kuthibitisha kama linalingana na nia ya mtumiaji, kwa hiyo waandishi wanapima ni kwa kiasi gani ukamilishaji wa msimbo (compilation) unazidisha uaminifu katika urasimishaji otomatiki wa kauli. Kigezo chao kinahitaji ukamilishaji wa Lean na makubaliano ya majaji wawili wa LLM kutoka familia tofauti za miundo, na kinakubaliana na wengi wa wakaguzi binadamu katika 91.5% ya visa kwenye ukaguzi huru wa nasibu. Kwenye kauli 227 za kiwango cha chuo kikuu katika mifumo minane, pengo kati ya matokeo yanayokamilika na yanayokubaliwa ni kati ya pointi 1.3 hadi 29.5 za asilimia, ambapo wakala aliyeongezewa zana hukamilisha 87.2% ya kauli lakini ni 57.7% pekee zinazokubaliwa.