衡量思维链推理的忠实度

原标题: Measuring faithfulness in Chain-of-Thought reasoning

该研究探讨思维链推理是否反映了模型的实际决策过程。作者对推理过程进行了干预，例如加入错误或对其进行改写，并检查预测结果如何变化。忠实度因任务而异，在所研究的大多数任务中，随着模型变得更大、能力更强，忠实度反而下降。