Just Ask for Calibration

这篇具有很好参考价值的文章主要介绍了Just Ask for Calibration。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章，针对《Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback》的翻译。

摘要

一个值得信赖的真实世界预测系统应该得到很好的校准；也就是说，它对答案的信心表明了答案正确的可能性，在低信心预测的情况下，可以推迟到更昂贵的专家那里。虽然最近的研究表明，无监督预训练产生的大型语言模型（LMs）校准得非常好，但实践中最广泛使用的LMs在初始无监督预训练阶段后通过人类反馈强化学习（RLHFLMs）进行了微调，对于这些模型是否保持了其祖先的良好校准性，结果喜忧参半。在本文中，我们对从用RLHF微调的LLM中提取置信度得分的计算上可行的方法进行了广泛的评估。我们发现，在正确的提示策略下，RLHF LMs表达的概率比模型的条件概率校准得更好，能够实现相当好的校准预测。通过将提示策略和温度缩放相结合，我们发现可以将RLHFLMs的预期校准误差降低50%以上。

1 引言

2 评估RLHF-LMs的校准

3 结果

4 讨论

我们的研究结果为未来的工作提出了几个问题。例如，一阶段和两阶段的口头数字置信度提示在置信度的校准方面有时会有很大的不同，尽管它们只在生成答案选择之前或之后询问概率方面有所不同：我们如何降低模型校准对提示的敏感性？除了问答之外，我们是否可以利用短答案设置中的良好校准来提高长形式生成的可靠性，也许可以通过将长形式生成分解为一系列短问题？最后，语言模型的校准在多大程度上取决于领域；我们在事实回忆的背景下得出的结论在推理或算术的背景下成立吗？回答这些问题提供了一条建立更可靠、最终更有用的语言系统的途径。文章来源地址https://www.toymoban.com/news/detail-683663.html

到了这里，关于Just Ask for Calibration的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！