财务文件
让 AI 在财务报告上“写出计算过程”
我们如何不让 AI 做心算，并如实测量它仍然会错多少。
问题
问聊天机器人一个关于财务报告的追问，比如“和上一年相比增长了百分之几？”，它常常搞错你指的是哪一年，或者在“脑子里”算错，而且非常自信。
我们的做法
- 1分工：AI 负责读懂文件、找出需要哪些数字；一个独立且受严格限制的计算器负责计算。
- 2要求 AI 在给出答案前一步步写下推理过程，让每个答案都可以核查。
- 3遇到有歧义的表格时（例如两列标题相同），系统宁可拒绝回答也不瞎猜。
- 4每一项改动都在 1,490 个真实问题上用严格的统计方法测量，而不是只看几个漂亮的例子。
结果
79.5%
1,490 个问题的答对率（严格评分）
68.9%
2022 年原始研究模型在同一测试中的成绩
89.4%
人类专家在同一测试中的成绩
最难的情况（表格中有重复的列标题）答对率只有 53.1%。所以系统现在遇到这类情况会拒绝回答，而不是猜。
经验
精心设计的 AI 在财务文件上确实有用，但出错的频率仍然高到足以要求：凡是重要的内容，都必须由有资质的人核对。
这对您意味着什么
为您的公司配置 AI 时，我们采用同样的原则：AI 负责起草和总结，软件负责计算，人负责审核。哪里可靠、哪里不可靠，我们都会如实告诉您。
延伸阅读
30 分钟，弄清楚您的现状。
免费、没有义务。无论是否与我们合作，您都会带走一页可以直接行动的总结。