Chain-of-thought (CoT) 简析

简要说明CoT是怎么一回事，主要参考NIPS’22

CoT基本可以看成一种ICL，只不过给出的input中是与“逐步推理”相关的内容。

即input既可以是一些推理示例，如：

也可以是直接提出逐步思考的指令，如NIPS’22：

根据测试，CoT在多数情况下相比常规的prompting能明显提升性能，且模型越大，CoT效果越好（参考NIPS’22的Fig4）。不过值得注意的是在参数量太小的模型上CoT可能反而会更差。