采样控制:温度及其相关参数
当模型生成文本时,它从一个概率分布中挑选下一个 token。采样控制调节它如何挑选——输出是更聚焦还是更多样。
主要旋钮
- 温度(Temperature)——随机性。低(≈0) = 聚焦、近乎确定、可复现;模型走最可能的路径。高 = 更多样、更有创造性,但更容易跑偏或出错。
- top-p(核采样)——把候选限制在概率之和达到 p 的最小 token 集合内。这是另一种约束随机性的方式。
- top-k——只考虑最可能的 k 个 token。
- 停止序列(stop sequences)——一旦生成这些字符串就结束响应(对结构化输出很方便)。
你通常调整温度或 top-p 其中之一,而不是两者同时调。
何时跑冷、何时跑热
| 跑冷(低温度) | 跑热(较高温度) |
|---|---|
| 抽取、分类、代码 | 头脑风暴、起名、创意文案 |
| 任何你希望可复现的内容 | 探索众多选项 |
| 事实类 / 结构化输出 | 语气多样、构思 |
对大多数工作而言,一个好的默认值是中到低。只有当你想要惊喜时才把它拉高。
:::note 较新的模型可能会隐藏这些 若干近期的 Claude 模型会自行调整解码,并弱化(或省略)温度。如果某个旋钮不可用,那是有意为之——请改为通过提示词以及(在提供的情况下)努力程度/思考 设置来塑造行为。 :::
关于确定性的注意事项
即使在温度为 0 时,跨多次运行/版本的输出也不保证逐位相同。不要依赖精确的可复现性;而要依靠 评估 来捕捉漂移。