跳到主要内容

采样控制:温度及其相关参数

进阶

当模型生成文本时,它从一个概率分布中挑选下一个 token采样控制调节它如何挑选——输出是更聚焦还是更多样。

主要旋钮

  • 温度(Temperature)——随机性。低(≈0) = 聚焦、近乎确定、可复现;模型走最可能的路径。 = 更多样、更有创造性,但更容易跑偏或出错。
  • top-p(核采样)——把候选限制在概率之和达到 p 的最小 token 集合内。这是另一种约束随机性的方式。
  • top-k——只考虑最可能的 k 个 token。
  • 停止序列(stop sequences)——一旦生成这些字符串就结束响应(对结构化输出很方便)。

你通常调整温度top-p 其中之一,而不是两者同时调。

何时跑冷、何时跑热

(低温度)(较高温度)
抽取、分类、代码头脑风暴、起名、创意文案
任何你希望可复现的内容探索众多选项
事实类 / 结构化输出语气多样、构思

对大多数工作而言,一个好的默认值是中到低。只有当你想要惊喜时才把它拉高。

:::note 较新的模型可能会隐藏这些 若干近期的 Claude 模型会自行调整解码,并弱化(或省略)温度。如果某个旋钮不可用,那是有意为之——请改为通过提示词以及(在提供的情况下)努力程度/思考 设置来塑造行为。 :::

关于确定性的注意事项

即使在温度为 0 时,跨多次运行/版本的输出也不保证逐位相同。不要依赖精确的可复现性;而要依靠 评估 来捕捉漂移。

下一步