सैंपलिंग नियंत्रण: Temperature और साथी
जब कोई मॉडल टेक्स्ट उत्पन्न करता है, तो वह अगले token को एक प्रायिकता वितरण से चुनता है। सैंपलिंग नियंत्रण यह ट्यून करते हैं कि वह कैसे चुनता है — आउटपुट कितना केंद्रित बनाम कितना विविध है।
मुख्य डायल
- Temperature — यादृच्छिकता। कम (≈0) = केंद्रित, लगभग-नियतात्मक, दोहराने योग्य; मॉडल सबसे संभावित रास्ता लेता है। उच्च = अधिक विविध और रचनात्मक, पर भटकने या त्रुटि की अधिक प्रवृत्ति।
- top-p (nucleus) — विकल्पों को टोकनों के सबसे छोटे समूह तक सीमित करें जिनकी प्रायिकताएँ p तक जुड़ती हैं। यादृच्छिकता को सीमित करने का एक अलग तरीका।
- top-k — केवल सबसे संभावित k टोकनों पर विचार करें।
- stop sequences — ऐसी strings जो उत्पन्न होने पर प्रतिक्रिया समाप्त कर देती हैं (संरचित आउटपुट के लिए सुविधाजनक)।
आप आमतौर पर temperature या top-p समायोजित करते हैं, दोनों नहीं।
कोल्ड बनाम हॉट कब चलाएँ
| कोल्ड चलाएँ (कम temp) | हॉट चलाएँ (अधिक temp) |
|---|---|
| निष्कर्षण, classification, कोड | विचार-मंथन, नाम, रचनात्मक copy |
| कुछ भी जिसे आप पुनरुत्पादन योग्य चाहते हैं | कई विकल्प तलाशना |
| तथ्यात्मक / संरचित आउटपुट | स्वर विविधता, ideation |
अधिकांश काम के लिए एक अच्छा डिफ़ॉल्ट है मध्यम-से-कम। इसे केवल तभी बढ़ाएँ जब आप आश्चर्य चाहते हों।
:::note नए मॉडल इन्हें छिपा सकते हैं कई हाल के Claude मॉडल अपनी स्वयं की decoding अनुकूलित करते हैं और temperature को कम महत्व देते हैं (या छोड़ देते हैं)। अगर कोई knob उपलब्ध नहीं है, तो यह जानबूझकर है — इसके बजाय व्यवहार को प्रॉम्प्ट के माध्यम से और (जहाँ दिया गया हो) effort/thinking सेटिंग के माध्यम से आकार दें। :::
नियतात्मकता की चेतावनी
temperature 0 पर भी, आउटपुट runs/versions के बीच bit-समान होने की गारंटी नहीं है। सटीक पुनरुत्पादन पर भरोसा न करें; drift पकड़ने के लिए evals पर भरोसा करें।