Hallucinations और उन्हें कैसे कम करें
एक hallucination तब होता है जब कोई मॉडल पूरे आत्मविश्वास के साथ कुछ गलत कहता है। यह न तो झूठ बोल रहा है और न ही खराब है — यह LLMs के काम करने के तरीके का दूसरा पहलू है: वे प्रशंसनीय टेक्स्ट उत्पन्न करते हैं, और प्रशंसनीय हमेशा सच नहीं होता (देखें LLM क्या है?)। आप इसे प्रॉम्प्ट से पूरी तरह हटा नहीं सकते, पर आप इसे नाटकीय रूप से कम कर सकते हैं और बाकी को पकड़ सकते हैं।
यह क्यों होता है
मॉडल एक संभावित continuation की भविष्यवाणी करता है। जब वह कुछ "नहीं जानता", तो सबसे संभावित दिखने वाला continuation अक्सर एक आत्मविश्वासपूर्ण, सुगठित — और गलत — उत्तर होता है। कोई अंतर्निहित "मुझे यकीन नहीं है" संकेत नहीं होता जब तक कि आप उसके लिए जगह न बनाएँ।
उच्च-जोखिम वाले क्षेत्र
सबसे अधिक संदेहशील रहें जब आउटपुट में शामिल हो:
- उद्धरण, कोट्स और संदर्भ — गढ़े गए पेपर, नकली URLs, गलत तरीके से जिम्मेदार ठहराए गए कोट्स।
- विशिष्ट संख्याएँ, तारीखें और आँकड़े — प्रशंसनीय पर मनगढ़ंत आँकड़े।
- विशिष्ट या बहुत हाल के तथ्य — उससे परे जो मॉडल ने विश्वसनीय रूप से सीखा।
- APIs और लाइब्रेरी विवरण — ऐसी methods या parameters जो मौजूद ही नहीं हैं।
- लोग और कानूनी/चिकित्सा विशिष्टताएँ — दाँव ऊँचा, सूक्ष्म रूप से गलत होना आसान।
कमी करने वाली टूलकिट
इन्हें एक के ऊपर एक लगाएँ — हर एक मदद करता है:
- इसे स्रोतों में आधारित करें। स्रोत टेक्स्ट पेस्ट करें और कहें "केवल ऊपर दिए गए टेक्स्ट से उत्तर दो; अगर वह वहाँ नहीं है, तो ऐसा कहो।" यही RAG के पीछे का मूल विचार है।
- इसे एक रास्ता दें। स्पष्ट रूप से अनुमति दें "अगर आपको यकीन नहीं है, तो कहो 'मुझे नहीं पता'" — यह आत्मविश्वासपूर्ण अनुमान लगाने को नाटकीय रूप से कम करता है।
- तर्क और उद्धरण माँगें। "हर दावे का समर्थन करने वाले सटीक वाक्य को उद्धृत करो।" असमर्थित दावे स्पष्ट हो जाते हैं।
- रचनात्मकता कम करें उन तथ्यात्मक कार्यों के लिए जहाँ मॉडल एक temperature नियंत्रण देता है (देखें सैंपलिंग नियंत्रण)।
- टूल का उपयोग करें। गणित, वर्तमान डेटा, या लुकअप के लिए, recall पर भरोसा करने के बजाय मॉडल को एक कैलकुलेटर/सर्च/टूल दें।
- क्रॉस-चेक करें। वही प्रश्न दो तरीकों से पूछें, या किसी दूसरे पास से पहले की आलोचना कराएँ।
वह मानसिकता जो वास्तव में आपकी रक्षा करती है
:::warning जो मायने रखता है उसे सत्यापित करें — हमेशा कोई भी प्रॉम्प्ट आउटपुट को 100% विश्वसनीय नहीं बनाता। किसी भी परिणामी चीज़ के लिए — किसी रिपोर्ट में एक संख्या, एक उद्धरण, एक कमांड जो आप चलाएँगे, एक चिकित्सा/कानूनी/वित्तीय विवरण — इसे किसी विश्वसनीय स्रोत के विरुद्ध जाँचें। AI को एक तेज़ पहले मसौदे के रूप में लें, अंतिम प्राधिकरण के रूप में नहीं। यही जिम्मेदार उपयोग का मर्म है। :::
एक सरल नियम: गलत होने की लागत सत्यापन की मात्रा तय करती है। विचार-मंथन? स्वतंत्र रूप से भरोसा करें। कोई आँकड़ा प्रकाशित कर रहे हैं? हर बार सत्यापित करें।