LLM क्या है?
एक Large Language Model (LLM) — वह तकनीक जो Claude के पीछे है — एक धोखे की हद तक सरल काम करता है: यह टेक्स्ट पढ़ता है और भविष्यवाणी करता है कि आगे क्या आता है, एक बार में एक टुकड़ा। बस इतना ही। बाकी सब कुछ इसी को अद्भुत रूप से अच्छी तरह करने से उभरता है।
- एक-वाक्य का मानसिक मॉडल समझें: एक LLM एक बहुत ही परिष्कृत ऑटोकम्प्लीट है
- देखें कि मॉडल किस तरह एक लूप में, एक बार में एक टोकन, उत्तर बनाता है
- समझें कि यह तंत्र क्यों इसकी ताकतों और इसकी विचित्रताओं दोनों को समझाता है
- जानें कि एक LLM क्या नहीं है — और यह आपके इसे इस्तेमाल करने के तरीके को कैसे बदलता है
एक-वाक्य का मानसिक मॉडल
एक LLM एक बहुत ही परिष्कृत ऑटोकम्प्लीट है जिसने भारी मात्रा में टेक्स्ट पढ़ा है और सीखा है कि भाषा — और उसके भीतर के विचार — किस तरह आगे बढ़ते हैं।
जब आप कोई प्रश्न पूछते हैं, तो मॉडल किसी उत्तर को "ढूँढ़" नहीं रहा होता। यह आपके टेक्स्ट का सबसे प्रशंसनीय continuation, टोकन दर टोकन, उत्पन्न कर रहा होता है (देखें टोकन और संदर्भ)। एक अच्छे प्रश्न के प्रशंसनीय continuations आमतौर पर अच्छे उत्तर होते हैं — और यही कारण है कि यह बिल्कुल काम करता है।
:::tip सादृश्य: स्टेरॉयड पर पूर्वानुमान करने वाला कीबोर्ड अपने फ़ोन के उस ऑटोकम्प्लीट के बारे में सोचिए जो अगला शब्द सुझाता है। अब कल्पना कीजिए कि उसने इंटरनेट पर मौजूद अधिकांश किताबें, लेख और कोड पढ़ लिए हों — और न केवल अगला शब्द, बल्कि एक पूरा निबंध, अनुवाद या प्रोग्राम सुझाए जो फिट बैठे। एक LLM के पीछे यही अंतर्ज्ञान है। :::
एक बार में एक टोकन
पूरा इंजन एक लूप है: अब तक का सब कुछ पढ़ो, अगले टुकड़े की भविष्यवाणी करो, उसे जोड़ो, दोहराओ।
- मॉडल आपके प्रॉम्प्ट के साथ-साथ अब तक उत्पन्न किए गए सब कुछ को एक ही टेक्स्ट ब्लॉक के रूप में लेता है।
- यह गणना करता है कि अगला टोकन क्या हो सकता है, इसके लिए संभावनाएँ निकालता है।
- यह एक टोकन चुनता है। यह निर्धारक है या थोड़ा यादृच्छिक — यही temperature जैसे सैम्पलिंग नियंत्रण समायोजित करते हैं।
- चुना हुआ टोकन टेक्स्ट में जोड़ दिया जाता है, और थोड़ा लंबा टेक्स्ट वापस अंदर डाला जाता है — उत्तर पूरा होने तक लूप चलता रहता है।
प्रत्येक चरण हमेशा केवल एक टोकन की भविष्यवाणी करता है, फिर थोड़े लंबे टेक्स्ट को वापस अंदर डालता है। मॉडल के पास पूरे उत्तर की कोई पहले से बनी योजना नहीं होती — सुसंगतता इस भविष्यवाणी को हज़ारों बार बेहद अच्छी तरह करने से उभरती है। "एक टोकन चुनो" चरण कैसे व्यवहार करता है (लालची बनाम थोड़ा यादृच्छिक) — यही सैम्पलिंग नियंत्रण जैसे temperature समायोजित करते हैं।
यह इसकी ताकतों को क्यों समझाता है
क्योंकि इसने लेखन, कोड और तर्क के पैटर्न सीखे हैं, एक LLM सहजता से लिख, सारांशित कर, अनुवाद कर, समझा और कोड कर सकता है — ये सभी कार्य "इस टेक्स्ट को समझदारी से आगे बढ़ाओ" जैसे हैं। इसे एक स्पष्ट सेटअप दीजिए और यह एक मज़बूत continuation तैयार करता है। यही कारण है कि प्रॉम्प्टिंग इतनी मायने रखती है: आप उस टेक्स्ट की शुरुआत को आकार दे रहे होते हैं जिसे यह आगे बढ़ाता है।
यह इसकी विचित्रताओं को क्यों समझाता है
वही तंत्र इसके खुरदरे किनारों को समझाता है:
- यह आत्मविश्वास के साथ गलत हो सकता है। एक धाराप्रवाह लगने वाला continuation हमेशा सच नहीं होता — यही hallucination है।
- यह वास्तव में आज के तथ्यों को "नहीं जानता" जब तक कि आप उन्हें प्रदान न करें या उसके पास उन्हें खोजने का कोई टूल न हो।
- इसकी बातचीतों के बीच कोई याददाश्त नहीं होती जब तक कि आप इसे कुछ न दें।
एक LLM क्या नहीं है
:::warning अपनी अपेक्षाओं को समायोजित करें और आपको बेहतर परिणाम मिलेंगे
- ❌ डेटाबेस या सर्च इंजन नहीं। यह उत्पन्न करता है, यह सत्यापित रिकॉर्ड पुनः प्राप्त नहीं करता।
- ❌ कैलकुलेटर नहीं। यह गणित के बारे में तर्क कर सकता है पर सटीक होने की गारंटी नहीं है — इसके लिए इसे टूल दीजिए।
- ❌ व्यक्ति नहीं। कोई भावनाएँ, इरादे या निरंतर याददाश्त नहीं। यह एक शक्तिशाली टेक्स्ट इंजन है। :::
इसे एक प्रतिभाशाली, तेज़, पढ़े-लिखे सहायक के रूप में लें जो कभी-कभी गलत याद कर लेता है — और जो मायने रखता है उसे सत्यापित करें।
मुख्य शब्द
- एक LLM एक बहुत ही परिष्कृत ऑटोकम्प्लीट है — यह अगले टोकन की भविष्यवाणी करता है, उत्तर ढूँढ़ता नहीं
- सुसंगतता उस भविष्यवाणी लूप को एक बार में एक टोकन, हज़ारों बार चलाने से उभरती है
- वही तंत्र इसकी ताकतों (लिखना, सारांशित करना, अनुवाद, समझाना, कोड) और इसकी विचित्रताओं (आत्मविश्वास से गलत, कोई लाइव तथ्य नहीं, कोई याददाश्त नहीं) को समझाता है
- यह न तो डेटाबेस है, न कैलकुलेटर, न व्यक्ति — जो मायने रखता है उसे सत्यापित करें