यदि आप आर्टिफिशियल इंटेलिजेंस (AI) और बड़े भाषा मॉडलों (जैसे ChatGPT, Claude, Gemini या LLaMA) का उपयोग करते हैं, तो आपने एक अजीब बात महसूस की होगी: जब आप अंग्रेजी में कोई बड़ा दस्तावेज़ अपलोड करते हैं, तो एआई तुरंत समझ जाता है। लेकिन जब आप हिंदी में वही सामग्री डालते हैं, तो मॉडल बहुत जल्दी अपनी सीमा (Context Window) खत्म कर देता है और जवाब देने में भी ज्यादा समय लेता है।
डेवलपर्स के लिए तो यह और भी बड़ा झटका है — OpenAI या Anthropic की API इस्तेमाल करने वाली कंपनियों को हिंदी में वही काम करने के लिए अंग्रेजी की तुलना में 4 से 7 गुना अधिक बिल चुकाना पड़ता है! इस समस्या को तकनीकी दुनिया में "द टोकनाइज़ेशन पेनाल्टी" (The Tokenization Penalty) या भारतीय भाषाओं पर लगने वाला 'अदृश्य टैक्स' कहा जाता है।
1. टोकनाइज़र क्या होता है और यह कैसे काम करता है?
आर्टिफिशियल इंटेलिजेंस सीधे शब्दों को नहीं समझता। जब आप लिखते हैं "नमस्ते", तो एआई उसे अक्षरों के रूप में नहीं पढ़ता। वह text को छोटे-छोटे संख्यात्मक टुकड़ों में तोड़ता है, जिन्हें "टोकन" (Tokens) कहा जाता है।
अधिकांश आधुनिक एआई मॉडल Byte-Pair Encoding (BPE) नामक तकनीक का उपयोग करते हैं। इस तकनीक का एक सीधा नियम है:
2. हिंदी को क्यों भुगतना पड़ता है नुकसान?
इंटरनेट का 50% से अधिक डेटा अंग्रेजी में है। इसलिए एआई की डिक्शनरी (Vocabulary) में "Artificial", "Intelligence", "Sustainability" जैसे लंबे अंग्रेजी शब्दों के लिए केवल 1 टोकन होता है।
लेकिन हिंदी (देवनागरी) पूरे वेब डेटा का 0.1% से भी कम हिस्सा बनाती है। इसलिए एआई मॉडल की शब्दावली में हिंदी के पूरे शब्दों के लिए जगह ही नहीं होती! जब एआई के सामने कोई हिंदी शब्द आता है, तो वह उसे कई छोटे-छोटे बाइट्स और मात्राओं में काट देता है:
| मापदंड (Metric) | अंग्रेजी वाक्य (English Prompt) | हिंदी वाक्य (Hindi Prompt) |
|---|---|---|
| वाक्य | "Artificial Intelligence is transforming the global technology industry." | "कृत्रिम बुद्धिमत्ता वैश्विक प्रौद्योगिकी उद्योग को बदल रही है।" |
| शब्दों की संख्या (Word Count) | 8 शब्द | 8 शब्द |
| एआई टोकन (Typical BPE Tokens) | लगभग 9 टोकन | लगभग 42 से 55 टोकन! |
| टोकन अनुपात (Multiplier) | 1x (आधार) | 5x से 6x अधिक! |
3. डेवलपर्स और उपयोगकर्ताओं पर इसका 3-तरफा प्रहार
- संदर्भ सीमा का सिकुड़ जाना (Context Window Shrinkage): यदि किसी एआई मॉडल की क्षमता 1,28,000 टोकन है, तो अंग्रेजी में आप उसमें 1 लाख शब्दों की पूरी किताब डाल सकते हैं। लेकिन हिंदी में वही मॉडल केवल 18,000 से 20,000 शब्दों में ही हांफने लगता है! बड़ी कानूनी फ़ाइलों या रिपोर्ट्स का विश्लेषण करना असंभव हो जाता है।
- 500% ज्यादा बिल (Exponentially Higher API Costs): क्लाउड एआई कंपनियाँ प्रति-टोकन पैसे लेती हैं। चूंकि हिंदी वाक्य में 5 गुना ज्यादा टोकन बनते हैं, इसलिए भारतीय स्टार्टअप्स और डेवलपर्स को ठीक उसी काम के लिए अमेरिकी कंपनियों से 500% अधिक भुगतान करना पड़ता है।
- धीमी गति और अधिक लेटेंसी (Higher Latency): भाषा मॉडल एक बार में एक टोकन प्रेडिक्ट करता है। जब हिंदी में उत्तर देने के लिए 5 गुना अधिक टोकन जनरेट करने पड़ते हैं, तो स्क्रीन पर उत्तर टाइप होने की गति बहुत धीमी हो जाती है।
4. इस खाई को कैसे पाटा जा रहा है?
सौभाग्य से, भारतीय शोधकर्ता और वैश्विक ओपन-सोर्स समुदाय अब इस असमानता के खिलाफ उठ खड़े हुए हैं:
- भारतीय भाषाओं के लिए बड़े टोकनाइज़र: गूगल के Gemma, मेटा के नए मॉडल्स और भारतीय पहलों (जैसे Sarvam AI, AI4Bharat का Navarasa) ने अपनी टोकनाइज़र डिक्शनरी में लाखों देवनागरी शब्दों को सीधे शामिल किया है, जिससे टोकन मल्टीप्लायर 5x से घटकर 1.3x पर आ गया है।
- टोकन-फ़्री आर्किटेक्चर (Byte-Level Models): वैज्ञानिक ऐसे नए न्यूरल नेटवर्क बना रहे हैं जिन्हें टोकनाइज़र की जरूरत ही नहीं होती, वे सीधे रॉ बाइट्स को प्रोसेस करते हैं।