क्या कृत्रिम बुद्धिमत्ता छात्रों को सीखने में मदद करती है? यह एक ऐसा प्रश्न है जिसका उत्तर कई शिक्षक और अभिभावक चाहते हैं, क्योंकि नई शैक्षणिक तकनीक तेजी से कक्षाओं में फैल रही है।
आम तौर पर, मेटा-विश्लेषण देखने के लिए सही जगह होगी, क्योंकि उन्हें अनुसंधान के बिखरे हुए समूह को इकट्ठा करना होगा और यह इंगित करके इसका अर्थ निकालना होगा कि सबूतों की प्रबलता कहां है। और वास्तव में, उनमें से 39 हैं, सभी शिक्षा में एआई के लिए पर्याप्त लाभ की रिपोर्ट कर रहे हैं।
लेकिन ऐसा प्रतीत होता है कि सबूतों को संश्लेषित करने वाले अध्ययन स्वयं अविश्वसनीय हैं – और सहकर्मी-समीक्षा प्रक्रिया समस्याओं को पकड़ने में विफल रही।
मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के एसोसिएट प्रोफेसर और एमआईटी के टीचिंग सिस्टम लैब के निदेशक जस्टिन रीच ने कहा, “यह भरोसेमंद सबूत नहीं है, जिन्होंने सकारात्मक एआई मेटा-विश्लेषणों की बढ़ती संख्या की समस्या पर चर्चा करने के लिए 20 अक्टूबर को एक वेबिनार की मेजबानी की थी।” “ये सभी मेटा-विश्लेषण त्रुटिपूर्ण हैं।”
ए फोरेंसिक ऑडिट 39 मेटा-विश्लेषणों में से 14 में गंभीर वैचारिक और सांख्यिकीय खामियां पाई गईं। Google Scholar के अनुसार, स्प्रिंगर नेचर, विले, SAGE और टेलर एंड फ्रांसिस सहित प्रमुख प्रकाशकों की पत्रिकाओं में छपने वाले इन 14 पेपरों ने 3,000 से अधिक उद्धरण जमा किए हैं और प्रति माह 200 उद्धरण एकत्र करना जारी रखा है – जिसका अर्थ है कि AI की प्रभावशीलता स्थापित विज्ञान है। एक मेटा-विश्लेषण किया गया है मुकर गयादो नॉर्वेजियन विद्वानों द्वारा शिकायत दर्ज कराने के बाद नेचर जर्नल में मई 2025 में इसके प्रकाशन के लगभग एक साल बाद।
नया ऑडिट आइवी टेक के ब्लूमिंगटन, इंडियाना परिसर में एक सामुदायिक कॉलेज के प्रोफेसर पैट्रिक ओ’नील द्वारा आयोजित किया गया था, जिन्होंने अंतर्निहित अध्ययनों के नमूने और मेटा-विश्लेषण में उनके परिणामों को संयोजित करने के लिए उपयोग किए जाने वाले सांख्यिकीय तरीकों की जांच की थी। ओ’नील ने त्रुटियों के आवर्ती पैटर्न पाए, जिनमें से कुछ का उन्होंने कहा कि अध्ययन के सार को पढ़कर आसानी से पता लगाया जा सकता है।
20 अक्टूबर के वेबिनार के दौरान, ओ’नील ने “असंभव आँकड़े,” “भ्रमपूर्ण संदर्भ” और “अतिरंजित निष्कर्ष” के एक समूह का वर्णन किया। कुछ अंतर्निहित अध्ययनों में उस तकनीक को जनता के लिए जारी किए जाने से पहले जेनेरिक एआई के बारे में प्रकाशित पत्रों का संदर्भ भी दिया गया था। उद्धरणों के लिंक कभी-कभी असंबद्ध अध्ययनों का कारण बनते हैं।
कई समग्र अध्ययनों में यह भी नहीं मापा गया कि एआई ने सीखने को कितना बढ़ावा दिया। उदाहरण के लिए, एआई का उपयोग करने वाले प्रशिक्षक के साथ सप्ताह में तीन घंटे अध्ययन करने वाले नर्सिंग छात्रों की तुलना उन साथियों से की गई जिनके पास कोई अध्ययन सत्र नहीं था (बेशक उन्होंने बेहतर परीक्षण किया)। जिन छात्रों ने वीडियो गेम खेला और एआई-जनित प्रश्नों का उत्तर दिया, उन्होंने उन छात्रों से बेहतर प्रदर्शन किया जिन्होंने ऐसा नहीं किया। एक अन्य प्रयोग में, एआई बॉट से चैट करने वाले छात्रों ने कम चिंता महसूस की।
अग्रणी मेटा-विश्लेषण विशेषज्ञ और नॉर्थवेस्टर्न यूनिवर्सिटी में प्रोफेसर बेथ टिपटन, जो आलोचना में अपने सहयोगियों रीच और ओ’नील के साथ शामिल हुईं, ने शिक्षा में एआई के सभी विभिन्न उपयोगों को शामिल करते हुए एक बहुत व्यापक मेटा-विश्लेषण आयोजित करने के विचार को “पागल” बताया।
टिपटन ने इसकी तुलना गणित शिक्षा का मेटा-विश्लेषण करने से की। क्या गणित की शिक्षा प्रभावी है? यह इस बात पर निर्भर करता है कि गणित कैसे पढ़ाया जाता है। एक विचारशील मेटा-विश्लेषण प्रश्न को एक विशिष्ट दृष्टिकोण तक सीमित कर सकता है, जैसे कि क्या स्थानिक सीखने के हस्तक्षेप से गणित कौशल में सुधार होता है। इसी तरह, टिपटन ने कहा, एआई का उपयोग कैसे किया जाता है, इसका मेटा-विश्लेषण करने से पहले निर्दिष्ट करने की आवश्यकता है।
“क्या हमारा मतलब उपयोग करने वाले लोगों से है [educational] ऐसे ऐप्स और प्रोग्राम जिनमें AI शामिल है, जैसे खान अकादमी? क्या हमारा मतलब छात्रों को क्लाउड तक पहुंच प्रदान करना है?” टिप्टन ने पूछा।
ओ’नील ने कहा, एआई मेटा-विश्लेषण के वर्तमान बैच में एक बड़ी चिंता “प्रकाशन पूर्वाग्रह” है। उन्होंने पाया कि शिक्षा में एआई के लिए पेपरों के लिए दो-तिहाई कॉलों में विशेष रूप से इसके लाभों पर शोध को आमंत्रित किया गया, “प्रतीत होता है कि अशक्त या नकारात्मक परिणाम सामने आते हैं।” इसका मतलब है कि मेटा-विश्लेषण चयनित, सकारात्मक परिणामों को एकत्रित करके प्रभावी ढंग से “साक्ष्य निर्माण” कर रहे हैं, उन्होंने कहा।
संख्याओं को पुनः एकत्रित करना
ओ’नील अब अपना स्वयं का एआई मेटा-विश्लेषण कर रहा है, उचित सांख्यिकीय तरीकों का उपयोग कर रहा है, और बहुत कम सकारात्मक तस्वीर पर पहुंच रहा है। उन्होंने पाया कि 44 अच्छी तरह से डिज़ाइन किए गए प्रयोगों के परिणाम व्यापक रूप से भिन्न थे, छात्रों के लिए बहुत उपयोगी से लेकर बहुत हानिकारक तक। ओ’नील की प्रारंभिक गणना के अनुसार, परिणाम लगभग शून्य रहे। इसका मतलब यह नहीं है कि शिक्षकों को यह निष्कर्ष निकालना चाहिए कि एआई औसतन हानिरहित है। यह इस पर निर्भर करता है कि इसका उपयोग कैसे किया जाता है।
स्टैनफोर्ड में शिक्षा की प्रोफेसर सुज़ाना लोएब, जो मेटा-एनालिसिस क्रिटिक वेबिनार में भी शामिल हुईं, ने बताया कि उनकी टीम ने शिक्षा में एआई पर लगभग 900 अध्ययन एकत्र किए हैं और निर्धारित किया है कि उनमें से केवल 20 ही इतनी उच्च गुणवत्ता वाले थे कि उन्हें हाल ही में शामिल किया जा सके। साक्ष्य का सारांश उसके लिए शिक्षा के लिए एआई हब. उनकी टीम ने तब से 32 और अध्ययनों की पहचान की है और जल्द ही उस सारांश को अपडेट करने वाली है। लेकिन, उन्होंने कहा, मेटा-विश्लेषण करना अभी भी जल्दबाजी होगी जो स्कूल नेताओं या शिक्षकों के लिए उपयोगी होगा। संयुक्त राज्य अमेरिका के K-12 स्कूलों में बहुत कम उच्च गुणवत्ता वाली पढ़ाई होती है।
नॉर्थवेस्टर्न के टिप्टन को चिंता है कि मेटा-विश्लेषण के तेजी से बढ़ते क्षेत्र ने काम की समीक्षा करने के लिए योग्य विशेषज्ञों की आपूर्ति को पीछे छोड़ दिया है। अधिक विद्वान मेटा-विश्लेषण कर रहे हैं क्योंकि वे प्रयोग चलाने की तुलना में तेज़ और सस्ते हैं, और वे महत्वाकांक्षी प्रोफेसरों के लिए बहुत सारे उद्धरण आकर्षित कर सकते हैं। एआई के बारे में साक्ष्य की भूख ने इस विषय को मेटा-विश्लेषण के लिए एक विशेष चुंबक बना दिया है और एआई मेटा-विश्लेषण कुटीर उद्योग को जन्म दिया है।
टिप्टन ने कहा कि उन्हें हर दिन मेटा-विश्लेषण पत्रों की समीक्षा करने के अनुरोध मिलते हैं लेकिन वह उन सभी को स्वीकार नहीं कर सकतीं। अंतर्निहित अध्ययनों की जाँच करने में कई दिन लग सकते हैं, और सहकर्मी समीक्षा अवैतनिक स्वयंसेवी कार्य है।
टिप्टन ने कहा, चिकित्सा में भी त्रुटिपूर्ण शोध है, लेकिन इसमें गेहूं को भूसी से अलग करने में मदद करने के लिए द्वारपाल हैं। खाद्य एवं औषधि प्रशासन दवाओं को मंजूरी देने से पहले साक्ष्य का मूल्यांकन करता है, और बीमाकर्ता यह तय करते समय अनुसंधान की समीक्षा करते हैं कि कौन से उपचार को कवर किया जाए। शिक्षा के पास कोई तुलनीय सुरक्षा उपाय नहीं है।
एक ‘नो-मैन्स लैंड’
टिप्टन ने कहा, “शिक्षा के क्षेत्र में, यह एक तरह से गैर-आदमी की भूमि है।” “कोई भी कह सकता है कि उनके पास किसी भी चीज़ के लिए सबूत हैं, और इसे किसी के साथ साझा कर सकते हैं, और उपभोक्ताओं, स्कूलों, शिक्षकों, अभिभावकों को इसके माध्यम से जाने और इसे समझने की कोशिश करने के लिए छोड़ दिया जाता है। यह अविश्वसनीय रूप से निराशाजनक है।”
शोधकर्ताओं ने कठोर, विश्वसनीय अनुसंधान संश्लेषण का समर्थन करने के लिए परोपकारी निधियों और राष्ट्रीय विज्ञान फाउंडेशन से मदद की अपील की। रीच ने कहा, “शायद स्वैच्छिक सहकर्मी समीक्षा का हमारा मॉडल शिक्षा में महत्वपूर्ण विषयों पर ऐतिहासिक अध्ययन के लिए बहुत अच्छा काम नहीं करता है।” “सहकर्मी समीक्षा काम नहीं कर रही है। मेटा-विश्लेषण काम नहीं कर रहा है।”
जब तक वास्तव में विश्वसनीय सबूत सामने नहीं आते, शोधकर्ताओं ने शिक्षकों को सलाह दी कि वे एआई के साथ सावधानी से प्रयोग करें, छात्रों के छोटे समूहों से शुरुआत करें और परिणामों की निगरानी करें। ओ’नील ने कहा, यहां तक कि 300-छात्र व्याख्यान पाठ्यक्रम में एआई को शामिल करना भी जोखिम भरा हो सकता है।
दूसरे शब्दों में, शिक्षक स्वयं ही अपनी कक्षाओं में प्रयोग करते हैं। फिर भी, शिक्षा शोधकर्ताओं को अपने क्षेत्र की खामियों को उजागर करते और उन्हें ठीक करने का प्रयास करते देखना उत्साहवर्धक है।
स्टाफ लेखक से संपर्क करें जिल बरशाय सिग्नल पर 212-678-3595, jillbarshay.35 पर, या [email protected].
इस कहानी के बारे में शिक्षा मेटा-विश्लेषण में एआई द्वारा निर्मित किया गया था हेचिंगर रिपोर्टएक गैर-लाभकारी, स्वतंत्र समाचार संगठन जो शिक्षा को कवर करता है। के लिए साइन अप करें प्रमाण बिंदु और अन्य हेचिंगर समाचारपत्रिकाएँ.
