वॉशिंग्टन : कृत्रिम बुद्धिमत्ता (एआय) चॅटबॉटस्साठी आजच्या घडीला सर्वाधिक वापरली जाणारी कसोटी ‘ङच ईशपर’ आता संशयाच्या भोवर्यात सापडली आहे. संशोधकांनी दावा केला आहे की, ही कसोटी मोठ्या तंत्रज्ञान कंपन्यांच्या मालकीच्या ‘एआय’ मॉडेल्सला झुकते माप देते आणि खुल्या स्रोताच्या मॉडेल्सच्या अचूकतेवर अन्याय करते.
पूर्वी ‘चॅटबोट एरेना’ नावाने ओळखली जाणारी ही कसोटी, 2023 मध्ये कॅलिफोर्निया विद्यापीठ, बर्कली येथील ‘स्काय कम्प्युटिंग लॅब’ने सुरू केली होती. येथे दोन निनावी ‘एआय’ मॉडेल्स एकाच प्रश्नावर उत्तरे देतात आणि वापरकर्त्यांना त्यातते कोणते उत्तर अधिक चांगले वाटले, हे ठरवायचे असते. त्यानंतर, सर्व निकालांच्या आधारे एक लीडरबोर्ड तयार केला जातो, जो दाखवतो की कोणते मॉडेल्स सर्वोत्तम आहेत आणि ते कसे सुधारले आहेत.
29 एप्रिल रोजी रीदर्ळीं या प्रीप्रिंट डेटाबेसवर प्रकाशित करण्यात आलेल्या एका अभ्यासानुसार, ‘एलएम एरेना’मध्ये मोठ्या कंपन्यांच्या मॉडेल्सना ‘गुप्त चाचणी सवलती’ मिळतात. यामध्ये ‘ओपन एआय’, ‘गुगल’, ‘मेटा’ आणि ‘अॅमेझॉन’ यांचे विशेष नाव घेतले आहे. अभ्यासात म्हटले आहे : ‘केवळ काही प्रदात्यांमध्ये समन्वय आणि ‘एलएम एरेना’ कडून या विशिष्ट गटासाठी वापरण्यात आलेल्या विशेष धोरणांमुळे वैज्ञानिक प्रामाणिकता आणि विश्वासार्हता धोक्यात आली आहे.’
