तदनुसार, यहां तक कि उनके द्वारा परीक्षण किया गया सबसे अच्छा प्रदर्शन करने वाला कृत्रिम बुद्धिमत्ता मॉडल कॉन्फ़िगरेशन, ओपनएआई का जीपीटी-4-टर्बो, संपूर्ण प्रोफ़ाइल पढ़ने के बावजूद केवल 79% सही उत्तर दर प्राप्त कर पाया और अक्सर अवास्तविक आंकड़ों या घटनाओं के "मतिभ्रम" का अनुभव किया।
पैट्रोनस एआई के सह-संस्थापक आनंद कन्नप्पन ने कहा, "इस तरह की प्रदर्शन दर पूरी तरह से अस्वीकार्य है। स्वचालित और उत्पादन-तैयार होने के लिए सही उत्तर दर काफ़ी ज़्यादा होनी चाहिए।"
निष्कर्ष एआई मॉडलों के सामने आने वाली कुछ चुनौतियों को उजागर करते हैं, क्योंकि बड़ी कंपनियां, विशेष रूप से वित्त जैसे अत्यधिक विनियमित उद्योगों में, अपने संचालन में उन्नत प्रौद्योगिकी को शामिल करना चाहती हैं, चाहे वह ग्राहक सेवा हो या अनुसंधान।
वित्तीय डेटा "भ्रम"
पिछले वर्ष के अंत में चैटजीपीटी जारी होने के बाद से, महत्वपूर्ण संख्याओं को शीघ्रता से निकालने और वित्तीय विवरण विश्लेषण करने की क्षमता को चैटबॉट्स के लिए सबसे आशाजनक अनुप्रयोगों में से एक माना गया है।
एसईसी फाइलिंग में महत्वपूर्ण डेटा होता है, और यदि कोई बॉट उनकी सामग्री के बारे में सटीक रूप से सारांशित कर सकता है या प्रश्नों का त्वरित उत्तर दे सकता है, तो यह उपयोगकर्ताओं को प्रतिस्पर्धी वित्तीय उद्योग में बढ़त दिला सकता है।
पिछले एक साल में, ब्लूमबर्ग एलपी ने वित्तीय डेटा के लिए अपना स्वयं का एआई मॉडल विकसित किया है, और बिजनेस स्कूल के प्रोफेसर इस बात का अध्ययन कर रहे हैं कि क्या चैटजीपीटी वित्तीय सुर्खियों का विश्लेषण कर सकता है।
इस बीच, जेपी मॉर्गन एक एआई-संचालित स्वचालित निवेश उपकरण भी विकसित कर रहा है। मैकिन्से के एक हालिया पूर्वानुमान में कहा गया है कि जनरेटिव एआई बैंकिंग उद्योग को सालाना खरबों डॉलर का लाभ दे सकता है।
लेकिन अभी भी एक लंबा रास्ता तय करना है। जब माइक्रोसॉफ्ट ने ओपनएआई के जीपीटी के साथ बिंग चैट को पहली बार लॉन्च किया था, तो उसने कमाई की प्रेस विज्ञप्तियों का त्वरित सारांश देने के लिए चैटबॉट का इस्तेमाल किया था। पर्यवेक्षकों ने तुरंत ही यह भांप लिया कि एआई द्वारा बताए गए आंकड़े या तो गलत थे या फिर मनगढ़ंत थे।
समान डेटा, अलग-अलग उत्तर
वास्तविक दुनिया के उत्पादों में एलएलएम को शामिल करने की चुनौती का एक हिस्सा यह है कि एल्गोरिदम नियतात्मक नहीं होते, यानी समान इनपुट दिए जाने पर वे समान परिणाम देने की गारंटी नहीं देते। इसका मतलब है कि कंपनियों को यह सुनिश्चित करने के लिए अधिक कठोर परीक्षण करने की आवश्यकता है कि एआई सही ढंग से काम कर रहा है, विषय से भटक नहीं रहा है, और विश्वसनीय परिणाम दे रहा है।
पैट्रोनस एआई ने बड़ी सार्वजनिक रूप से कारोबार करने वाली कंपनियों की एसईसी फाइलिंग से लिए गए 10,000 से ज़्यादा सवालों और जवाबों का एक सेट तैयार किया है, जिसे फाइनेंसबेंच कहा जाता है। इस डेटासेट में सही जवाबों के साथ-साथ किसी भी फ़ाइल में उन्हें ढूँढ़ने का सटीक स्थान भी शामिल है।
सभी उत्तर सीधे पाठ से नहीं लिए जा सकते तथा कुछ प्रश्नों के लिए गणना या हल्के तर्क की आवश्यकता होती है।
150 प्रश्नों वाले उपसमूह परीक्षण में चार एलएलएम मॉडल शामिल थे: ओपनएआई का जीपीटी-4 और जीपीटी-4-टर्बो, एंथ्रोपिक का क्लाउड 2, और मेटा का लामा 2।
परिणामस्वरूप, जब GPT-4-Turbo को SEC की अंतर्निहित फाइलिंग तक पहुंच प्रदान की गई, तो उसने केवल 85% की सटीकता दर हासिल की (जब डेटा तक पहुंच नहीं थी, तब यह 88% थी), भले ही एक मानव ने AI को उत्तर खोजने के लिए सटीक पाठ की ओर माउस को इंगित किया हो।
मेटा द्वारा विकसित ओपन-सोर्स एआई मॉडल, लामा 2 में सबसे अधिक "मतिभ्रम" पाए गए, जिसके 70% उत्तर गलत थे और अंतर्निहित दस्तावेजों के एक हिस्से तक पहुंच दिए जाने पर केवल 19% उत्तर सही थे।
एंथ्रोपिक के क्लाउड 2 ने "लंबे संदर्भ" में अच्छा प्रदर्शन किया, जिसमें प्रश्न के साथ लगभग पूरी संबंधित एसईसी फाइलिंग शामिल थी। यह पूछे गए 75% प्रश्नों के उत्तर देने में सक्षम रहा, 21% प्रश्नों के उत्तर गलत दिए और 3% प्रश्नों के उत्तर देने से इनकार कर दिया। जीपीटी-4-टर्बो ने भी लंबे संदर्भ में अच्छा प्रदर्शन किया, 79% प्रश्नों के सही उत्तर दिए और 17% प्रश्नों के उत्तर गलत दिए।
(सीएनबीसी के अनुसार)
एआई स्टार्टअप्स में निवेश करने के लिए बड़ी टेक कंपनियों की होड़
एआई तकनीक ई-कॉमर्स स्टार्टअप्स में क्रांति ला रही है
एआई ने पहली बार मानव विचारों को यथार्थवादी चित्रों में सफलतापूर्वक परिवर्तित किया
[विज्ञापन_2]
स्रोत
टिप्पणी (0)