Τα AI Chatbots γίνονται «τρελά»

Ένα νέο κύμα συστημάτων «συμπερασμάτων» από εταιρείες όπως η OpenAI κάνει την παραπληροφόρηση να συμβαίνει πιο συχνά. Ο κίνδυνος είναι ότι οι εταιρείες δεν γνωρίζουν το γιατί.

Τον Απρίλιο, ένα ρομπότ τεχνητής νοημοσύνης που χειρίζεται την τεχνική υποστήριξη για το Cursor, ένα αναδυόμενο εργαλείο για προγραμματιστές, ενημέρωσε ορισμένους πελάτες για μια αλλαγή στην πολιτική της εταιρείας, λέγοντας συγκεκριμένα ότι δεν τους επιτρεπόταν πλέον να χρησιμοποιούν το Cursor σε περισσότερους από έναν υπολογιστές.

Οι πελάτες δημοσίευσαν την οργή τους σε φόρουμ και μέσα κοινωνικής δικτύωσης. Κάποιοι μάλιστα ακύρωσαν τους λογαριασμούς τους στο Cursor. Αλλά κάποιοι θύμωσαν ακόμη περισσότερο όταν συνειδητοποίησαν τι είχε συμβεί: το ρομπότ τεχνητής νοημοσύνης είχε αναφέρει μια αλλαγή πολιτικής που δεν υπήρχε.

«Δεν έχουμε τέτοια πολιτική. Μπορείτε φυσικά να χρησιμοποιήσετε το Cursor σε πολλά μηχανήματα. Δυστυχώς, αυτή ήταν μια λανθασμένη απάντηση από ένα bot με τεχνητή νοημοσύνη», έγραψε σε μια ανάρτηση στο Reddit ο Michael Truell, Διευθύνων Σύμβουλος και συνιδρυτής της εταιρείας.

Οι ψευδείς πληροφορίες είναι εκτός ελέγχου.

Πάνω από δύο χρόνια μετά την κυκλοφορία του ChatGPT, οι εταιρείες τεχνολογίας, οι υπάλληλοι γραφείου και οι καθημερινοί καταναλωτές χρησιμοποιούν ρομπότ τεχνητής νοημοσύνης για μια ποικιλία εργασιών με αυξανόμενη συχνότητα.

Ωστόσο, δεν υπάρχει τρόπος να διασφαλιστεί ότι αυτά τα συστήματα παράγουν ακριβείς πληροφορίες. Παραδόξως, οι πιο ισχυρές νέες τεχνολογίες, γνωστές ως συστήματα «συμπερασμάτων» από εταιρείες όπως η OpenAI, η Google και η DeepSeek, κάνουν περισσότερα λάθη.

Ανόητη συζήτηση στο ChatGPT όπου ο χρήστης ρωτάει αν οι σκύλοι πρέπει να τρώνε δημητριακά. Φωτογραφία: Reddit.

Ενώ οι μαθηματικές δεξιότητες έχουν βελτιωθεί δραματικά, η ικανότητα των μεγάλων γλωσσικών μοντέλων (LLM) να αποτυπώνουν την αλήθεια έχει γίνει πιο επισφαλής. Παραδόξως, ακόμη και οι ίδιοι οι μηχανικοί δεν είναι καθόλου σαφείς γιατί.

Σύμφωνα με τους New York Times , τα σημερινά chatbot τεχνητής νοημοσύνης βασίζονται σε πολύπλοκα μαθηματικά συστήματα για να μαθαίνουν δεξιότητες αναλύοντας τεράστιες ποσότητες ψηφιακών δεδομένων. Ωστόσο, δεν μπορούν να αποφασίσουν τι είναι σωστό και τι λάθος.

Από εκεί και πέρα, εμφανίζεται η κατάσταση της «παραίσθησης» ή της αυτοκατασκευής πληροφοριών. Μάλιστα, σύμφωνα με έρευνα, η τελευταία γενιά LLM «παραισθάνεται» περισσότερο από ορισμένα παλαιότερα μοντέλα.

Συγκεκριμένα, στην τελευταία έκθεση, η OpenAI ανακάλυψε ότι το μοντέλο o3 «παραισθάνθηκε» όταν απάντησε στο 33% των ερωτήσεων στο PersonQA, το εσωτερικό πρότυπο της εταιρείας για τη μέτρηση της ακρίβειας των γνώσεων του μοντέλου σχετικά με τους ανθρώπους.

Συγκριτικά, αυτό είναι διπλάσιο από το ποσοστό «παραισθήσεων» των προηγούμενων μοντέλων συλλογισμού της OpenAI, o1 και o3-mini, τα οποία παρουσίασαν 16% και 14,8% αντίστοιχα. Εν τω μεταξύ, το μοντέλο o4-mini είχε ακόμη χειρότερη απόδοση στο PersonQA, εμφανίζοντας «παραισθήσεις» στο 48% των περιπτώσεων.

Ακόμα πιο ανησυχητικό είναι ότι ο «πατέρας του ChatGPT» δεν γνωρίζει στην πραγματικότητα γιατί συμβαίνει αυτό. Συγκεκριμένα, στην τεχνική έκθεση για τα o3 και o4-mini, το OpenAI γράφει ότι «απαιτείται περαιτέρω έρευνα για να κατανοήσουμε γιατί η «ψευδαίσθηση» χειροτερεύει» καθώς τα μοντέλα συλλογισμού κλιμακώνονται.

Τα o3 και o4-mini είχαν καλύτερη απόδοση σε ορισμένους τομείς, συμπεριλαμβανομένων των εργασιών προγραμματισμού και μαθηματικών. Ωστόσο, επειδή χρειάζονταν να «κάνουν περισσότερες δηλώσεις παρά να γενικεύουν», και τα δύο μοντέλα παρουσίαζαν προβλήματα στην παραγωγή «περισσότερων σωστών δηλώσεων, αλλά και περισσότερων λανθασμένων».

«Αυτό δεν θα φύγει ποτέ»

Αντί για ένα αυστηρό σύνολο κανόνων που καθορίζονται από ανθρώπους μηχανικούς, τα συστήματα LLM χρησιμοποιούν μαθηματική πιθανότητα για να μαντέψουν την καλύτερη απάντηση. Έτσι, κάνουν πάντα κάποιο σφάλμα.

«Παρά τις καλύτερες προσπάθειές μας, τα μοντέλα τεχνητής νοημοσύνης θα είναι πάντα παραληρηματικά. Αυτό δεν θα εξαφανιστεί ποτέ», δήλωσε ο Αμρ Αουαντάλα, πρώην στέλεχος της Google.

Σύμφωνα με την IBM, οι ψευδαισθήσεις είναι ένα φαινόμενο όπου μεγάλα γλωσσικά μοντέλα (LLM) – συνήθως chatbots ή εργαλεία υπολογιστικής όρασης – λαμβάνουν μοτίβα δεδομένων που δεν υπάρχουν ή είναι μη αναγνωρίσιμα στους ανθρώπους, παράγοντας έτσι άνευ νοήματος ή παραπλανητικά αποτελέσματα. Φωτογραφία: iStock.

Σε μια λεπτομερή δημοσίευση σχετικά με τα πειράματα, η OpenAI ανέφερε ότι χρειάζεται περισσότερη έρευνα για να κατανοήσει τους λόγους για αυτά τα αποτελέσματα.

Επειδή τα συστήματα Τεχνητής Νοημοσύνης μαθαίνουν από πολύ μεγαλύτερες ποσότητες δεδομένων από ό,τι μπορούν να κατανοήσουν οι άνθρωποι, μπορεί να είναι δύσκολο να προσδιοριστεί γιατί συμπεριφέρονται με τέτοιους τρόπους, λένε οι ειδικοί.

«Οι ψευδαισθήσεις είναι εγγενώς πιο συχνές στα μοντέλα συμπερασμάτων, αν και εργαζόμαστε ενεργά για να μειώσουμε τη συχνότητα εμφάνισης που παρατηρείται στα o3 και o4-mini. Θα συνεχίσουμε να εργαζόμαστε πάνω στις ψευδαισθήσεις σε όλα τα μοντέλα για να βελτιώσουμε την ακρίβεια και την αξιοπιστία», δήλωσε η Gaby Raila, εκπρόσωπος της OpenAI.

Δοκιμές από πολλές ανεξάρτητες εταιρείες και ερευνητές δείχνουν ότι το ποσοστό ψευδαισθήσεων αυξάνεται επίσης για μοντέλα συμπερασμάτων από εταιρείες όπως η Google ή η DeepSeek.

Από τα τέλη του 2023, η εταιρεία του Awadallah, Vectara, παρακολουθεί πόσο συχνά τα chatbot παρουσιάζουν παραποιημένες πληροφορίες. Η εταιρεία ζήτησε από τα συστήματα να εκτελέσουν μια απλή, εύκολα επαληθεύσιμη εργασία σύνοψης συγκεκριμένων άρθρων ειδήσεων. Ακόμα και τότε, τα chatbot επέμεναν να κατασκευάζουν πληροφορίες.

Συγκεκριμένα, η αρχική έρευνα της Vectara εκτίμησε ότι σε αυτό το σενάριο, τα chatbot κατασκεύαζαν πληροφορίες τουλάχιστον στο 3% του χρόνου και μερικές φορές έως και στο 27%.

Τον τελευταίο ενάμιση χρόνο, εταιρείες όπως η OpenAI και η Google έχουν μειώσει αυτούς τους αριθμούς σε περίπου 1 ή 2%. Άλλες, όπως η νεοσύστατη εταιρεία Anthropic από το Σαν Φρανσίσκο, κυμαίνονται γύρω στο 4%.

Ωστόσο, το ποσοστό ψευδαισθήσεων σε αυτή τη δοκιμή συνέχισε να αυξάνεται για τα συστήματα συμπερασμού. Η συχνότητα των ψευδαισθήσεων αυξήθηκε κατά 14,3% για το σύστημα συμπερασμού R1 του DeepSeek, ενώ το o3 του OpenAI αυξήθηκε κατά 6,8%.

Ένα άλλο πρόβλημα είναι ότι τα μοντέλα συμπερασμού έχουν σχεδιαστεί για να αφιερώνουν χρόνο «σκεπτόμενοι» πολύπλοκα προβλήματα, προτού καταλήξουν σε μια τελική απάντηση.

Μια προτροπή για την αποτροπή της κατασκευής πληροφοριών από την Τεχνητή Νοημοσύνη εισήχθη από την Apple στην πρώτη δοκιμαστική έκδοση του macOS 15.1. Φωτογραφία: Reddit/devanxd2000.

Το μειονέκτημα, ωστόσο, είναι ότι καθώς το μοντέλο Τεχνητής Νοημοσύνης προσπαθεί να λύσει το πρόβλημα βήμα προς βήμα, γίνεται πιο ευάλωτο σε παραισθήσεις σε κάθε βήμα. Το πιο σημαντικό είναι ότι τα σφάλματα μπορούν να συσσωρευτούν καθώς το μοντέλο αφιερώνει περισσότερο χρόνο στη σκέψη.

Τα πιο πρόσφατα bots δείχνουν στους χρήστες κάθε βήμα, πράγμα που σημαίνει ότι οι χρήστες μπορούν επίσης να δουν κάθε σφάλμα. Οι ερευνητές διαπίστωσαν επίσης ότι σε πολλές περιπτώσεις, η διαδικασία σκέψης που δείχνει ένα chatbot δεν σχετίζεται στην πραγματικότητα με την τελική απάντηση που δίνει.

«Αυτό που λέει το σύστημα ότι συμπεραίνει δεν είναι απαραίτητα αυτό που πραγματικά σκέφτεται», λέει ο Aryo Pradipta Gema, ερευνητής Τεχνητής Νοημοσύνης στο Πανεπιστήμιο του Εδιμβούργου και συνεργάτης στο Anthropic.

Πηγή: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html