Λιγότερες παράμετροι, περισσότερα δεδομένα

[διαφήμιση_1]

Το PaLM 2, το τελευταίο μεγάλο γλωσσικό μοντέλο (LLM) της Google, που ανακοινώθηκε την περασμένη εβδομάδα, χρησιμοποιεί σχεδόν πέντε φορές περισσότερα δεδομένα εκπαίδευσης σε σύγκριση με τον προκάτοχό του του 2022, επιτρέποντάς του να προγραμματίζει, να λύνει προβλήματα και να δημιουργεί πιο προηγμένο περιεχόμενο.

Στο συνέδριο προγραμματιστών Google I/O, ο γίγαντας της αναζήτησης παρουσίασε το PaLM 2 – ένα μοντέλο γλωσσικής εκπαίδευσης που βασίζεται σε 3,6 τρισεκατομμύρια tokens. Αυτά τα tokens είναι ακολουθίες λέξεων – τα δομικά στοιχεία που χρησιμοποιούνται στην εκπαίδευση LLM για την πρόβλεψη της επόμενης λέξης που θα εμφανιστεί.

Η προηγούμενη έκδοση του PaLM κυκλοφόρησε το 2022 και εκπαιδεύτηκε χρησιμοποιώντας 780 δισεκατομμύρια tokens.

Στην εκδήλωση Google I/O της περασμένης εβδομάδας, ο Διευθύνων Σύμβουλος της Google, Sundar Pichai, παρουσίασε το τελευταίο μοντέλο μεγάλης γλώσσας της εταιρείας, το PaLM 2.

Παρόλο που η Google επιδεικνύει συνεχώς τη δύναμη της Τεχνητής Νοημοσύνης (ΤΝ) σε εργασίες αναζήτησης, ηλεκτρονικού ταχυδρομείου, επεξεργασίας κειμένου και υπολογιστικών φύλλων, η εταιρεία διστάζει να αποκαλύψει το μέγεθος ή τις λεπτομέρειες των συνόλων δεδομένων εκπαίδευσής της. Η OpenAI διατηρεί επίσης εμπιστευτικές τις λεπτομέρειες της τελευταίας παραμέτρου εκπαίδευσης LLM, GPT-4.

Οι εταιρείες τεχνολογίας το εξηγούν αυτό επικαλούμενες τον ανταγωνιστικό χαρακτήρα της επιχείρησής τους. Τόσο η Google όσο και η OpenAI αγωνίζονται να προσελκύσουν χρήστες με προϊόντα chatbot αντί για τις παραδοσιακές μηχανές αναζήτησης.

Συμπαγές, ισχυρό και οικονομικό.

Η Google δήλωσε ότι το PaLM 2 είναι πιο συμπαγές από τους προκατόχους του, έχοντας εκπαιδευτεί με 340 δισεκατομμύρια παραμέτρους σε σύγκριση με 540 δισεκατομμύρια παραμέτρους στην προηγούμενη έκδοση. Αυτό καταδεικνύει ότι η τεχνολογία της εταιρείας γίνεται πιο αποτελεσματική στην εκτέλεση πολύπλοκων εργασιών.

Για να το πετύχει αυτό, το PaLM 2 χρησιμοποιεί μια νέα τεχνική που ονομάζεται «εκτεταμένη βελτιστοποίηση υπολογισμών», η οποία προσφέρει «καλύτερη συνολική απόδοση, συμπεριλαμβανομένης της ταχύτερης εξαγωγής συμπερασμάτων με λιγότερες παραμέτρους, μειώνοντας έτσι το λειτουργικό κόστος».

Το τελευταίο γλωσσικό μοντέλο τεχνητής νοημοσύνης της Google, εκπαιδευμένο σε πάνω από 100 γλώσσες, εκτελεί διάφορες εργασίες για 25 λειτουργίες και προϊόντα, συμπεριλαμβανομένου του πειραματικού chatbot Bard. Το PaLM 2 διατίθεται σε τέσσερις εκδόσεις με βάση το μέγεθος, από το μικρότερο στο μεγαλύτερο: Gecko, Otter, Bison και Unicorn.

Σύμφωνα με δημόσια διαθέσιμα έγγραφα, το PaLM 2 είναι πιο ισχυρό από οποιοδήποτε υπάρχον μοντέλο. Το LlaMA του Facebook, που κυκλοφόρησε τον Φεβρουάριο, εκπαιδεύτηκε σε 1,4 τρισεκατομμύρια tokens. Εν τω μεταξύ, η τελευταία φορά που το OpenAI αποκάλυψε δημόσια το μέγεθος των δεδομένων εκπαίδευσης για το ChatGPT ήταν η έκδοση GPT-3 με 300 δισεκατομμύρια tokens.

Η έκρηξη των εφαρμογών τεχνητής νοημοσύνης έχει προκαλέσει διαμάχη γύρω από την τεχνολογία. Νωρίτερα φέτος, ο El Mahdi, ανώτερος επιστήμονας στην Google Research, παραιτήθηκε σε ένδειξη διαμαρτυρίας για την έλλειψη διαφάνειας του γίγαντα της αναζήτησης.

Αυτή την εβδομάδα, ο Διευθύνων Σύμβουλος της OpenAI, Σαμ Άλτμαν, κατέθεσε επίσης ενώπιον της Υποεπιτροπής Δικαιοσύνης της Γερουσίας των ΗΠΑ σχετικά με την προστασία της ιδιωτικής ζωής και την τεχνολογία στο πλαίσιο της αυξανόμενης επικράτησης της Τεχνητής Νοημοσύνης. Εκεί, ο δημιουργός του ChatGPT συμφώνησε με τους νομοθέτες ότι χρειάζονται νέοι κανονισμοί που θα διέπουν την Τεχνητή Νοημοσύνη.

(Σύμφωνα με το CNBC)

[διαφήμιση_2]
Πηγή