معلمات قليلة، بيانات كثيرة

[إعلان 1]

يستخدم PaLM 2، أحدث نموذج لغة كبير (LLM) من Google والذي تم الإعلان عنه الأسبوع الماضي، ما يقرب من خمسة أضعاف كمية بيانات التدريب التي يستخدمها سابقه في عام 2022، مما يسمح له بالقيام ببرمجة أكثر تقدمًا، والرياضيات، وإنشاء المحتوى.

في مؤتمر Google I/O للمطورين، قدمت شركة البحث العملاقة PaLM 2 - وهو نموذج لغوي تم تدريبه على 3.6 تريليون رمز. هذه الرموز عبارة عن تسلسلات من الكلمات - اللبنات الأساسية المستخدمة لتدريب LLM للتنبؤ بالكلمة التالية التي ستظهر.

تم إصدار الإصدار السابق من PaLM في عام 2022 وتم سكه بـ 780 مليار رمز.

قدم الرئيس التنفيذي لشركة Google، ساندر بيتشاي، في حدث Google I/O الأسبوع الماضي أحدث نموذج لغة كبير للشركة PaLM 2

في حين أن جوجل تتباهى باستمرار ببراعتها في مجال الذكاء الاصطناعي في البحث والبريد الإلكتروني ومعالجة النصوص وجداول البيانات، إلا أن الشركة كانت مترددة في الكشف عن حجم أو تفاصيل مجموعات بيانات التدريب الخاصة بها. كما تحتفظ OpenAI أيضًا بتفاصيل أحدث معلمة تدريب LLM الخاصة بها، GPT-4، سرية.

وتعزو شركات التكنولوجيا هذا التراجع إلى الطبيعة التنافسية لأعمالها. تتسابق كل من Google وOpenAI لجذب المستخدمين باستخدام منتجات chatbot بدلاً من محركات البحث التقليدية.

صغير الحجم، قوي، فعال من حيث التكلفة

وتقول جوجل إن PaLM 2 أكثر إحكاما من سابقاتها، حيث يتم تدريبه باستخدام 340 مليار معلمة مقارنة بـ 540 مليار معلمة في الإصدار السابق. وهذا يدل على أن تكنولوجيا الشركة أصبحت أكثر كفاءة في أداء المهام المعقدة.

ولتحقيق هذه الغاية، يستخدم PaLM 2 تقنية جديدة تسمى "تحسين الحوسبة الممتدة"، والتي توفر "أداءً أفضل بشكل عام، بما في ذلك الاستدلال بشكل أسرع مع عدد أقل من المعلمات التي تقلل من النفقات العامة".

يقوم أحدث نموذج للذكاء الاصطناعي اللغوي من Google، والذي تم تدريبه على أكثر من 100 لغة، بتنفيذ مجموعة متنوعة من المهام لـ 25 ميزة ومنتجًا، بما في ذلك برنامج الدردشة التجريبي Bard. يأتي PaLM 2 بأربعة إصدارات بناءً على الحجم، من الأصغر إلى الأكبر: Gecko، وOtter، وBison، وUnicorn.

وفقًا للوثائق العامة، يعد PaLM 2 أقوى من أي نموذج موجود. تم تدريب LlaMA التابع لشركة Facebook، والذي تم إطلاقه في فبراير، على 1.4 تريليون رمز. وفي الوقت نفسه، كانت المرة الأخيرة التي كشفت فيها OpenAI علنًا عن حجم بيانات التدريب لـ ChatGPT لإصدار GPT-3 مع 300 مليار رمز.

لقد أدى انفجار تطبيقات الذكاء الاصطناعي إلى خلق جدل حول هذه التكنولوجيا. وفي وقت سابق من هذا العام، استقال المهدي المحمدي، أحد كبار العلماء في قسم الأبحاث في جوجل، احتجاجا على افتقار عملاق البحث إلى الشفافية.

هذا الأسبوع، أدلى سام ألتمان، الرئيس التنفيذي لشركة OpenAI، بشهادته أمام اللجنة الفرعية القضائية بمجلس الشيوخ الأمريكي المعنية بالخصوصية والتكنولوجيا في سياق الذكاء الاصطناعي الشامل. هنا، اتفق "أبو" ChatGPT مع المشرعين على أن هناك حاجة إلى لوائح جديدة لإدارة الذكاء الاصطناعي.

(وفقا لشبكة CNBC)

[إعلان 2]
مصدر