معلمات قليلة، بيانات كثيرة

[إعلان 1]

يستخدم PaLM 2، أحدث نموذج لغة كبير (LLM) من Google، والذي تم الإعلان عنه الأسبوع الماضي، ما يقرب من خمسة أضعاف كمية بيانات التدريب التي يستخدمها سابقه في عام 2022، مما يسمح له بالقيام ببرمجة أكثر تقدمًا، والرياضيات، وإنشاء المحتوى.

في مؤتمر جوجل للمطورين I/O، قدّم عملاق البحث PaLM 2، وهو نموذج لغوي مُدرّب على 3.6 تريليون رمز. هذه الرموز هي تسلسلات من الكلمات، وهي اللبنات الأساسية المُستخدمة لتدريب LLM على توقع الكلمة التالية.

تم إصدار الإصدار السابق من PaLM في عام 2022 وتم سكه بـ 780 مليار رمز.

في مؤتمر Google I/O الأسبوع الماضي، قدّم الرئيس التنفيذي لشركة Google، Sundar Pichai، أحدث نموذج لغوي كبير للشركة، PaLM 2.

بينما تُروّج جوجل لبراعتها في مجال الذكاء الاصطناعي في البحث والبريد الإلكتروني ومعالجة النصوص وجداول البيانات، تُحجم الشركة عن الكشف عن حجم أو تفاصيل مجموعات بيانات التدريب الخاصة بها. كما أبقت OpenAI تفاصيل أحدث مواصفاتها التدريبية لبرنامج ماجستير الحقوق، GPT-4، سرية.

تُرجع شركات التكنولوجيا السبب إلى الطبيعة التنافسية لأعمالها. تتسابق كلٌّ من جوجل وOpenAI لجذب المستخدمين باستخدام منتجات روبوتات الدردشة بدلًا من محركات البحث التقليدية.

صغير الحجم، قوي، فعال من حيث التكلفة

تقول جوجل إن PaLM 2 أصغر حجمًا من سابقيه، إذ يتم تدريبه على 340 مليار معلمة، مقارنةً بـ 540 مليار معلمة في الإصدار السابق. وهذا يُظهر أن تقنية الشركة أصبحت أكثر كفاءة في أداء المهام المعقدة.

ولتحقيق هذه الغاية، يستخدم PaLM 2 تقنية جديدة تسمى "تحسين الحوسبة الممتدة"، والتي توفر "أداءً أفضل بشكل عام، بما في ذلك الاستدلال بشكل أسرع مع عدد أقل من المعلمات التي تقلل من النفقات العامة".

أحدث نموذج ذكاء اصطناعي لغوي من جوجل، مُدرّب على أكثر من 100 لغة، يُنفّذ مهامًا مُتنوعة لـ 25 ميزة ومنتجًا، بما في ذلك روبوت الدردشة التجريبي "بارد". يتوفر PaLM 2 بأربعة إصدارات حسب الحجم، من الأصغر إلى الأكبر: جيكو، ثعلب الماء، بايسون، ويونيكورن.

وفقًا للوثائق العامة، يُعد PaLM 2 أقوى من أي نموذج موجود. تم تدريب LlaMA من فيسبوك، الذي صدر في فبراير، على 1.4 تريليون رمز. في غضون ذلك، كشفت OpenAI علنًا عن حجم بيانات تدريب ChatGPT، وهو إصدار من GPT-3، والذي بلغ 300 مليار رمز.

أثار انتشار تطبيقات الذكاء الاصطناعي جدلاً واسعاً حول هذه التقنية. في وقت سابق من هذا العام، استقال المهدي المحمدي، كبير العلماء في قسم أبحاث جوجل، احتجاجاً على افتقار عملاق البحث للشفافية.

هذا الأسبوع، أدلى سام ألتمان، الرئيس التنفيذي لشركة OpenAI، بشهادته أمام اللجنة الفرعية القضائية بمجلس الشيوخ الأمريكي المعنية بالخصوصية والتكنولوجيا في سياق تزايد شعبية الذكاء الاصطناعي، حيث اتفق "أب" ChatGPT مع المشرعين على أن هناك حاجة إلى لوائح جديدة لحكم الذكاء الاصطناعي.

(وفقا لشبكة CNBC)

[إعلان 2]
مصدر