معلمات قليلة، بيانات كثيرة

[إعلان 1]

يستخدم PaLM 2، أحدث نموذج لغة كبير (LLM) من Google والذي تم الإعلان عنه الأسبوع الماضي، ما يقرب من خمسة أضعاف كمية بيانات التدريب التي يستخدمها سابقه في عام 2022، مما يسمح له بالقيام ببرمجة أكثر تقدمًا، والرياضيات، وإنشاء المحتوى.

في مؤتمر جوجل للمطورين I/O، قدّم عملاق البحث PaLM 2، وهو نموذج لغوي مُدرّب على 3.6 تريليون رمز. هذه الرموز هي تسلسلات من الكلمات، وهي اللبنات الأساسية المُستخدمة لتدريب LLM على توقع الكلمة التالية.

تم إصدار الإصدار السابق من PaLM في عام 2022 وتم سكه بـ 780 مليار رمز.

قدم الرئيس التنفيذي لشركة Google، ساندر بيتشاي، في حدث Google I/O الأسبوع الماضي أحدث نموذج لغة كبير للشركة PaLM 2

بينما تُروّج جوجل لتقنيات الذكاء الاصطناعي في البحث والبريد الإلكتروني ومعالجة النصوص وجداول البيانات، تُحجم الشركة عن الكشف عن حجم أو تفاصيل مجموعات بيانات التدريب الخاصة بها. كما تُبقي OpenAI تفاصيل أحدث خوارزمية تدريب LLM، GPT-4، سرية.

تُرجع شركات التكنولوجيا السبب إلى الطبيعة التنافسية لأعمالها. تتسابق كلٌّ من جوجل وOpenAI لجذب المستخدمين باستخدام روبوتات الدردشة بدلًا من محركات البحث التقليدية.

صغير الحجم، قوي، فعال من حيث التكلفة

تقول جوجل إن PaLM 2 أصغر من سابقيه، إذ يتدرب باستخدام 340 مليار معلمة، مقارنةً بـ 540 مليار معلمة في الإصدار السابق. وهذا يُظهر أن تقنية الشركة أصبحت أكثر كفاءة في أداء المهام المعقدة.

ولتحقيق هذه الغاية، يستخدم PaLM 2 تقنية جديدة تسمى "تحسين الحوسبة الممتدة"، والتي توفر "أداءً أفضل بشكل عام، بما في ذلك الاستدلال بشكل أسرع مع عدد أقل من المعلمات التي تقلل من النفقات العامة".

أحدث نموذج ذكاء اصطناعي لغوي من جوجل، مُدرّب على أكثر من 100 لغة، يُنفّذ مهامًا مُتنوعة لـ 25 ميزة ومنتجًا، بما في ذلك روبوت الدردشة التجريبي "بارد". يتوفر PaLM 2 بأربعة إصدارات حسب الحجم، من الأصغر إلى الأكبر: جيكو، ثعلب الماء، بايسون، ويونيكورن.

وفقًا للوثائق العامة، يُعد PaLM 2 أقوى من أي نموذج موجود. تم تدريب LlaMA من فيسبوك، الذي صدر في فبراير، على 1.4 تريليون رمز. في غضون ذلك، كشفت OpenAI علنًا عن حجم بيانات التدريب لـ ChatGPT، وهو إصدار من GPT-3، والذي بلغ 300 مليار رمز.

أثار الانتشار الواسع لتطبيقات الذكاء الاصطناعي جدلاً واسعاً حول هذه التقنية. في وقت سابق من هذا العام، استقال المهدي المحمدي، كبير العلماء في قسم أبحاث جوجل، احتجاجاً على افتقار عملاق البحث للشفافية.

هذا الأسبوع، أدلى سام ألتمان، الرئيس التنفيذي لشركة OpenAI، بشهادته أمام اللجنة الفرعية القضائية بمجلس الشيوخ الأمريكي المعنية بالخصوصية والتكنولوجيا في سياق انتشار الذكاء الاصطناعي على نطاق أوسع، حيث اتفق "أب" ChatGPT مع المشرعين على أن هناك حاجة إلى لوائح جديدة لحكم الذكاء الاصطناعي.

(وفقا لشبكة CNBC)

[إعلان 2]
مصدر