জালো এবং ঘরোয়া আকাঙ্ক্ষা জয় করার জন্য বাধা অতিক্রম করার যাত্রা

বিশ্ব যখন পরাশক্তিদের কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে দ্রুত অগ্রগতি দেখছে, তখন জালো প্রযুক্তি প্রকৌশল দল উচ্চাকাঙ্ক্ষার যাত্রা শুরু করছে: ভিয়েতনামী ভাষায় কৃত্রিম বুদ্ধিমত্তা আয়ত্ত করা।

জেনারেটিভ কৃত্রিম বুদ্ধিমত্তার (জেনারেটিভ এআই) বিস্ফোরণ বিশ্বব্যাপী প্রযুক্তির দৃশ্যপট সম্পূর্ণরূপে বদলে দিয়েছে।

২০২২ সালের শেষের দিকে OpenAI ChatGPT চালু করার পর থেকে, স্বাস্থ্যসেবা, শিক্ষা , অর্থ, আইনের মতো অনেক ক্ষেত্রেই একই রকম LLM মডেলের ধারাবাহিকতা অব্যাহতভাবে আবির্ভূত হয়েছে... প্রতিযোগিতাটি কেবল এন্টারপ্রাইজ স্কেলে নয়, প্রশিক্ষণ ক্ষমতা, কম্পিউটিং অবকাঠামো এবং ডেটার ক্ষেত্রে জাতীয় পর্যায়েও তীব্র হয়ে উঠেছে।

ওপেনএআই, গুগল, মেটা বা মাইক্রোসফটের মতো বৃহৎ কোম্পানিগুলি যাদের আর্থিক সম্ভাবনা এবং অনুকূল পরিস্থিতি রয়েছে, তারা "দ্রুত" কোটি কোটি ডলার বিনিয়োগ করে হাজার হাজার উচ্চমানের জিপিইউ যেমন এনভিডিয়া এইচ১০০ - এর মালিক হয়েছে - যা এলএলএম মডেলগুলিকে প্রশিক্ষণের মূল কারণ। সেই সময়কালে এনভিডিয়ার শেয়ারের দাম আকাশচুম্বী হয়ে ওঠে, যা বিশ্বের অবকাঠামোর প্রতি তৃষ্ণার প্রতিফলন ঘটায়।

ইতিমধ্যে, উন্নয়নশীল দেশগুলির প্রযুক্তি সংস্থাগুলি, খরচ সংক্রান্ত সমস্যার পাশাপাশি, মার্কিন যুক্তরাষ্ট্র থেকে এআই চিপ সরঞ্জাম আমদানি ও রপ্তানিতেও বিধিনিষেধের সম্মুখীন হয়। এর ফলে প্রশিক্ষণ সরঞ্জামের অভাব দেখা দেয় এবং প্রযুক্তি জায়ান্টদের তুলনায় "ধীর" গতিতে কাজ করে। দেশীয় আকাঙ্ক্ষার ক্ষেত্রে, জালোও এর ব্যতিক্রম নয়।

তথ্যের দিক থেকে, পূর্ববর্তী মেশিন লার্নিং সমস্যাগুলির জন্য প্রচুর পরিমাণে প্রশিক্ষণ ডেটার প্রয়োজন হত, কিন্তু বৃহৎ ভাষা মডেলগুলির জন্য, এটি একটি বিশাল পরিমাণ ডেটা। যথেষ্ট ভালো মডেল পেতে, LLM সিস্টেমের জন্য দশ বা এমনকি কয়েকশো বিলিয়ন ইনপুট টেক্সট টোকেন প্রয়োজন। এদিকে, জনপ্রিয়তার দিক থেকে, ভিয়েতনামিজ ইংরেজি এবং চীনা ভাষার সাথে "সমতুল্য" নয়। এটি ভিয়েতনামী LLM ডেভেলপারদের জন্য অসুবিধাকে বহুগুণ বাড়িয়ে দিয়েছে।

২০২৩ সালে, GPT-3.5, GPT-4 এর মতো বৃহৎ ভাষা মডেলগুলি (LLM) প্রযুক্তি জগতে ঝড় তুলেছে, এবং অনেক ভিয়েতনামী উদ্যোগও LLM প্রশিক্ষণ প্রক্রিয়ায় এগিয়ে যাওয়ার জন্য একটি শর্টকাট নেওয়ার জন্য বিদেশী তৈরি সূক্ষ্ম-সুরক্ষিত মডেলগুলি বেছে নিয়েছে।

জালো একটি ভিন্ন পথ বেছে নিয়েছিল - আরও কঠিন, কিন্তু আরও স্বায়ত্তশাসিত: স্ক্র্যাচ থেকে মডেলটিকে স্ব-প্রশিক্ষণ (স্ক্র্যাচ মডেল)। এমন একটি পথ যার জন্য স্ক্র্যাচ থেকে সবকিছু তৈরি করতে হবে - ডেটা, মডেল আর্কিটেকচার থেকে শুরু করে পুরো প্রশিক্ষণ প্রক্রিয়া। সেই সিদ্ধান্তটি ছিল দৈত্যদের সাথে প্রতিযোগিতা করার জন্য নয় বরং ভিয়েতনামী জনগণের আকাঙ্ক্ষা বাস্তবায়নের জন্য: তাদের মাতৃভাষায় এলএলএম মডেল আয়ত্ত করা।

"আমরা অসুবিধাগুলি আগে থেকেই অনুমান করেছিলাম এবং তবুও খেলায় যোগদানের সিদ্ধান্ত নিয়েছিলাম। আমরা "বড় লোকদের" সাথে সরাসরি প্রতিযোগিতা করিনি বরং একটি বিশেষ বাজার বেছে নিয়েছি যেখানে আমরা আরও ভালো করতে পারি। আমাদের আকাঙ্ক্ষা হল এমন একটি মডেল তৈরি করা যা ভিয়েতনামী জনগণ সম্পূর্ণরূপে নিয়ন্ত্রণ করে - ডেটা থেকে অ্যালগরিদম পর্যন্ত," জালো এআই-এর বিজ্ঞান পরিচালক ডঃ নগুয়েন ট্রুং সন শেয়ার করেছেন।

অবকাঠামো, তথ্য এবং প্রশিক্ষণ স্তর সহ তিনটি প্রধান বিষয়ের ক্ষেত্রে অনেক বাধার সম্মুখীন হওয়া সত্ত্বেও, ভিয়েতনামী প্রকৌশলীরা সক্রিয়ভাবে অসুবিধাগুলি কাটিয়ে ওঠার সমাধান খুঁজে পেয়েছেন। এটি কঠিন পরিস্থিতিতে, বিশেষ করে এই ক্ষেত্রে, ভিয়েতনামী জনগণের জন্য এলএলএম বিকাশের প্রক্রিয়ায় চ্যালেঞ্জগুলি জয় করার মনোভাব এবং ইচ্ছাশক্তি প্রদর্শন করে।

এলএলএম প্রশিক্ষণের জন্য, ইঞ্জিনিয়ারদের সঠিক অবকাঠামোর প্রয়োজন ছিল। কিন্তু সেই সময়ে, এনভিডিয়ার এইচ১০০-এর মতো জিপিইউগুলি প্রায় "বিশ্বব্যাপী বিরল" ছিল। ইতিমধ্যে, বড় কোম্পানিগুলি এক বছরের জন্য এগুলি প্রি-অর্ডার করেছিল এবং সেগুলির মালিকানার জন্য লক্ষ লক্ষ ডলার প্রদান করেছিল। ভিয়েতনামে, জালো ৮টি ডিজিএক্স এইচ১০০ সার্ভার কেনার চেষ্টাও করেছিল কিন্তু এটি সহজ ছিল না, প্রস্তুতকারকের কাছ থেকে প্রতিটি ব্যাচের ডেলিভারির জন্য অপেক্ষা করতে হয়েছিল।

এনভিডিয়া জিপিইউ-এর অনুপস্থিতিতে, ভিয়েতনামী ইঞ্জিনিয়ারদের প্রতিটি লাইনের কোডে পরীক্ষা-নিরীক্ষা করার জন্য এবং প্রতিটি ছোট মডেল চালানোর জন্য নমনীয়ভাবে ভোক্তা জিপিইউ ব্যবহার করতে হয়েছিল। অপেক্ষা করার পরিবর্তে, ইঞ্জিনিয়াররা সক্রিয়ভাবে প্রস্তুতি নিয়েছিলেন যাতে তাদের কাছে আধুনিক সরঞ্জাম থাকলে সবকিছু প্রস্তুত থাকে।

তথ্যের ক্ষেত্রে, উপলব্ধ সম্পদের উপর নির্ভর না করে, জালো ইংরেজি এবং চীনা ভাষার তুলনায় গুরুতর ঘাটতি পূরণের জন্য ভিয়েতনামী ভাষার জন্য বিশেষভাবে একটি উচ্চমানের ডেটা গুদাম তৈরিতে বিনিয়োগ করেছে।

নমনীয় উন্নয়ন কৌশলের জন্য ধন্যবাদ, জালো তার বৃহৎ ভাষা মডেলের উন্নয়নের সময়কে প্রত্যাশিত ১৮ মাস থেকে কমিয়ে ৬ মাসে এনেছে। ২০২৩ সালের শেষে, জালোর ভিয়েতনামী বৃহৎ ভাষা মডেলটি আনুষ্ঠানিকভাবে ভিয়েতনামের শীর্ষস্থানীয় প্রযুক্তি এবং এআই সম্প্রদায় - জালো এআই সামিট - এ একত্রিত একটি অনুষ্ঠানে চালু করা হয়েছিল। এখানে, জালোর এলএলএম মডেলটি টিনহটে.ভিএন দ্বারা সেট করা কাহুট চ্যালেঞ্জের মাধ্যমে আত্মপ্রকাশ করে এবং আশ্চর্যজনকভাবে জিপিটি ৩.৫ ছাড়িয়ে যায়, কেবল জিপিটি৪ এর পিছনে - সেই সময়ে বিশ্বের সবচেয়ে শক্তিশালী এলএলএম মডেল যা বিবেচিত হত।

VMLU (ভিয়েতনামী মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং বেঞ্চমার্ক স্যুট ফর লার্জ ল্যাঙ্গুয়েজ মডেলস) মূল্যায়ন প্ল্যাটফর্মের উপর ভিত্তি করে, জালোর মডেলটি OpenAI এর GPT-3.5 এর চেয়ে 1.5 গুণ বেশি শক্তিশালী। 2024 সালের শেষ নাগাদ, এই মডেলটি GPT-4 (OpenAI), Gemma-2-9B (Google) বা Phi-3-small (Microsoft) এর মতো বড় নামগুলিকে ছাড়িয়ে যাবে, VMLU এর র‍্যাঙ্কিংয়ে ভিয়েতনামী প্রক্রিয়াকরণ ক্ষমতার দিক থেকে Meta এর LLaMA-3-70B এর পিছনে থাকবে।

শুধু গবেষণাতেই থেমে থাকা নয়, জালো ধীরে ধীরে এলএলএম থেকে অ্যাপ্লিকেশন পণ্যের বাণিজ্যিকীকরণ এবং জনপ্রিয়করণের মাধ্যমে পরীক্ষাগার থেকে প্রযুক্তিকে জীবন্ত করে তুলছে।

২০২৫ সালের গোড়ার দিকে, সাধারণ প্রশ্নোত্তর সহকারী কিকি ইনফো - জালো প্ল্যাটফর্মে একটি অফিসিয়াল অ্যাকাউন্ট হিসেবে পরিচালিত - মাত্র ২ মাসেরও কম সময়ে ১০ লক্ষেরও বেশি ব্যবহারকারীকে আকর্ষণ করে। আরেকটি অ্যাপ্লিকেশন, থিয়েপ এআই, মাত্র ২ মাসের মধ্যে ১৫ মিলিয়ন কার্ড তৈরি এবং পাঠানোর একটি চিত্তাকর্ষক সংখ্যায় পৌঁছেছে।

জালোর যাত্রা কেবল প্রযুক্তি বিকাশে আগ্রহী একটি কোম্পানির উপর নির্ভর করে না। এটি বৃহত্তর চিত্রের একটি অংশ - যেখানে ভিয়েতনাম আগ্রাসীভাবে উদ্ভাবনকে উৎসাহিত করছে, বিজ্ঞান ও প্রযুক্তি উন্নয়ন এবং জাতীয় ডিজিটাল রূপান্তরের উপর রেজোলিউশন 57-NQ/TW নীতিমালা অনুসরণ করে। বিশেষ করে, কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রটির উপর জোর দেওয়া হয়েছে।

জালো থেকে ভিয়েতনামী এলএলএম-এর উত্থান এবং দ্রুত বিকাশ কেবল একটি ব্যবসার জন্য একটি প্রযুক্তিগত পদক্ষেপই নয়, বরং ভিয়েতনামী প্রযুক্তি দলের অন্তর্নিহিত ক্ষমতা এবং অধ্যবসায়ের প্রমাণও।

"শুরু থেকে" কৌশলের মাধ্যমে - মডেলদের শুরু থেকে প্রশিক্ষণ দিয়ে, জালো দীর্ঘ পথ বেছে নিয়েছিল, কিন্তু ভিয়েতনামকে সত্যিকার অর্থে AI আয়ত্ত করতে সাহায্য করেছিল। কেবল ফলাফলের দিক থেকে নয়, মডেল আর্কিটেকচার, ডেটা, অ্যালগরিদম থেকে শুরু করে অ্যাপ্লিকেশন পণ্য পর্যন্ত পুরো প্রক্রিয়ার দিক থেকেও। জালোর সাফল্য ভিয়েতনামকে দক্ষিণ-পূর্ব এশিয়ার কয়েকটি দেশের মধ্যে একটি হয়ে উঠতে সাহায্য করেছে যারা একটি দেশীয় LLM মডেলের মালিক - ক্রমবর্ধমান তীব্র বিশ্বব্যাপী প্রযুক্তি প্রতিযোগিতার প্রেক্ষাপটে একটি কৌশলগত মাইলফলক।

দীর্ঘ যাত্রায়, জালো কেবল একটি মডেল বা কয়েকটি পণ্যের মধ্যেই থেমে থাকবে না বরং ব্যবহারকারীদের সেবা প্রদান এবং প্রতিযোগিতামূলক মানের একটি ভিয়েতনামী এআই প্ল্যাটফর্ম তৈরির জন্য মডেলটিকে নিখুঁত করে তুলবে: "জালোর এআই উন্নয়নের যাত্রা এখনও দীর্ঘ। আমরা ব্যবহারিক প্রয়োগের প্রচারের পাশাপাশি প্রশস্ততা এবং গভীরতা উভয় দিক থেকেই মডেলটিকে অপ্টিমাইজ করে যাব। চূড়ান্ত লক্ষ্য হল মানসম্পন্ন এআই পণ্য তৈরি করা যা কার্যত ভিয়েতনামী জনগণের সেবা করে," মিঃ সন যোগ করেন।

জালোর ভিয়েতনামী এলএলএম-এর সফল বিকাশ কেবল একটি ব্যবসার জন্য একটি যুগান্তকারী পদক্ষেপই নয়, বরং ভিয়েতনামী কৃত্রিম বুদ্ধিমত্তার জন্য একটি সম্ভাব্য ভবিষ্যতের দ্বার উন্মোচন করে। ভিয়েতনামী জনগণের অধ্যবসায় এবং আকাঙ্ক্ষা এই যাত্রাকে যোগ্য ফলাফলে পৌঁছানোর দিকে পরিচালিত করেছে। ভিয়েতনামী এআই-এর ভবিষ্যতে কেবল "জালো"ই থাকবে না, বরং প্রযুক্তির জগৎকে অনুসরণ, উত্তরাধিকারী এবং জয় করার জন্য সাহসী প্রকৌশলীদের একটি প্রজন্মও থাকবে।

সূত্র: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html