چرا بومی سازی مدل های زبانی مهم است؟ / مطالعه موردی چین

گزارش آنا را بخوانید؛

خبرگزاری علم و فناوری آنا; با تشدید رقابت بین چت ربات های هوش مصنوعی، محققان چینی در ساخت مدل های هوش مصنوعی به زبان چینی پیشرفت می کنند. یکی از این مدل های پیشرو ChatGLM است که به گفته توسعه دهندگان آن در برخی ویژگی ها به چت GPT نزدیک است و به زبان چینی بهتر عمل می کند.

جی تانگ، دانشمند کامپیوتر در دانشگاه شین‌هوا در پکن، می‌گوید: چت GLM اساساً جایگزینی برای چت GPT است. از زمان راه اندازی عمومی GPT Chat در نوامبر 2022، کنجکاوی در مورد LLM ها افزایش یافته است و اکنون LLM ها توسط غول های فناوری، استارت آپ ها و دانشگاه ها در سرتاسر جهان در حال توسعه هستند و پاسخ های انسانی آنها به درخواست ها پذیرفته شده است.

اگرچه JPT Chat و بسیاری از رقبای آن می توانند به چندین زبان پاسخ دهند، اکثر آنها توسط شرکت های آمریکایی ایجاد شده اند و از انگلیسی به عنوان زبان اصلی خود استفاده می کنند. در مقابل، JLM Chat دو زبانه است و برای کار به زبان های چینی و انگلیسی طراحی شده است.

وانگ یو، زیست شناس محاسباتی در آزمایشگاه پنگ چنگ، یک موسسه تحقیقاتی متمرکز بر فناوری در چین، گفت: «این یکی از مدل های شاخص در چین است.
دانشگاه شین هوا و شرکت تابعه آن Zhipu AI (Zhipu AI) با ارزش بیش از 2 میلیارد دلار، ChatGLM و مدل زیربنایی آن را توسعه داده اند. تانگ گفت که بیش از 700 محقق و مهندس هوش مصنوعی در Zhipu AI و حدود 100 دانشجو در دانشگاه شین هوا روی مدل های زبان هوش مصنوعی کار می کنند.

مقیاس عملکرد GLM برخی از محققان را شگفت زده کرده است. ماساشی سوگیاما، دانشمند کامپیوتر و مدیر مرکز پروژه اطلاعات پیشرفته RIKEN در توکیو می‌گوید: «من نمی‌دانستم که دانشگاه‌های چین چنین پروژه بزرگی را انجام می‌دهند. “من کاملا شگفت زده شدم.”

ساخت ربات چینی
چت JPT در چین قابل دسترسی نیست، اما این تنها دلیل ایجاد یک ربات جایگزین نیست. تانگ می‌گوید مدل‌های زبان بزرگ ساخته شده در چین نتایجی را ارائه می‌دهند که نیازها و اولویت‌های مردم چین را بهتر برآورده می‌کند، از جمله در زمینه اطلاعات مالی و آموزشی.

تانگ مدل GLM را با آموزش یک مدل زبان در یک شبکه اجتماعی چینی به جای یک برنامه غربی مقایسه می کند. او می گوید: «وی چت اطلاعات بیشتری در مورد مردم چین نسبت به اسنپ چت دارد. آدینا یاکفو، یکی از مدیران Hugging Face، یک انجمن مدل‌سازی زبان در پاریس، می‌گوید که مدل‌هایی که برای زبان‌های مختلف طراحی شده‌اند، از ساده‌سازی یا نادیده گرفتن ویژگی‌های خاص زبان‌ها و فرهنگ‌های خاص اجتناب می‌کنند.

برای تولید پاسخ‌های انسان‌مانند به ورودی، مدل‌های زبان حجم زیادی از متن را که اغلب از اینترنت گرفته شده است، تجزیه و تحلیل می‌کنند. سپس چت ربات ها برای داشتن مکالمات بهتر با دریافت بازخورد از افراد تنظیم می شوند. توسعه دهندگان به طور خاص JLM Chat را با استفاده از مثال های چینی، پردازش میلیاردها جمله و گرفتن بازخورد از زبان چینی ها برای بهبود چت چینی آموزش دادند. تانگ گفت داده های چینی از طریق اینترنت و از برخی شرکت ها خریداری شده است.

ایجاد مدل های زبان در زبان هایی غیر از انگلیسی با تعدادی چالش همراه است. به عنوان مثال، هنگام تجزیه و تحلیل متن، اکثر مدل ها آن را به قطعات کوچکتر به نام توکن تقسیم می کنند. با این حال، در متن چینی هیچ فاصله ای بین کلمات وجود ندارد، که این روند را پیچیده می کند. با این حال، محققان در حال کار بر روی روش‌هایی هستند که تجزیه و تحلیل متن چینی را آسان‌تر می‌کند و برخی از روش‌های مورد استفاده برای مدل‌های انگلیسی را می‌توان برای نمونه‌های غیرانگلیسی نیز به کار برد. با این حال، Teng می‌گوید که روش‌های توکن‌سازی مورد استفاده برای چت JLM «تقریباً مشابه» با مدل‌های هوش مصنوعی انگلیسی است.

در سال 2024، شرکت Zhipo AI داده هایی را به اشتراک گذاشت که ادعا می کرد بالاترین عملکرد را نسبت به مدل اصلی دارد و آزمایش آن شامل معیارهای دانش عمومی، عقل سلیم و ریاضیات بود. JLM Chat همچنین موفق شد در معیار بهینه سازی از GPT-4 پیشی بگیرد.

ظهور الگوی زبانی بزرگ چینی

نسخه ای از JLM Chat برای استفاده عمومی از طریق وب سایت آن با رابط های چینی و انگلیسی در دسترس است. برخی از محصولات JLM، از جمله مدل پایه بالا، منبع باز هستند. این بدان معناست که هر کسی می‌تواند آن‌ها را دانلود و آموزش دهد تا متناسب با برنامه‌های کاربردی خاص باشند، و دانشمندان می‌توانند کدهای زیرین را برای درک نحوه عملکرد آن بررسی کنند. به گفته تانگ، ChatGLM-6b 3 میلیون بار دانلود شده است. این یک چت بات است که از مدل های پیچیده برای درک و تولید متنی شبیه انسان استفاده می کند. نسخه کوچکتر چت بات از شش میلیارد “پارامتر” استفاده می کند که به درک روابط بین کلمات کمک می کند. عملکرد داخلی مدل های پیشرفته تر، مانند JLM Chat با حداکثر 130 میلیارد پارامتر، مانند سایر ربات های چت پیشرفته مانند GPT Chat و GPT-4 مخفی نگه داشته می شود.

در چین، بیش از 100 مدل زبان هوش مصنوعی در حال توسعه است و غول های فناوری مانند بایدو و اسمارتک نیوز چت ربات های هوش مصنوعی خود را دارند. این مدل‌ها به گونه‌ای تنظیم شده‌اند که به مقادیر خاصی پایبند باشند و شفافیت و قابلیت اطمینان را بهبود بخشند.

بحث بر سر این است که آیا سیستم‌های هوش مصنوعی می‌توانند هوش عمومی مصنوعی (AGI) را با قابلیت‌های سطح انسانی فراهم کنند یا خیر. برخی معتقدند که هوش مصنوعی عمومی می تواند به مقابله با چالش های جهانی مانند تغییرات آب و هوا و بیماری های همه گیر کمک کند، اما برخی دیگر نگران خطرات بالقوه آن هستند.

چین سرمایه گذاری هنگفتی روی هوش مصنوعی می کند و معتقد است که این فناوری می تواند نه تنها برای کشور، بلکه با بهینه سازی صنایع و کاهش مصرف انرژی و انتشار دی اکسید کربن به نفع جهان باشد.

گزارش این مجله طبیعت به فارسی ترجمه شده است.