اولین معادل منبع باز ChatGPT OpenAI وارد شده است، اما موفق باشید آن را روی لپ تاپ خود اجرا کنید – یا اصلاً.
این هفته، فیلیپ وانگ، توسعه‌دهنده‌ای که مسئول مهندسی معکوس سیستم‌های هوش مصنوعی منبع بسته از جمله Make-A-Video متا است، PalM + RLHF را منتشر کرد، یک مدل تولید متن که رفتاری مشابه ChatGPT دارد. سیستم ترکیب می شود نخل، یک مدل زبان بزرگ از Google و تکنیکی به نام یادگیری تقویتی با بازخورد انسانی – به طور خلاصه RLHF – برای ایجاد سیستمی که می تواند تقریباً هر کاری را که ChatGPT می تواند انجام دهد، از جمله تهیه پیش نویس ایمیل و پیشنهاد کد رایانه.
اما PalM + RLHF از قبل آموزش دیده نیست. به این معنا که سیستم بر روی داده های نمونه از وب لازم برای کارکرد واقعی آن آموزش ندیده است. دانلود PaLM + RLHF به طور جادویی تجربه‌ای شبیه به ChatGPT را نصب نمی‌کند – که نیازمند کامپایل کردن گیگابایت متنی است که مدل می‌تواند از آن یاد بگیرد و سخت‌افزاری را پیدا کند که بتواند حجم کار آموزشی را مدیریت کند.
مانند ChatGPT، PalM + RLHF اساسا یک ابزار آماری برای پیش‌بینی کلمات است. هنگامی که تعداد زیادی مثال از داده‌های آموزشی داده می‌شود – به عنوان مثال پست‌هایی از Reddit، مقالات خبری و کتاب‌های الکترونیکی – PalM + RLHF می‌آموزد که چقدر احتمال دارد کلمات بر اساس الگوهایی مانند بافت معنایی متن اطراف رخ دهند.
ChatGPT و PalM + RLHF سس خاصی را در آموزش تقویتی با بازخورد انسانی به اشتراک می گذارند، تکنیکی که هدف آن همسویی بهتر مدل های زبان با آنچه کاربران می خواهند انجام دهند. RLHF شامل آموزش یک مدل زبان – در مورد PaLM + RLHF، PaLM – و تنظیم دقیق آن بر روی یک مجموعه داده است که شامل اعلان‌هایی است (مثلاً “یادگیری ماشین را برای یک کودک شش ساله توضیح دهید”) که با آنچه داوطلبان انسانی از مدل انتظار دارند جفت می‌شود. گفتن (مثلاً “یادگیری ماشین نوعی هوش مصنوعی است…”). سپس دستورات فوق به مدل تنظیم شده داده می شود که چندین پاسخ ایجاد می کند و داوطلبان همه پاسخ ها را از بهترین به بدترین رتبه بندی می کنند. در نهایت، از رتبه‌بندی‌ها برای آموزش یک «مدل پاداش» استفاده می‌شود که پاسخ‌های مدل اصلی را می‌گیرد و آنها را به ترتیب اولویت مرتب می‌کند، و برای پاسخ‌های برتر به یک درخواست داده شده فیلتر می‌کند.
این یک فرآیند گران است، جمع آوری داده های آموزشی. و آموزش به خودی خود ارزان نیست. اندازه PalM 540 میلیارد پارامتر است، «پارامترهایی» که به بخش‌هایی از مدل زبانی که از داده‌های آموزشی آموخته می‌شود، اشاره دارد. یک 2020 مطالعه هزینه های توسعه یک مدل تولید متن با تنها 1.5 میلیارد پارامتر را به 1.6 میلیون دلار تعیین کرد. و برای آموزش مدل منبع باز بلوم که دارای 176 میلیارد پارامتر است، سه ماه با استفاده از 384 پردازنده گرافیکی Nvidia A100 طول کشید. قیمت یک A100 هزاران دلار است.
اجرای یک مدل آموزش دیده با اندازه PalM + RLHF نیز بی اهمیت نیست. بلوم به یک رایانه شخصی اختصاصی با حدود هشت پردازنده گرافیکی A100 نیاز دارد. جایگزین های ابری با ریاضیات پشت پاکت گران هستند یافته هزینه اجرای GPT-3 تولید متن OpenAI – که حدود 175 میلیارد پارامتر دارد – روی یک سرویس وب آمازون حدود 87000 دلار در سال است.
سباستین راشکا، محقق هوش مصنوعی، در لینکدین اشاره می کند پست در مورد PALM + RLHF که بزرگ‌کردن جریان‌های کاری برنامه‌نویس ضروری نیز می‌تواند یک چالش باشد. او گفت: «حتی اگر کسی 500 پردازنده گرافیکی برای آموزش این مدل در اختیار شما قرار دهد، باز هم باید با زیرساخت‌ها سروکار داشته باشید و یک چارچوب نرم‌افزاری داشته باشید که بتواند آن را مدیریت کند.» واضح است که ممکن است، اما در حال حاضر تلاش بزرگی است (البته، ما در حال توسعه چارچوب هایی برای ساده تر کردن آن هستیم، اما هنوز هم پیش پا افتاده نیست).
همه اینها به این معنی است که PALM + RLHF امروز جایگزین ChatGPT نمی شود – مگر اینکه یک سرمایه گذاری (یا شخص) با بودجه خوب آموزش داده و آن را در دسترس عموم قرار دهد.
در خبر بهتر، چندین تلاش دیگر برای تکرار ChatGPT در یک کلیپ سریع در حال پیشرفت است، از جمله یکی از آنها که توسط یک گروه تحقیقاتی به نام CarperAI. CarperAI با همکاری سازمان تحقیقاتی باز هوش مصنوعی EleutherAI و استارت‌آپ‌های Scale AI و Hugging Face، قصد دارد اولین مدل هوش مصنوعی آماده اجرا شده شبیه به ChatGPT را منتشر کند که با بازخورد انسانی آموزش دیده است.
LAION، سازمان غیرانتفاعی که مجموعه داده های اولیه مورد استفاده برای آموزش Stable Diffusion را ارائه کرد، همچنین سر نیزه پروژه ای برای تکرار ChatGPT با استفاده از جدیدترین تکنیک های یادگیری ماشین. هدف LAION بلندپروازانه ساختن «دستیار آینده» است – دستیار نه تنها ایمیل‌ها و نامه‌های پوششی می‌نویسد، بلکه «کار معنی‌داری انجام می‌دهد، از APIها استفاده می‌کند، اطلاعات را به صورت پویا تحقیق می‌کند و خیلی چیزهای دیگر». در مراحل اولیه است. اما یک GitHub صفحه با منابع این پروژه چند هفته پیش فعال شد.
اکنون یک جایگزین منبع باز برای ChatGPT وجود دارد، اما موفق باشید توسط Kyle Wiggers اجرا شود که در ابتدا در TechCrunch منتشر شده بود.
