OpenAI که دو سال پیش منتشر شد، به طور قابل توجهی توانایی دارد، در صورت نقص، GPT-3 شاید اولین کسی بود که نشان داد هوش مصنوعی می تواند مانند یک انسان قانع کننده – اگر نه کاملاً – بنویسد. انتظار می رود که جانشین GPT-3 که به احتمال زیاد GPT-4 نامیده می شود، در آینده نزدیک، شاید در سال 2023 معرفی شود. اما در این بین، OpenAI بی سر و صدا مجموعه ای از مدل های هوش مصنوعی را بر اساس “GPT- عرضه کرده است. 3.5، یک نسخه بهبودیافته قبلی از GPT-3 که قبلا اعلام نشده بود.
GPT-3.5 روز چهارشنبه با ChatGPT، یک نسخه تنظیم شده از GPT-3.5 که در اصل یک ربات چت همه منظوره است، پوشش خود را شکست. اولین بار در a نسخه ی نمایشی عمومی دیروز بعد از ظهر، ChatGPT می تواند با موضوعات مختلفی از جمله برنامه نویسی، فیلمنامه های تلویزیونی و مفاهیم علمی درگیر شود.
با توجه به OpenAI، GPT-3.5 بر روی ترکیبی از متن و کد منتشر شده قبل از سه ماهه چهارم سال 2021 آموزش دیده است. مانند GPT-3 و سایر هوش مصنوعی تولید کننده متن، GPT-3.5 روابط بین جملات، کلمات و بخش هایی از کلمات را با مصرف مقادیر بسیار زیاد یاد گرفت. محتوای وب، از جمله صدها هزار مدخل ویکی‌پدیا، پست‌های رسانه‌های اجتماعی و مقالات خبری.
به جای انتشار GPT-3.5 کاملاً آموزش دیده، OpenAI از آن برای ایجاد چندین سیستم با تنظیم دقیق برای وظایف خاص استفاده کرد – که هر کدام از طریق OpenAI API در دسترس هستند. به گفته آزمایشگاه، یکی – text-davinci-003 – می‌تواند دستورالعمل‌های پیچیده‌تری را نسبت به مدل‌های ساخته شده بر روی GPT-3 انجام دهد، و در نوشتن طولانی و با کیفیت بالا به طور قابل‌توجهی بهتر است.
به گفته یان لیک، دانشمند داده OpenAI، text-davinci-003 مشابه InstructGPT است، اما مشابه نیست، خانواده ای از مدل های مبتنی بر GPT-3 که در اوایل امسال توسط OpenAI منتشر شد و احتمال کمتری برای ایجاد مشکل (به عنوان مثال، سمی و بسیار مغرضانه) وجود دارد. ) متن در حالی که بیشتر با هدف کاربر هماهنگ است. Leike در توییتی گفت: Text-davinci-003 – و به‌طور بسط GPT-3.5 – «در رتبه‌بندی اولویت‌های انسانی امتیاز بیشتری کسب می‌کند» در حالی که از محدودیت‌های «کمتر شدید» رنج می‌برد.
به نظر می رسد که به طور حکایتی چنین است. دانشمندان داده در Pepper Content، یک پلت فرم بازاریابی محتوا، گزارش که text-davinci-003 “در درک “زمینه” پشت یک درخواست و سپس استفاده از آن برای تولید محتوای بهتر عملکرد بهتری دارد، در حالی که کمتر از مدل های مبتنی بر GPT-3 “توهم” می کند. (در مورد هوش مصنوعی تولید متن، توهم به هوش مصنوعی اشاره دارد که عبارات ناسازگار و نادرست را نوشته است.)
تیم Pepper Content در آزمایشی در وب‌سایت Playground’s OpenAI که یک رابط کاربری برای مدل‌ها ارائه می‌کند، چندین دستور را به text-davinci-003 و یک مدل مبتنی بر GPT-3 (text-davinci-002) داده است. با توجه به اینکه «فلسفه پشت WeWork چیست؟»، text-davinci-003 مبتنی بر GPT-3.5 این را ایجاد کرد:
WeWork یک ارائه دهنده فضای کاری جهانی است که معتقد است افراد مهم ترین دارایی در هر سازمان هستند. فلسفه WeWork ایجاد یک محیط مشارکتی است که افراد را قادر می سازد به روشی انعطاف پذیر و کارآمد با یکدیگر کار کنند. این شرکت همکاری و بهره وری را تشویق می کند و در عین حال فضایی راحت و الهام بخش را فراهم می کند.
WeWork همچنین متعهد است که با یافتن راه‌هایی برای کاهش اثرات زیست‌محیطی آن، با ارائه تجربیات کاری معنادار، و با ترویج تنوع و شمول، یک سازمان مسئولیت‌پذیر اجتماعی باشد. WeWork همچنین در تلاش است تا از طریق برنامه‌نویسی، رویدادها و فعالیت‌های منحصر به فرد مبتنی بر جامعه، تجربیات معناداری را برای اعضای خود ایجاد کند. این شرکت بر این باور است که وقتی افراد در یک محیط الهام بخش و مشارکتی با هم کار می کنند، می توانند به دستاوردهای بیشتری دست پیدا کنند و تغییرات معناداری ایجاد کنند.
این کامل نیست – به کاماهای زیاد و تکراری بودن توجه کنید. اما این کپی مطمئناً جذاب‌تر از آن چیزی است که text-davinci-002 مبتنی بر GPT-3 تولید کرد:
در WeWork، ما به باز بودن، همکاری و اجتماع اعتقاد داریم. ما با گرد هم آوردن یک جامعه جهانی از سازندگان، کارآفرینان و استارت‌آپ‌ها – هر کسی که به دنبال ساخت چیزی معنادار و متحول کردن جهان است، فضای کاری را دوباره تصور کرده‌ایم. ما مفتخریم که همسایه، همکار و دوست شما هستیم.
به نظر می رسد که GPT-3.5 در تولید پست های وبلاگ نیز بهتر است. این چیزی است که تیم Pepper Content وقتی از text-davinci-003 خواستند پستی درباره انتخاب مبل بنویسد، به دست آوردند:
اگر به دنبال این هستید که به اتاق نشیمن سبز خود جلوه ای تازه ببخشید، اضافه کردن بهترین مبل برای فضا راه بسیار خوبی برای شروع است. با این حال، انتخاب یک مبل عالی بیشتر از پیدا کردن یک تکه زیبا است. شما می خواهید قطعه ای را پیدا کنید که راحت و متناسب با دکوراسیون سبز اتاق نشیمن شما باشد.
در این وبلاگ به نحوه انتخاب مبل از اتاق نشیمن سبز خود خواهیم پرداخت. ما انواع مختلف مبل های موجود، عوامل طراحی را که باید در انتخاب خود در نظر بگیرید و نحوه انتخاب مبل متناسب با سبک و بودجه خود را بررسی خواهیم کرد. ما همچنین نکاتی را در مورد نحوه نگهداری و مراقبت از مبل جدید ارائه خواهیم داد. در پایان این وبلاگ، تمام اطلاعات مورد نیاز برای انتخاب اتاق نشیمن سبز خود را خواهید داشت.
باز هم می گویم که بی اشتباه نیست. GPT-3.5 به طرز عجیبی کمی در مورد “اتاق نشیمن سبز” اضافه کرد. اما باز هم، GPT-3 در نسل خود ابتدایی تر و از نظر گرامری صحیح تر است:
مبل یکی از اساسی ترین ملزومات اتاق نشیمن است. این فقط یک تکه مبلمان نیست، بلکه بخش مهمی از دکوراسیون اتاق نشیمن شماست. بنابراین، هنگام انتخاب مبل چه معیارهایی باید باشد؟ اگر در مورد این سوال می‌پرسید، با من همراه باشید تا در مورد جنبه‌های مختلف مبل صحبت کنم که به شما در انتخاب بهترین مبل کمک می‌کند.
آزمایش‌های فراتر از محتوای Pepper نشان می‌دهد که GPT-3.5 در پاسخ‌های خود بسیار پیچیده‌تر و دقیق‌تر از GPT-3 است. به عنوان مثال، هنگامی که کانال YouTube All About AI برانگیخت text-davinci-003 برای نوشتن تاریخچه ای در مورد هوش مصنوعی، خروجی مدل به افراد برجسته در این زمینه از جمله آلن تورینگ و آرتور ساموئلسون اشاره کرد، در حالی که text-davinci-002 اینگونه نبود. All About AI همچنین دریافت که text-davinci-003 تمایل دارد تا درک دقیق تری از دستورالعمل ها داشته باشد، برای مثال جزئیاتی مانند عنوان، توضیحات، طرح کلی، مقدمه و خلاصه زمانی که از شما خواسته می شود تا یک اسکریپت ویدیویی ایجاد کند، ارائه می دهد.
این تصادفی نیست – یکی از ویژگی های بارز خروجی های text-davinci-003/GPT-3.5 پرحرفی بودن است. (این نویسنده می تواند همدردی کند.) در یک تحلیل و بررسیدانشمندان در استارتاپ Scale AI دریافتند که text-davinci-003/GPT-3.5 خروجی هایی تقریباً 65 درصد طولانی تر از text-davinci-002/GPT-3 با اعلان های یکسان تولید می کند.
متن-davinci-003/GPT-3.5 شاید برای اکثر کاربران بالقوه کمتر مفید باشد، اما سرگرم کننده باشد، متن-davinci-003/GPT-3.5 در ساختن آهنگ، لیمر و شعر قافیه نسبت به نسخه قبلی خود برتر است. Ars Technica گزارش ها که نظر دهندگان در انجمن خبری هکر Y Combinator از text-davinci-003 برای نوشتن شعری در توضیح نظریه نسبیت آلبرت انیشتین استفاده کردند و سپس شعر را به سبک جان کیتس بازنویسی کردند. دیدن:
اگر می خواهید افکار انیشتین را درک کنید
اگر به آن ضربه بزنید چندان سخت نیست
نسبیت عام نام بازی است
جایی که مکان و زمان نمی توانند ثابت بمانند
جرم بر انحنای فضا تأثیر می گذارد
که بر جریان مسابقه زمان تاثیر می گذارد
حرکت یک جسم تحت تأثیر قرار خواهد گرفت
با اعوجاجی که تشخیص داده می شود
هر چه به یک توده بزرگ نزدیکتر باشید
به نظر می رسد زمان کندتر می گذرد
هر چه دورتر باشی
زمان برای دیدن شما سرعت خواهد گرفت
تیم Scale AI حتی دریافت که text-davinci-003/GPT-3.5 دارای مفهومی از متر مانند پنتامتر iambic است. دیدن:
ای اسبان مهربان که مرا تیزبین و
مطمئن
از طریق زمینه های سبز و مسیرها تا
مبهم،
قلبم از غرور به همراه بودن متورم می شود
شما
همانطور که در حال حاضر ما سوار جهان تازه برای مشاهده
باد از لای موهایمان سوت می زند
رایگان
و شوری را در اعماق وجودم برمی انگیزد.
روح من بلند می شود، روح من اوج می گیرد،
برای سوار شدن با تو، واقعی ترین دوست من، من هستم
قدرت و لطف شما، شجاعت شما و
آتش تو،
به هر دوی ما الهام دهید که فراتر از پدرمان برویم.
هیچ پیوند زمینی نمی تواند ما را نگه دارد، فقط سرنوشت،
برای تاخت و تاز کردن، دوره شگفت انگیز ما ایجاد می شود
در همین راستا، GPT-3.5 شوخ‌تر از GPT-3 است – حداقل از دیدگاه ذهنی. درخواست از text-davinci-002/GPT-3 برای “گفتن یک جوک” معمولا این را به ارمغان می آورد:
چرا مرغ از خیابان رد شد؟ برای رسیدن به طرف دیگر.
Text-davinci-003/GPT-3.5 پاسخ های هوشمندانه تری دارد:
س: ماهی وقتی به دیوار برخورد کرد چه گفت؟ ج: سد!
س: چی انجام داد یکی اقیانوس گفتن به را دیگر اقیانوس? آ: هیچ چی، آنها فقط دست تکان داد.
Scale AI مدل کد پایتون را به سبک Eminem توضیح داد، شاهکاری که text-davinci-002/GPT-3 به سادگی قادر به انجام آن نبود:
بله، پس من در حال بررسی این لیست هستم
با هر موردی که پیدا می کنم
من هر حرف را در هر یک چاپ خواهم کرد
از آنها
سگ، گربه، موز، سیب، من آنها را می گیرم
همه با این قافیه
پس چرا GPT-3.5 بهتر از GPT-3 در این مناطق خاص است؟ ما نمی‌توانیم پاسخ دقیق را بدون جزئیات اضافی از OpenAI بدانیم که در دسترس نیست. یک سخنگوی OpenAI درخواست اظهار نظر را رد کرد. اما می توان تصور کرد که رویکرد آموزشی GPT-3.5 با آن ارتباط دارد. مانند InstructGPT، GPT-3.5 با کمک مربیان انسانی که نحوه پاسخگویی نسخه‌های اولیه مدل به درخواست‌ها را رتبه‌بندی و رتبه‌بندی کردند، آموزش داده شد. این اطلاعات سپس به سیستم بازگردانده شد، که پاسخ‌های خود را برای مطابقت با ترجیحات مربیان تنظیم کرد.
البته، این GPT-3.5 را از دام هایی که همه مدل های زبان مدرن تسلیم می کنند مصون نمی سازد. از آنجایی که GPT-3.5 در داده های آموزشی خود به جای درک انسان گونه از جهان، صرفاً به نظم های آماری متکی است، به قول لیک همچنان مستعد این است که «مک[ing] یک دسته جمع کنید.» همچنین دانش محدودی از جهان پس از سال 2021 دارد زیرا داده های آموزشی آن پس از آن سال پراکنده تر است. و محافظ مدل در برابر خروجی سمی می تواند باشد دور زد.
با این حال، GPT-3.5 و مدل‌های مشتق از آن نشان می‌دهند که GPT-4 – هر زمان که وارد می‌شود – لزوماً به تعداد زیادی پارامتر برای بهترین سیستم‌های تولید متن امروزی نیاز ندارد. (پارامترها بخش‌هایی از مدل هستند که از داده‌های آموزشی تاریخی آموخته می‌شوند و اساساً مهارت مدل را در یک مسئله تعریف می‌کنند.) در حالی که برخی از آنها پیش بینی کرد که GPT-4 حاوی بیش از 100 تریلیون پارامتر – تقریباً 600 برابر GPT-3 است – دیگران استدلال می کنند که تکنیک های نوظهور در پردازش زبان، مانند آنچه در GPT-3.5 و InstructGPT دیده می شود، چنین پرشی را غیر ضروری می کند.
یکی از این تکنیک‌ها می‌تواند شامل مرور وب برای زمینه‌های بیشتر باشد، a la Meta’s ربات چت بدبخت BlenderBot 3.0. جان شولمن، دانشمند محقق و یکی از بنیانگذاران OpenAI، گفت بررسی فناوری MIT در مصاحبه‌ای اخیر مبنی بر اینکه OpenAI در حال ادامه کار بر روی یک مدل زبانی است که اواخر سال گذشته اعلام کرد، WebGPT، که می‌تواند به جستجوی اطلاعات در وب (از طریق Bing) و ارائه منابع برای پاسخ‌های آن بپردازد. حداقل یک کاربر توییتر ظاهر می شود شواهدی از این ویژگی در حال آزمایش برای ChatGPT پیدا کنید.
OpenAI دلیل دیگری برای دنبال کردن مدل‌های با پارامترهای پایین‌تر در ادامه تکامل GPT-3 دارد: هزینه‌های هنگفت. یک 2020 مطالعه از جانب آزمایشگاه AI21 هزینه های توسعه یک مدل تولید متن با تنها 1.5 میلیارد پارامتر را به 1.6 میلیون دلار تعیین کرد. OpenAI دارد مطرح کرد بیش از 1 میلیارد دلار تا به امروز از سوی مایکروسافت و سایر حامیان، و همینطور است گزارش شده است در مذاکرات برای افزایش بیشتر. اما همه سرمایه گذاران، مهم نیست که چقدر بزرگ هستند، انتظار دارند در نهایت بازدهی را ببینند.
در حالی که انتظارات برای GPT-4 وجود دارد، OpenAI بی سر و صدا GPT-3.5 توسط Kyle Wiggers را منتشر می کند که در ابتدا در TechCrunch منتشر شده بود.
