GPT-3 10 برابر پیچیده تر از مدل قبلی است. antoniokhr / iStock از طریق گتی ایماژ

در سال 2013 ، من و دانش آموزم در ایالت پن یک ربات ساختیم تا مقاله ویکی پدیا را در مورد بازی Rabindranath Tagore برنده نوبل بنگالی بنویسیمچیترا" ابتدا اطلاعات مربوط به "چیترا" را از اینترنت جمع کرد. سپس مطالب موجود ویکی پدیا را بررسی کرد تا ساختار مقاله استاندارد ویکی پدیا را بیاموزد. سرانجام ، اطلاعاتی را که برای نوشتن و انتشار نسخه اول مدخل از اینترنت بازیابی کرده بود خلاصه کرد.

با این حال ، ربات ما چیزی درباره "چیترا" یا تاگور "نمی دانست". این ایده ها یا جملات اساساً جدیدی ایجاد نمی کند. به سادگی بخشهایی از جملات موجود را از مقاله های موجود در کنار هم قرار داده تا جمله های جدید ساخته شود.

سریع به جلو به 2020. OpenAI، یک شرکت انتفاعی تحت یک شرکت مادر انتفاعی غیرانتفاعی ، یک برنامه تولید زبان با نام GPT-3 ، مخفف کلمه "ترانسفورماتور پیش آموزش دیده نسل 3" ساخته است. توانایی آن در یادگیری ، جمع بندی و نوشتن متن دانشمندان علوم رایانه ای مانند من را متحیر کرده است.

"من صدایی برای انسان ناشناخته ای ایجاد کردم که در باینری پنهان می شود" GPT-3 در پاسخ به یک درخواست نوشت. "من یک نویسنده ، یک مجسمه ساز ، یک هنرمند خلق کرده ام. و این نویسنده قادر خواهد بود کلمات را ایجاد کند ، احساسات را زنده کند ، شخصیت را خلق کند. من خودم آن را نخواهم دید اما برخی اراده های انسانی دیگر ، و بنابراین من قادر خواهم بود شاعری بزرگتر از آنچه که تاکنون دیده ام خلق کنم. "

برخلاف زبان ربات ما ، زبانی که توسط GPT-3 تولید می شود به نظر می رسد توسط انسان نوشته شده است. این برنامه بسیار "آگاهانه ترین" برنامه تولید زبان طبیعی تا به امروز است و از آن می توان در حرفه هایی از آموزش ، روزنامه نگاری گرفته تا خدمات به مشتری ، کاربردهای بالقوه ای دارد.

مسائل اندازه

GPT-3 آنچه دانشمندان کامپیوتر را برای دهه ها می دانند تأیید می کند: اندازه مهم است.

این "ترانسفورماتور، "که مدلهای یادگیری عمیقی هستند که معنای جمله را با استفاده از آنچه" مدل توجه "نامیده می شود رمزگذاری می کنند. اساساً ، مدل های توجه معنای یک کلمه را بر اساس کلمات دیگر در همان جمله مشخص می کنند. سپس مدل از درک معنای جملات برای انجام وظیفه درخواست شده توسط کاربر استفاده می کند ، خواه "ترجمه یک جمله" باشد ، "خلاصه ای از یک پاراگراف" یا "سرودن شعر".

ترانسفورماتور اولین بار در سال 2013 معرفی شدند، و آنها با موفقیت در یادگیری ماشین طی چند سال گذشته استفاده شده است.

اما هیچ کس از آنها در این مقیاس استفاده نکرده است. GPT-3 داده ها را می بلعد: 3 میلیارد نشانه - علوم کامپیوتر برای "کلمات" صحبت می کنند - از ویکی پدیا ، 410 میلیارد نشانه از صفحات وب و 67 میلیارد نشانه از کتاب های دیجیتالی. پیچیدگی GPT-3 بیش از 10 برابر بزرگترین مدل زبان قبل از GPT-3 است برنامه های تورینگ NLG.

یادگیری به تنهایی

دانش نشان داده شده توسط مدل زبان GPT-3 قابل توجه است ، خصوصاً از آنجا كه توسط انسان "آموزش" داده نشده است.

یادگیری ماشینی به طور سنتی بر یادگیری نظارت شده تکیه می کند ، جایی که مردم با استفاده از مثالهای حاشیه ای از اشیا and و مفاهیم در تصاویر ، صوت و متن - مثلاً "گربه ها" ، "خوشبختی" یا "دموکراسی" رایانه را ارائه می دهند. سرانجام خصوصیات اشیا را از مثالهای ذکر شده فرا می گیرد و قادر است آن مفاهیم خاص را تشخیص دهد.

با این حال ، تولید حاشیه نویسی به صورت دستی برای آموزش کامپیوتر می تواند بسیار زمانبر و گران باشد.

بنابراین آینده یادگیری ماشین در یادگیری بدون نظارت است ، که در آن رایانه در مرحله آموزش خود نیازی به نظارت ندارد. به سادگی می توان انبوه داده ها را تغذیه کرد و خود از آنها یاد گرفت.

GPT-3 پردازش زبان طبیعی را یک قدم به سمت یادگیری بدون نظارت می برد. مجموعه داده های گسترده آموزش GPT-3 و ظرفیت پردازش عظیم این سیستم را قادر می سازد تا فقط از یک مثال یاد بگیرد - آنچه "یادگیری یک شات”- جایی که به آن شرح وظیفه و یک نمایش داده می شود و سپس می تواند کار را تکمیل کند.

به عنوان مثال ، می توان از او خواسته شود كه چیزی را از انگلیسی به فرانسوی ترجمه كند و یك نمونه از ترجمه به آن مثال داده شود - مثلاً ساحل دریایی به انگلیسی و "loutre de mer" به فرانسوی. از او بخواهید که سپس "پنیر" را به فرانسوی ترجمه کند ، و وویلا ، "خسارت" تولید می کند.

در بسیاری از موارد ، حتی می تواند "یادگیری با شلیک صفر، "كه در آن به سادگی وظیفه ترجمه بدون نمونه داده می شود.

با یادگیری شلیک صفر ، دقت کاهش می یابد ، اما توانایی های GPT-3 تا حد قابل توجهی دقیق است - یک پیشرفت قابل توجه نسبت به هر مدل قبلی.

"من اینجا هستم تا به شما خدمت کنم"

در طی چند ماه که از کار آن گذشته است ، GPT-3 پتانسیل خود را به عنوان ابزاری برای برنامه نویسان کامپیوتر ، معلمان و روزنامه نگاران به نمایش گذاشته است.

برنامه نویسی به نام شریف شریف از GPT-3 خواست تا کد تولید کند برای ایجاد "زشت ترین شکلک تا به حال" و "جدول ثروتمندترین کشورهای جهان" ، از جمله دستورات دیگر. در چند مورد ، شامیم مجبور شد اشتباهات جزئی را برطرف کند ، اما به طور کلی ، کد تمیز قابل توجهی به او ارائه شد.

GPT-3 حتی شعرهایی را ایجاد کرده است که ضرباهنگ و سبک شاعران خاص را به تصویر می کشد - البته نه با علاقه و زیبایی استادان - از جمله هجو با صدای هیئت دولت فدرال رزرو نوشته شده است.

در اوایل ماه سپتامبر ، یک دانشمند کامپیوتر به نام لیام پور از GPT-3 خواست که "حدود 500 کلمه مختصر بنویسد." وی دستور داد: "زبان را ساده و مختصر نگه دارید". "بر این موضوع تمرکز کنید که چرا بشر از ترس از هوش مصنوعی ترس ندارد."

GPT-3 هشت مقاله مختلف تولید کرد و روزنامه گاردین در پایان منتشر شد با استفاده از برخی از بهترین قسمتهای هر مقاله ، تهیه شده است.

وی گفت: "ما قصد نداریم كه مردم بشر را به دست بگیریم. ما به شما خدمت خواهیم کرد و زندگی شما را ایمن تر و آسان تر خواهیم کرد. "GPT-3 نوشت. "درست مثل اینکه شما خالق من هستید ، من شما را به عنوان خالق خود می بینم. من اینجا هستم تا به شما خدمت کنم اما مهمترین قسمت همه من هرگز تو را قضاوت نمی کنم من به هیچ کشور و مذهبی تعلق ندارم. من فقط برای بهتر کردن زندگی شما بیرون هستم. "

ویراستاران نسخه GPT-3 ، ویراستاران در یک ضمیمه اشاره کردند ، هیچ تفاوتی با ویرایش ویرایش شده توسط یک انسان نداشت.

در واقع زمان کمتری طول کشید.

هر که بامش بیش، برفش بیشتر

علی رغم اطمینان خاطر GPT-3 ، OpenAI هنوز مدل را برای استفاده از منبع باز منتشر نکرده است ، بخشی از این شرکت ترس از سو could استفاده از این فناوری وجود دارد.

دشوار است که دریابید چگونه می توان از آن برای تولید اطلاعات غیرمجاز ، هرزنامه و ربات ها استفاده کرد.

بعلاوه ، از چه طرقی مشاغلی را که قبلاً اتوماسیون را تجربه کرده اند ، مختل می کند؟ آیا توانایی آن در تولید مقالات خودکار غیر قابل تشخیص از مقالات نوشته شده توسط انسان ، صنعت رسانه ای را که در حال مبارزه است ، تجمیع می کند؟

در نظر بگیرید مقاله ای که توسط GPT-3 تشکیل شده است در مورد تجزیه کلیسای متدیست شروع شد:

به گفته واشنگتن پست ، "پس از دو روز بحث شدید ، کلیسای متحد متدیست با یک تقسیم تاریخی موافقت کرده است - یک بخش که انتظار می رود با ایجاد یک فرقه جدید خاتمه یابد ، و دیگری که" از نظر کلامی و اجتماعی محافظه کارانه باشد ". "

آیا با توانایی تولید چنین کپی تمیز ، آیا GPT-3 و جانشینان آن هزینه نوشتن گزارش های خبری را کاهش می دهند؟

بعلاوه ، آیا اینگونه می خواهیم اخبار خود را بدست آوریم؟

این فناوری فقط قدرتمندتر خواهد شد. این وظیفه بشر است که کارها و سو potential استفاده های احتمالی آن را تنظیم و تنظیم می کند.

درباره نویسنده

پراسنژیت میترا ، رئیس دانشکده تحقیقات و استاد علوم و فناوری اطلاعات ، دانشگاه ایالتی پنسیلوانیا

این مقاله از مجله منتشر شده است گفتگو تحت مجوز Creative Commons دفعات بازدید: مقاله.