يُعد جي بي تي-3 (GPT-3) اختصاراً للعبارة (Generative Pre-trained Transformer 3) أو المحول التوليدي مسبق التدريب-3، وهو عبارة عن نموذج لغوي يستخدم تقنية التعلم العميق لتوليد نصوص تشبه تلك التي يكتبها البشر من خلال أخذ الدخل وتحويله إلى ما يتوقع أنّه الخرج الأكثر فائدةً. وقد تم إصدار هذا النموذج في شهر يونيو من عام 2020، وهو يمثل الإصدار الثالث من هذه الأداة التي يطورها مختبر أبحاث الذكاء الاصطناعي (OpenAI).
يُعد جي بي تي-3 أقوى نموذج لغوي على الإطلاق إذ يحتوي على 175 مليار مُعامل وسيط (القيم التي تحاول الشبكة العصبونية تحسينها أثناء التدريب)، مقارنة بـ 1.5 مليار مُعامل في نموذج جي بي تي-2 السابق. وتم تدريبه باستخدام 570 جيجا بايت من النصوص التي تم جمعها من تصفّح الإنترنت بواسطة مجموعة بيانات (CommonCrawl) المتاحة للاستخدام بشكل عمومي، بالإضافة إلى بعض النصوص الأخرى المختارة من قبل (OpenAI) بما في ذلك نصوص ويكيبيديا.
يستطيع نموذج جي بي تي-3 إنشاء أي شيء يملك بنية لغوية؛ مما يعني أنّه قادر على كتابة المقالات وتلخيص النصوص الطويلة وكتابة المذكرات والإجابة عن الأسئلة وكتابة النصوص البرمجية حتى، كما يمكن له محاكاة أسلوب كتاب معينين أيضاً، وعلى الرغم من ذلك فهو لا يزال يرتكب أخطاءً سخيفة، وهو عرضة لنشر لغة كراهية تحمل تحيزات على أساس الجنس أوالعرق.
