لم يأتِ من العدم: كيف حقق تشات جي بي تي انتشاره الواسع؟

الثمانينيات والتسعينيات من القرن العشرين: الشبكات العصبونية التكرارية

تشات جي بي تي هو إصدار جديد من نموذج جي بي تي-3، وهو نموذج لغوي كبير طوّرته أيضاً شركة أوبن أيه آي. النماذج اللغوية هي أحد أشكال الشبكات العصبونية التي يتم تدريبها باستخدام كميات كبيرة للغاية من النصوص. والشبكات العصبونية هي برمجيات يعتمد تصميمها على الطريقة التي ترسل وفقها الخلايا العصبية في أدمغة الحيوانات الإشارات فيما بينها.

بما أن النصوص تتألف من سلسلة من الأحرف والكلمات المتفاوتة الأطوال، تتطلب النماذج اللغوية استخدام نوع من الشبكات العصبونية التي تستطيع فهم هذا النوع من البيانات. تستطيع الشبكات العصبونية التكرارية، والتي اخترعت في ثمانينيات القرن الماضي، التعامل مع سلاسل الكلمات، ولكن عملية تدريبها تستغرق وقتاً طويلاً كما يمكن أن تنسى الكلمات السابقة في السلاسل.

في عام 1997، حل عالما الحاسوب سيب هوخرايتر (Sepp Hochreiter) ويورغن شميدهوبر (Jürgen Schmidhuber) هذه المشكلة حين اخترعا شبكات الذاكرة قصيرة الأمد الطويلة، وهي شبكات عصبية تكرارية تحتوي على مكونات خاصة تتيح تذكّر البيانات السابقة في سلاسل المدخلات لفترة أطول. تستطيع هذه الشبكات التعامل مع سلاسل النصوص التي تتألف من عدة مئات من الكلمات، ولكن مهاراتها اللغوية كانت محدودة.

عام 2017: المتحولات

حدث الإنجاز الثوري الذي تعتمد عليه الأجيال الحالية من النماذج اللغوية الكبيرة عندما اخترع فريق من الباحثين في شركة جوجل المتحولات، وهي نوع من الشبكات العصبونية التي تستطيع تحديد موقع ظهور الكلمات والعبارات في السلاسل. يعتمد معنى الكلمات عادة على معاني الكلمات الأخرى التي تأتي قبلها أو بعدها. ومن خلال تعقّب هذه المعلومات المعتمدة على السياق، تستطيع المتحولات التعامل مع السلاسل الأطول من النصوص وتحديد معاني الكلمات بدقة أكبر. على سبيل المثال، تمتلك كلمة “هوت دوغ” معنيين مختلفين تماماً في الجملتين “يجب منح الكلاب التي تشعر بالحر الكثير من المياه” و”يجب تناول الهوت دوغ مع الخردل”.

عاما 2018 و2019: نموذجا جي بي تي وجي بي تي-2

كان الفرق الزمني بين أول نموذجين لغويين كبيرين تطوّرهما شركة أوبن أيه آي بضعة أشهر فقط. تهدف هذه الشركة إلى تطوير أدوات الذكاء الاصطناعي المتعددة المهارات وذات الأغراض العامة، وتعتقد أن تطوير النماذج اللغوية الكبيرة هو الطريق لتحقيق هذا الهدف. سيطر نموذج جي بي تي (GPT)، والذي اسمه الكامل هو المتحول التوليدي مسبق التدريب، على الساحة، متفوقاً على أفضل برامج معالجة اللغة الطبيعية في ذلك الوقت.

مزَج نموذج جي بي تي بين المتحولات والتعلم غير الخاضع للإشراف، وهي طريقة تستخدم لتدريب نماذج التعلم الآلي باستخدام البيانات (كميات كبيرة من النصوص في هذه الحالة) غير المفسرة مسبقاً. يمنح ذلك البرنامج القدرة على ملاحظة الأنماط في البيانات بنفسه دون الحاجة لتوجيهه. اعتمدت العديد من الإنجازات الناجحة السابقة في مجال التعلم الآلي على التعلم غير الخاضع للإشراف والبيانات المفسرة. ولكن وسم البيانات وتفسيرها يدوياً هو عملية بطيئة، وبالتالي فهي تحد من حجم مجموعات البيانات المتوفرة للتدريب.

نموذج جي بي تي-2 (GPT-2، الجيل الثاني من المحولات التوليدية مسبقة التدريب) هو الذي أحدث الضجة الأكبر. ادّعى الخبراء في شركة أوبن أيه آي أنهم قلقون من أن يتم استخدام نموذج جي بي تي-2 “لتوليد النصوص الخادعة أو المتحيزة أو المسيئة“، لدرجة أنهم قرروا عدم إصدار النموذج الكامل. ولكن ذلك تغير مع الزمن.

عام 2020: نموذج جي بي تي-3

كان نموذج جي بي تي-2 مثيراً للإعجاب، ولكن الإصدار الذي تلاه، وهو جي بي تي-3 (GPT-3) (الجيل الثالث من المتحولات التوليدية مسبقة التدريب) كان مذهلاً. مثّلت قدرة هذا النموذج على توليد النصوص الشبيهة بتلك التي يؤلفها البشر خطوة كبيرة للأمام في هذا المجال. يستطيع هذا النموذج الإجابة عن الأسئلة وتلخيص المستندات وتوليد القصص بأساليب مختلفة وترجمة النصوص من وإلى اللغة الإنجليزية والفرنسية والإسبانية واليابانية وغيرها. إن قدرة هذا النموذج على المحاكاة هائلة.

تتمثل إحدى أهم فوائد نموذج جي بي تي-3 في أنه ضخّم التكنولوجيات الموجودة مسبقاً بدلاً من أن يسهم في ابتكار تكنولوجيات جديدة. يحتوي هذا النموذج على 175 مليار متغير (والمتغيرات هي القيم في الشبكات التي يتم تعديلها في أثناء التدريب)، بينما احتوى نموذج جي بي تي-2 على 1.5 مليار متغير فقط. بالإضافة إلى ذلك، تم تدريب هذا النموذج باستخدام كمية أكبر بكثير من البيانات.