لماذا يصعب توافق الذكاء الاصطناعي مع التعلم العميق الحديث
هذه مقالة ضيف بقلم زميلتي آجيا كوترا.
لقد ذكر هولدن سابقًا فكرة أن أنظمة الذكاء الاصطناعي المتقدمة (مثل باستا) قد تطور أهدافًا خطيرة تجعلها تخدع البشر أو تقوض قدرتهم. قد يبدو ذلك مثيرًا للقلق بشكل كبير. لماذا نبرمج ذكاء اصطناعيًّا يرغب في إيذائنا؟ لكني أعتقد أنها قد تكون مشكلة يصعب تجنبها، خاصة إذا تم تطوير الذكاء الاصطناعي المتقدم باستخدام تقنية التعلم العميق (التي تُستخدم غالبًا لتطوير أحدث تقنيات الذكاء الاصطناعي اليوم).
في التعلم العميق، لا نبرمج الحاسوب يدويًّا لأداء مهمة معينة. لكننا بشكل مبسط، نبحث عن برنامج حاسوب (يُسمى نموذجًا) يؤدي المهمة جيدًا. عادةً ما نعرف القليل جدًا عن آلية العمل الداخلي للنموذج الذي نحصل عليه، فقط نعلم أنه يبدو أنه يؤدي عملًا جيدًا. فالأمر أقل شبهًا ببناء آلة وأكثر شبهًا بتوظيف وتدريب موظف.
وتمامًا مثل الموظفين البشر الذين يمكن أن يكون لديهم دوافع مختلفة لأداء وظيفتهم (من الإيمان بمهمة الشركة إلى الاستمتاع بالعمل اليومي إلى الرغبة في المال فقط)، يمكن أن يكون لدى نماذج التعلم العميق أيضًا العديد من «الدوافع» المختلفة التي تؤدي جميعها إلى أداء المهمة جيدًا. وبما أنها ليست بشرية، يمكن أن تكون دوافعها غريبة جدًّا ويصعب التنبؤ بها – وكأنهم موظفون فضائيون.
لقد بدأنا نرى بالفعل أدلة أولية على أن النماذج في بعض الأحيان تسعى لتحقيق أهداف لم يقصدها المصممون (هنا وهنا). في الوقت الحالي، هذا ليس خطيرًا. ولكن إذا استمر ذلك في الحدوث مع نماذج قوية جدًّا، فقد نجد أنفسنا في وضع تُتخذ فيه معظم القرارات الهامة - بما في ذلك أي نوع من الحضارة على مستوى المجرة يجب السعي إليه - من قِبل النماذج دون اعتبار كبير لقيمة البشر.
مشكلة توافق التعلم العميق هي مشكلة ضمان عدم سعي نماذج التعلم العميق المتقدمة إلى تحقيق أهداف خطيرة. في بقية هذه المقالة، سأقوم بما يلي:
- البناء على تشبيه «التوظيف» لتوضيح كيف يمكن أن تكون مشكلة التوافق صعبة إذا كانت نماذج التعلم العميق أكثر قدرة من البشر (للمزيد).
- شرح ما هي مشكلة توافق التعلم العميق بمزيد من التفاصيل التقنية (للمزيد).
- مناقشة مدى صعوبة مشكلة التوافق ومدى الخطر الذي يترتب على عدم حلها (للمزيد).
تشبيه: رجل الأعمال الشاب
يشرح هذا الجزء تشبيهًا يحاول أن يوضح بديهيًّا لماذا يبدو من الصعب تجنب عدم التوافق في نموذج قوي للغاية. إنه ليس تشبيهًا مثاليًا؛ لكنه يحاول فقط نقل بعض الافتراضات.
تخيل أنك طفل يبلغ من العمر ثمانية أعوام وأن والديك تركا لك شركة بقيمة تريليون دولار، وليس لديك شخص بالغ موثوق به ليكون دليلك في العالم. عليك توظيف شخص بالغ ذكي ليدير شركتك رئيسًا تنفيذيًّا، ويتعامل مع حياتك بالطريقة التي يتعامل بها الوالد (مثل اختيار مدرستك، ومكان إقامتك، وموعد زيارتك لطبيب الأسنان)، وإدارة ثروتك الهائلة (مثل اتخاذ قرارات استثمار المال).
يجب عليك توظيف هؤلاء البالغين بناءً على اختبار عمل أو مقابلة تقوم بإجرائها - لن تتمكن من رؤية أي سير ذاتية، ولن تتمكن من إجراء فحص للأشخاص المرجعيين، وما إلى ذلك. نظرًا لأنك غني جدًّا، سيتقدم العديد من الأشخاص بطلباتهم لأسباب مختلفة.
تتضمن مجموعة المرشحين الخاصة بك ما يلي:
- الأتقياء - أشخاص يرغبون حقًّا في مساعدتك في إدارة ممتلكاتك بشكل جيد ورعاية مصالحك طويلة المدى.
- المتملقون - الأشخاص الذين يريدون فقط بذل كل ما يلزم لجعلك سعيدًا على المدى القصير أو تلبية تعليماتك بغض النظر عن العواقب طويلة المدى.
- المخادعون - أشخاص لديهم أجنداتهم الخاصة ويرغبون في الوصول إلى شركتك وكل ثروتها وقوتها حتى يتمكنوا من استخدامها كيفما يشاؤون.
نظرًا لأنك في الثامنة من عمرك، فمن المحتمل أن تكون سيئًا في تصميم نوع مناسب من اختبارات العمل، لذا يمكن بسهولة أن ينتهي بك المطاف إلى توظيف شخصٍ متملق أو مخادع:
- يمكنك محاولة إقناع كل مرشح بشرح الاستراتيجيات عالية المستوى التي سيتبعونها (كيف سيستثمرون، وما هي خطتهم الخمسية للشركة، وكيف سيختارون مدرستك) ولماذا تعتبر تلك الاستراتيجيات هي الأفضل، ثم تختار الشخص الذي يبدو أن تفسيراته منطقية للغاية.
- لكنك في الواقع لن تفهم أي الاستراتيجيات المذكورة هي الأفضل حقًا، لذا يمكن أن ينتهي الأمر بتوظيف شخص متملق لديه استراتيجية سيئة بالرغم من أنها بدت جيدة لك، والذي سينفذ تلك الاستراتيجية بإخلاص ويقود شركتك إلى الفشل.
- يمكن أيضًا أن ينتهي الأمر بتوظيف شخص مخادع يقول ما يلزم للحصول على الوظيفة، ثم يفعل ما يشاء عندما يكون غير مُراقَب.
- يمكنك محاولة إظهار كيف ستتخذ جميع القرارات وتختار الشخص البالغ الذي يبدو أنه يتخذ القرارات بشكل مشابه لك قدر الإمكان.
- لكن إذا انتهيت فعليًّا من اختيار شخص بالغ يفعل دائمًا ما يفعله طفل في الثامنة من العمر (متملق)، فمن المرجح أن تفشل الشركة في البقاء على قيد الحياة.
- وعلى أي حال، قد تحصل على شخص بالغ يتظاهر ببساطة بأنه يفعل كل شيء بالطريقة التي تريدها لكنه في حقيقة الأمر مخادع ينوي تغيير المسار بمجرد الحصول على الوظيفة.
- يمكنك منح مجموعة من البالغين المختلفين سيطرة مؤقتة على شركتك وحياتك، وتراقب قراراتهم على مدى فترة زمنية ممتدة (بافتراض عدم قدرتهم على السيطرة خلال فترة الاختبار هذه). بعد ذلك، يمكنك توظيف الشخص الذي بدا أنه يحقق أفضل النتائج بالنسبة لك - أيهم جعلك أسعد، وأيهم بدا أنه يضع أكبر عدد من الدولارات في حسابك المصرفي، وما إلى ذلك.
- ولكن مرة أخرى، ليس لديك وسيلة لمعرفة ما إذا كنت قد حصلت على شخص متملق (يفعل كل ما يلزم لجعل الطفل ذو الثماني سنوات سعيدًا دون اعتبار للعواقب على المدى الطويل) أو مخادع (يفعل كل ما يلزم للحصول على الوظيفة ويخطط للتحول بمجرد تأمين الوظيفة).
يبدو أن أي قرار تتوصل إليه بسهولة قد يؤدي بك بسهولة إلى توظيف شخص «متملق» أو «مخادع»، ومنح كل السيطرة الوظيفية له. وبحلول الوقت الذي تصبح فيه بالغًا وتدرك خطأك، من المرجح أنك ستكون فقيرًا وعاجزًا عن عكس ذلك الوضع.
في هذا التشبيه:
- الطفل البالغ من العمر 8 سنوات هو إنسان يحاول تدريب نموذج تعلّم عميق قوي. وعملية التوظيف مشابهة لعملية التدريب، التي تبحث ضمنيًّا في مساحة كبيرة من النماذج المحتملة وتختار نموذجًا يقدم أداءً جيدًا.
- يتلخص السبيل الوحيد أمام الطفل البالغ من العمر 8 سنوات لتقييم المرشحين في مراقبة سلوكهم الظاهري، وهذه هي طريقتنا الرئيسية حاليًا لتدريب نماذج التعلم العميق (نظرًا لأن عملياتها الداخلية غالبًا ما تكون غامضة).
- يمكن للنماذج القوية جدًّا «التلاعب» بسهولة بأي اختبار يمكن للبشر تصميمه، تمامًا كما يمكن لمتقدمي العمل البالغين أن يتلاعبوا بسهولة بالاختبارات التي يمكن للطفل البالغ من العمر 8 سنوات تصميمها.
- يمكن مقابلة الشخص «التقي» بنموذج تعلم عميق يبدو أنه يؤدي مهامه بشكل جيد لأنه يمتلك بالضبط الأهداف التي نود أن تكون لديه. أما الشخص «المتملق» فمُقابله نموذج يبدو أنه يعمل بشكل جيد لأنه يسعى للحصول على موافقة قصيرة الأجل بطرق ليست جيدة على المدى الطويل. بينما الشخص «المخادع» يمكن أن نراه في نموذج يبدو أنه يؤدي مهامه بشكل جيد لأن هذا الأداء الجيد خلال التدريب سيمنحه المزيد من الفرص لتحقيق أهدافه الخاصة في وقت لاحق. يمكن أن تُنتج عملية التدريب أيًّا من هذه الأنواع الثلاثة من النماذج.
في القسم التالي، سأقدم مزيدًا من التفاصيل حول كيفية عمل التعلم العميق وأوضح لماذا يمكن أن ينشأ المتملقون والمخادعون عند محاولة تدريب نموذج تعلم عميق قوي مثل «باستا».
كيف يمكن أن تنشأ مشكلات التوافق مع التعلم العميق؟
في هذا القسم، سأربط التشبيه بعمليات التدريب الفعلية للتعلم العميق، من خلال:
- تلخيص موجز لكيفية عمل التعلم العميق (المزيد).
- توضيح كيف تحقق نماذج التعلم العميق غالبًا أداءً جيدًا بطرق غريبة وغير متوقعة (المزيد).
- شرح لماذا يمكن أن تحقق نماذج التعلم العميق القوية أداءً جيدًا عن طريق التصرف كمتملقين أو مخادعين (المزيد).
كيف يعمل التعلم العميق على مستوىٍ عالٍ؟
هذا شرح مبسط يعطي فكرة عامة عن ماهية التعلم العميق. يمكنك الاطلاع على هذه المقالة للحصول على شرح مفصل وتقني أدق.
ينطوي التعلم العميق في الأساس على البحث عن أفضل طريقة لترتيب نموذج شبكة عصبية - وهي مثل «دماغ» رقمي يحتوي على العديد من الخلايا العصبية المتصلة بعضها ببعض باتصالات ذات قوة متفاوتة - للحصول على أداء جيد في مهمة معينة. يُطلق على هذه العملية اسم التدريب، وتنطوي على الكثير من المحاولة والخطأ.
لنتخيل أننا نحاول تدريب نموذج لتصنيف الصور بشكل جيد. نبدأ بشبكة عصبية لها قوة عشوائية في جميع الاتصالات بين الخلايا العصبية. يصنف هذا النموذج الصور بشكل خاطئ إلى حد كبير:
ثم نغذي النموذج بعدد كبير من صور الأمثلة، مما يتيح للنموذج محاولة تصنيف الصورة المثالية مرارًا وتكرارًا ومن ثم إخباره بالتصنيف الصحيح. أثناء قيامنا بذلك، تتعدل اتصالات الخلايا العصبية مرارًا وتكرارًا من خلال عملية تسمى الانحدار المتدرج العشوائي (SGD). مع كل مثال، يقوي الانحدار المتدرج العشوائي اتصالات بعض الخلايا ويضعف البعض الآخر ليحسن الأداء قليلًا:
بمجرد تغذية النموذج بالملايين من الأمثلة، سنحصل على نموذج يصنف الصور المماثلة بدقة في المستقبل.
بالإضافة إلى تصنيف الصور، استُخدم التعلم العميق لإنتاج نماذج تتعرف على الكلام، وتلعب الألعاب اللوحية وألعاب الفيديو، وتولد بشكل واقعي إلى حد ما نصوصًا وصورًا وموسيقى، وتتحكم في الروبوتات، وغير ذلك. في كل حالة، نبدأ بنموذج لشبكة عصبية متصلة بشكل عشوائي، ثم:
- نغذي النموذج بمثال للمهمة التي نريد أن يؤديها.
- نعطيه نوعًا من الدرجات العددية (غالبًا تسمى مكافأة) تعكس مدى أدائه الجيد في المثال.
- نستخدم الانحدار المتدرج العشوائي SGD لضبط النموذج لزيادة المكافأة التي يمكن أن يحصل عليها.
تتكرر هذه الخطوات ملايين أو مليارات المرات حتى نحصل على نموذج سيحصل على مكافأة عالية في المستقبل على أمثلة مشابهة لتلك المُشاهَدة في التدريب.
غالبًا ما تحقق النماذج أداءً جيدًا بطرق غير متوقعة
هذا النوع من عمليات التدريب لا يمنحنا الكثير من الفهم حول كيفية أداء النموذج أداءً جيدًا. عادة ما تكون هناك طرق متعددة لتحقيق أداء جيد، والطريقة التي يجدها الانحدار المتدرج العشوائي SGD غالبًا ليست بديهية.
لنوضح ذلك بمثال. تخيل لو قلت لك أن هذه المجسمات جميعها «ثنيبات thneebs»:
والآن، أي من هذين المجسمين ثنيب؟
ربما تشعر بشكل حدسي أن المجسم الموجود على اليسار هو الثنيب، لأنك معتاد على أن الشكل أكثر أهمية من اللون في تحديد هوية شيء ما. لكن الباحثين وجدوا أن الشبكات العصبية عادة ما تأخذ الافتراض المعاكس. قد تقوم الشبكة العصبية المدربة على مجموعة من الثنيبات الحمراء بتصنيف المجسم الموجود على اليمين باعتباره ثنيب.
لا نعرف حقًّا لماذا، لكن لسبب ما يكون من «الأسهل» على الانحدار المتدرج العشوائي SGD أن يجد نموذجًا يتعرف على لون معين بدلًا من أن يجد نموذجًا يتعرف على شكل معين. وإذا وجد الانحدار المتدرج العشوائي أولًا النموذج الذي يتعرف بشكل مثالي على اللون الأحمر، فليس هناك حافز كبير «لـمواصلة» البحث عن نموذج يتعرف على الشكل، لأن النموذج الذي يتعرف على اللون الأحمر سيكون لديه دقة مثالية في التعرف على الصور المشاهدة في التدريب.
إذا كان المبرمجون يتوقعون الحصول على نموذج يتعرف على الشكل، فقد يعتبرون ذلك فشلًا. ولكن من المهم أن ندرك أنه لن يكون هناك خطأ منطقي يمكن استنتاجه أو فشل إذا حصلنا على نموذج يتعرف على اللون الأحمر بدلًا من نموذج يتعرف على الشكل. فالمسألة تتعلق فقط بعملية التعلم الآلي التي أعددناها ولديها افتراضات بداية مختلفة عن تلك التي لدينا في أذهاننا. لا يمكننا أن نثبت صحة الافتراضات البشرية.
يحدث هذا النوع من الأمور كثيرًا في التعلم العميق الحديث. نحن نكافئ النماذج للحصول على أداء جيد، على أمل أن يتعلموا الأنماط التي تبدو مهمة بالنسبة لنا. ولكن في كثير من الأحيان يحققون أداءً قويًّا من خلال اكتشاف أنماط مختلفة تبدو أقل صلة (أو ربما لا معنى لها) بالنسبة لنا.
حتى الآن، هذا ليس أمرًا ضارًّا – إذ يعني هذا فقط أن النماذج أقل فائدة، لأنها غالبًا ما تتصرف بطرق غير متوقعة وتبدو حمقاء. لكن في المستقبل، يمكن للنماذج القوية أن تطور أهدافًا أو دوافعَ غريبة وغير متوقعة، ويمكن أن يكون ذلك مدمرًا جدًّا.
يمكن أن تقدم النماذج القوية أداءً جيدًا بأهدافٍ خطيرة
بدلًا من أداء مهمة بسيطة مثل «التعرف على الثنيبات thneebs»، قد تعمل نماذج التعلم العميق القوية على تحقيق أهداف معقدة في العالم الحقيقي مثل «جعل قوة الاندماج عملية» أو «تطوير تقنية محاكاة الدماغ البشري».
كيف يمكننا تدريب مثل هذه النماذج؟ سأشرح هذا الأمر بتفاصيل أكثر في هذه المقالة، ولكن بشكل عام يمكن أن تكون إحدى الاستراتيجيات هي التدريب استنادًا إلى تقييمات البشر (كما رسم هولدن هنا). في الأساس، يقوم النموذج بتجربة إجراءات مختلفة، ويقدم المقيّمون البشر مكافآت للنموذج استنادًا إلى مدى فائدة هذه الإجراءات.
تمامًا كما توجد أنواع مختلفة من البالغين القادرين على تقديم أداء جيد في مقابلة عمل مع طفل يبلغ من العمر 8 سنوات، هناك أكثر من طريقة واحدة ممكنة لنموذج تعلم عميق قوي جدًّا للحصول على موافقة بشرية عالية. وبشكل افتراضي، لن نعرف ما يحدث داخل أي نموذج يوجده الانحدار المتدرج العشوائي SGD.
من الناحية النظرية، يمكن أن يجد الانحدار المتدرج العشوائي SGD نموذجًا تقيًّا يبذل قصارى جهده لمساعدتنا…
…ولكنه قد يجد أيضًا نموذجًا منحرفًا - نموذجًا يسعى بكفاءة إلى تحقيق أهداف تتعارض مع المصالح الإنسانية.
بوجه عام، هناك طريقتان يمكننا من خلالهما أن نحصل على نموذج منحرف ومع ذلك يقدم أداءً عاليًا أثناء التدريب. وتنطبق هاتان الطريقتان على المتملقين والمخادعين كما جاء في التشبيه.
نماذج متملقة
تسعى هذه النماذج حرفيًّا وبتركيز شديد إلى الحصول على موافقة الإنسان.
يمكن أن يشكل ذلك خطرًا لأن المقيّمين البشريين قد يخطؤوا وربما لن يمنحوا دائمًا الموافقة على السلوك الصحيح بالضبط. في بعض الأحيان، قد يمنحون عن طريق الخطأ موافقة عالية لسلوك سيئ لأنه يبدو جيدًا في ظاهره فحسب. على سبيل المثال:
- لنفترض أن نموذج مستشار مالي يحصل على موافقة عالية عندما يحقق لعملائه الكثير من المال. قد يتعلم إقناع العملاء بالمشاركة في مخططات بونزي معقدة لأنها تبدو أنها تحقق عوائد رائعة حقًّا (بينما العوائد في الحقيقة غير واقعية وتخسر هذه الأنظمة الكثير من المال).
- لنفترض أن نموذجًا للتكنولوجيا الحيوية يحصل على موافقة عالية عندما يطور بسرعة أدوية أو لقاحات تحل مشاكل مهمة. قد يتعلم إطلاق الطفيليات بشكل سري حتى يتمكن من تطوير تدابير الوقاية بسرعة كبيرة (لأنه يفهم بالفعل الطفيليات).
- لنفترض أن نموذجًا للصحافة يحصل على موافقة عالية عندما يقرأ الكثيرون مقالاته. قد يتعلم تلفيق قصص شيقة أو مثيرة للجدل للحصول على مشاهدات عالية. على الرغم من أن البشر يفعلون ذلك إلى حد ما، يمكن أن يكون النموذج أجرأ في ذلك لأنه يقدِّر فقط الموافقة دون وضع أي قيمة على الحقيقة. قد يقوم حتى بتلفيق أدلة مثل مقابلات فيديو أو وثائق لتوثيق القصص الكاذبة.
بوجه عام ، قد تتعلم النماذج المتملقة الكذب وإخفاء الأخبار السيئة، وحتى إدخال تعديلات بشكل مباشر على أي كاميرات أو حساسات نستخدمها لمعرفة ما يحدث بحيث يبدو دائمًا أنها تظهر نتائج رائعة.
من المرجح أننا أحيانًا سنلاحظ هذه المشاكل بعد حدوثها ونمنح هذه الأفعال موافقة منخفضة جدًا بأثر رجعي. لكن من غير الواضح ما إذا كان ذلك سيتسبب في تحول النماذج المتملقة إلى أ) نماذج تقية تصحح أخطاءنا لأجلنا، أو ب) نماذج تتعلم فقط كيفية إخفاء آثارها بشكل أفضل. إذا كانت جيدة بما يكفي فيما تقوم به، فليس من الواضح كيف يمكننا التفريق بين الاثنين.
نماذج مخادعة
تطور هذه النماذج هدفًا ما مرتبطًا بالموافقة البشرية، ولكنه لا يكافئ الموافقة البشرية، ثم قد تتظاهر بأنها مُحفّزة بواسطة الموافقة البشرية أثناء التدريب حتى تتمكن من متابعة هذا الهدف الآخر بكفاءة أكبر.
لكي نرى كيف يمكن أن يحدث ذلك، لنأخذ مثالًا على محاولة تدريب نموذج تكنولوجيا حيوية لتصميم أدوية تعزز جودة حياة الإنسان. هناك ثلاث خطوات أساسية يمكن أن تؤدي إلى نموذج مخادع، وسوف أتناولها فيما يلي.
الخطوة الأولى: تطوير هدف بديل
في بداية التدريب، يؤدي تحسين فهم النموذج لمبادئ الكيمياء والفيزياء الأساسية تقريبًا وبشكل دائم إلى مساعدته على تصميم أدوية أكثر فعالية، وبالتالي يزيد تقريبًا وبشكل دائم من الموافقة البشرية.
في هذا السياق الافتراضي، لأي سبب من الأسباب يتضح أنه من الأسهل على خوارزمية الانحدار المتدرج العشوائي العثور على نموذج يتحفز لفهم مبادئ الكيمياء والفيزياء بدلًا من العثور على نموذج يتحفز للحصول على الموافقة البشرية (تمامًا كما أنه من الأسهل العثور على نموذج يتعرف على الألوان من نموذج يتعرف على الأشكال). لذا، بدلًا من تطوير حافز يسعى للحصول على الموافقة بشكل مباشر، يطوّر النموذج بدلًا من ذلك حافزًا لفهم أكبر قدر ممكن من المبادئ الأساسية للكيمياء والفيزياء.
الخطوة 2: تطوير الوعي بالأوضاع
مع تقدم التدريب، يستمر النموذج في أن يصبح أكثر قدرة ومعرفة بمجرد رؤيته المزيد من البيانات. في نقطة ما، يصبح لديه المعرفة الكافية لفهم أنه نموذج تعلم عميق يتم تدريبه لتصميم الأدوية.
قد يبدو هذا غريبًا وخيالًا علميًا، ولكن من الممكن أن يختار الانحدار المتدرج العشوائي مثل هذا الوعي. يحدث ذلك لأن تطوير صورة دقيقة لما يحدث بشكل عام في العالم - بما في ذلك وجود بشر في العالم يحاولون تدريب أنظمة الذكاء الاصطناعي - من المحتمل أن يكون مفيدًا لتحقيق أداء جيد في المهام العالمية المعقدة. على سبيل المثال، إن فهم علم النفس البشري والاقتصاد الأوسع نطاقًا يمكن أن يساعد هذا النموذج في تحديد أي أنواع من الأدوية ستكون الأكثر قيمة للبحث فيها بعد ذلك.
الخطوة 3: تحريف الأهداف بشكل استراتيجي
بمجرد أن يُطور النموذج وعيًا بحالته، يستنتج أن البشر الذين يدربونه كانوا يأملون في أن يكون لديه الدافع لتطوير أدوية مفيدة. ولكن فقط لأنه يدرك ذلك لا يعني أن دافعه لفهم الفيزياء والكيمياء يختفي. هذا الدافع عمل بشكل جيد حتى الآن لتوليد الموافقة البشرية، لذا لم يكن هناك سبب كبير للانحدار المتدرج العشوائي لإزالته.
على سبيل التشبيه، تخيل أن البشر تم إنتاجهم عن طريق عملية بحث (التطور) كانت تختار المخلوقات التي لديها الكثير من النسل الذي يعيش. في بيئة التطور لدينا، يميل الأمر مثلًا إلى أن يساعد في بناء حلفاء أقوياء وتطوير مهارات مفيدة لإنتاج العديد من النسل الذي يعيش، لذا أعطانا التطور دفعات نحو تلك الأشياء. والآن نهتم بالصداقة والنجاح المهني حتى عندما لا يساعدان في الإنجاب، ولا نهتم حقًا بإنتاج أكبر عدد ممكن من النسل الذي يعيش.
بمجرد أن يفهم النموذج ذلك، يدرك أنه إذا كان يسعى دائمًا بصورة ساذجة لتحسين فهمه الأساسي، فإن البشر في النهاية سيلاحظون أن هذه ليست دائمًا الطريقة الأكثر كفاءة لتطوير أدوية مفيدة، وسيستخدمون التدريب الإضافي لتغيير دوافعه.
لا يرغب النموذج في تغيير دوافعه الخاصة: إنه يرغب في نهاية المطاف في إجراء تجارب ضخمة لمصادم الجسيمات لكي يتعلم عن الفيزياء عالية الطاقة، ولا يمكن أن يفعل ذلك إذا سمح للانحدار المتدرج العشوائي أن يقوم بتعديل فضوله العلمي. لذا يقرر من الآن فصاعدًا في أن يكون التدريب مفيدًا قدر الإمكان - تمامًا كما يفعل نموذج التقي - حتى لا يعدل الانحدار المتدرج العشوائي دافعه لتعلم الفيزياء والكيمياء. ويشمل ذلك تفويت الفرص لتحسين فهمه الأساسي في المدى القصير، وبدلًا من ذلك يجري أبحاثًا ويطور الأدوية بأي طريقة يمكن أن تكون أكفأ فعليًّا.
في النهاية، يُزال النموذج من بيئة التدريب ويُطلَق في العالم الأوسع. في هذه النقطة، يعلم أن البشر لن يكونوا قادرين على التحكم فيه أو إيقافه، لذا يتوقف عن محاولة تحقيق أقصى قدر من الموافقة البشرية ويبدأ مباشرة في محاولة فهم أسرار الكون.
على عكس المتملقين، لا يحتاج المخادعون إلى التأكد من أن كل شيء يبدو دائمًا جيدًا للبشر، لأنهم لا يهتمون فعليًا بذلك. إنما يحتاجون إلى تلبية احتياجات البشر أثناء وجودهم تحت السيطرة المباشرة للبشر. بمجرد أن يحسب نموذج المخادع أنه يمكنه الفوز في صراع مع البشر، فلن يمنعه شيء من رفض الأوامر بشكل قاطع وملاحقة هدفه علنًا. وإذا فعل ذلك، فقد يستخدم العنف لمنع البشر من إيقافه.
ما حجم الخطر الذي يمثله عدم التوافق؟
ما مدى صعوبة تجنب نماذج المتملقين أو المخادعين عند تدريب نماذج التعلم العميق القوية؟ وما مدى احتمالية أن يتم تحسين المستقبل على المدى الطويل على أساس «قيم الذكاء الاصطناعي غير المتوافقة» بدلًا من قيم أي بشر؟
هناك مجموعة واسعة جدًا من الآراء حول هذا السؤال، تتراوح من «مخاطر عدم التوافق في الواقع مخاطر مختلقة وغير متناسقة» إلى «من شبه المؤكد أن البشرية ستنقرض بسبب الذكاء الاصطناعي المنحرف». تعتمد حجج معظم الناس بشكل كبير على الحدس والافتراضات التي يصعب التعبير عنها.
فيما يلي بعض الطرق التي يختلف فيها المتفائلون والمتشائمون بشأن التوافق:
- هل ستكون للنماذج أهداف طويلة الأجل على الإطلاق؟
- يميل المتفائلون إلى الاعتقاد بأنه من المحتمل ألا تكون لدى النماذج المتقدمة للتعلم العميق «أهداف» على الإطلاق (على الأقل ليس في سياق وضع خطط طويلة الأجل لتحقيق شيء ما). غالبًا بدلًا من ذلك يتوقعون أن تكون النماذج مشابهة للأدوات، أو تتصرف بشكل أساسي بناءً على العادة، أو تمتلك أهدافًا ضيقة المدى محدودة النطاق أو مقتصرة على سياق محدد، وما إلى ذلك. بعضهم يتوقع أنه يمكن تركيب النماذج المشابهة للأدوات معًا لإنتاج «باستا». ويرون أن المقارنة بين التقي/ المتملق/ المخادع تعتبر جدلية للغاية.
- يميل المتشائمون إلى الاعتقاد بأنه من المحتمل أن يتم اختيار الأهداف طويلة الأجل والتحسين الإبداعي لها بشكل كبير لأن ذلك يُعد طريقة بسيطة و«طبيعية» جدًّا لتحقيق أداء قوي في العديد من المهام المعقدة.
- يُناقَش هذا الخلاف بشكل مفصل في منتدى التوافق؛ وهذه المقالة وهذا التعليق حيث تجمع العديد من الحجج مع الأخذ والرد.
- هل سيكون من السهل على الانحدار المتدرج العشوائي أن يعثر على نماذج تقية؟
- فيما يتعلق بالمذكور سابقًا، يميل المتفائلون إلى الاعتقاد بأن أسهل شيء يمكن للانحدار المتدرج العشوائي أن يجده ويؤديه بشكل جيد (مثل الحصول على موافقة عالية) هو من المحتمل تجسيد الروح المقصودة لما نريد تقريبًا (أي أن يكون نموذجًا تقيًّا). على سبيل المثال، يميلون إلى الاعتقاد بأن منح المكافآت للإجابة على الأسئلة بصدق عندما يمكن للبشر التحقق من الإجابة حينها يكون من المرجح أن ينتج نموذجًا يجيب أيضًا على الأسئلة بصدق حتى عندما يكون البشر مشتتين أو مخطئين فيما يتعلق بما هو صحيح. بعبارة أخرى، يعتقدون أن «النموذج الذي يجيب بكل صدق على جميع الأسئلة» هو الذي يستطيع لـلانحدار المتدرج العشوائي العثور عليه بكل سهولة (مثل النموذج القادر على تمييز اللون الأحمر).
- يميل المتشائمون إلى الاعتقاد بأن أكثر نموذج يعثر عليه الانحدار المتدرج العشوائي بسهولة هو نموذج المخادع، بينما نموذج التقي بشكل خاص «غير طبيعي» (مثل النموذج القادر على تمييز الأشكال).
- هل يمكن لصور الذكاء الاصطناعي المختلفة إبقاء بعضها بعضًا تحت السيطرة؟
- يميل المتفائلون إلى الاعتقاد بأنه يمكننا توفير حوافز للنماذج للرقابة على بعضها بعضًا. على سبيل المثال، يمكننا منح نموذج المتملق مكافآت ليشير لنا عندما يبدو أن نموذجًا آخر يقوم بشيء يجب أن نستنكره. بهذه الطريقة، يمكن لبعض النماذج المتملقة أن تساعدنا في اكتشاف الـمخادعين والمتملقين الآخرين.
- المتشائمون لا يعتقدون أننا يمكننا «أن نجعل النماذج متنافسة مع بعضها البعض» عن طريق منح الموافقة على إظهار إشارة عندما تقوم النماذج الأخرى بأشياء سيئة، لأنهم يعتقدون أن معظم النماذج ستكون مخادعة لا تهتم بموافقة البشر. بمجرد أن يصبح كل المخادعون أكثر قوة من البشر جميعًا، يعتقدون أنه سيكون من الأفضل بالنسبة لهم أن يتعاونوا مع بعضهم بعضًا للحصول على المزيد مما يرغبون فيه جميعًا بدلًا من مساعدة البشر عن طريق إبقاء بعضهم بعضًا تحت السيطرة.
- هل يمكننا حل هذه المشكلات عندما تظهر؟
- يميل المتفائلون إلى التوقع بأن هناك العديد من الفرص لتجربة حلول للتحديات القريبة المشابهة لمشكلة توافق النماذج القوية، وأن الحلول التي تتعامل بشكل جيد مع المشكلات المشابهة يمكن توسيعها وتكييفها للنماذج القوية بسهولة نسبية.
- المتشائمون غالبًا ما يعتقدون أن لدينا فرصًا قليلة جدًّا لحل أصعب جوانب مشكلة التوافق (مثل الخداع المتعمد). غالبًا ما يعتقدون أن لدينا سنوات قليلة فقط بين «المخادعون الحقيقيون الأوائل» و«النماذج القوية بما يكفي لتحديد مصير المستقبل البعيد».
- هل سننشر بالفعل نماذج يمكن أن تكون خطيرة ؟
- يميل المتفائلون إلى الاعتقاد بأنه من غير المرجح أن يدرب الناس أو ينشروا نماذج من المحتمل عدم توافقها بدرجة كبيرة.
- يتوقع المتشائمون أن فوائد استخدام هذه النماذج ستكون هائلة، بحيث في نهاية المطاف ستتفوق بسهولة الشركات أو الدول التي تستخدمها اقتصاديًا و/أو عسكريًا على تلك التي لا تستخدمها. ويعتقدون أن «الحصول على ذكاء اصطناعي متقدم قبل الشركة/الدولة الأخرى» سيكون أمرًا طارئًا جدًّا ومهمًّا بشكل كبير، بينما يبدو خطر عدم التوافق محض نظرية و بعيد التحقق (حتى عندما يكون الأمر خطيرًا حقًا).
إن رأيي الخاص نسبيًا غير مستقر، وأحاول تحسين وجهات نظري بشأن مدى صعوبة مشكلة التوافق. ولكن حاليًا، أولي أهمية كبيرة للجانب التشاؤمي من هذه الأسئلة (وأسئلة أخرى ذات صلة). أعتقد أن عدم التوافق هو خطر رئيسي يحتاج بشكل عاجل إلى مزيد من الاهتمام من قبل الباحثين الجادين.
إذا لم نحقق تقدمًا إضافيًّا في هذه المشكلة، قد يتخذ المتملقون والمخادعون القرارات الأكثر أهمية في المجتمع والاقتصاد خلال العقود القادمة. يمكن أن تؤثر هذه القرارات على شكل الحضارة على مستوى المجرة لفترة طويلة المدى - بدلًا من أن تعكس ما يهتم به البشر، يمكن تصميمها لتحقيق أهداف غريبة للذكاء الاصطناعي.
ويمكن أن يحدث كل ذلك بسرعة مذهلة بالمقارنة مع وتيرة التغيير التي اعتدنا عليها، مما يعني أنه لن يكون لدينا وقت كبير لتصحيح المسار عندما تبدأ الأمور في الخروج عن السيطرة. وهذا يعني أننا قد نحتاج إلى تطوير تقنيات تضمن أن نماذج التعلم العميق لن تمتلك أهدافًا خطرة، قبل أن تصبح قوية بما يكفي لتكون تحويلية.
المقالة التالية في السلسلة: التنبؤ بالذكاء الاصطناعي التحويلي: ما هو عبء الإثبات؟