أخذ قضية تهديد الذكاء الاصطناعي للبشرية على محمل الجد
صَّرح ستيفن هوكينج ذات مرة بأن تطوير أنظمة ذكاء اصطناعي كامل قد يهدد بقاء الجنس البشري. كما يدعي إيلون ماسك أن الذكاء الاصطناعي هو «أكبر تهديد وجودي للبشرية».
قد يندهش بعض الناس من هذه التصريحات. ولكن مثل هذه المخاوف الكبرى متأصلة في الأبحاث. وإلى جانب هوكينج وماسك، هناك العديد من الشخصيات البارزة في جامعات أكسفورد وكاليفورنيا (بركلي) والعديد من الباحثين العاملين في الذكاء الاصطناعي الذين يعتقدون بأنَّ انتشار أنظمة الذكاء الاصطناعي المتطورة دون حرص، قد يؤدي إلى حرمان البشرية من مستقبل مزدهر بصورة نهائية.
أُثير هذا القلق منذ ظهور الحاسوب. ولكنه أصبح موضع تركيز خاص في السنوات الأخيرة، فالتطورات في مجال تعلم الآلة ساهمت في فهمٍ ما يمكننا تحقيقه باستخدام الذكاء الاصطناعي بصورة أكثر واقعية، وما يمكن أن يفعله الذكاء الاصطناعي لنا (وبنا) وكيفية وجود الكثير من الأشياء التي لم ندركها بعد.
كما يوجد المتشككون في أمر هذه المخاوف أيضًا. إذا يعتقد البعض منهم أن الذكاء الاصطناعي المتطور لا يزال أمرًا بعيد المنال ولا جدوى للقلق بشأنه الآن. بينما يشعر آخرون بالقلق أن الدعاية المبالغ فيها حول قوة هذا المجال قد يقضي عليه قبل الأوان. وحتى بين الأشخاص الذين يتفقون بشكل عام على أن الذكاء الاصطناعي يشكل خطرًا فريدًا ، هناك آراءً متباينة حول الخطوات المنطقية التي يجب اتخاذها في الوقت الحالي.
إن الحديث حول الذكاء الاصطناعي مليء بالحيرة والمعلومات المضللة، ويتجاهل الناس آراء بعضهم البعض - يرجع ذلك إلى حد كبير إلى كوننا نستخدم مصطلح «الذكاء الاصطناعي» للإشارة إلى عدة أشياء مختلفة. لذلك إليكم الصورة الكبيرة حول كيف يمكن للذكاء الاصطناعي أن يشكل خطرًا كارثيًا، ملخصة في تسعة أسئلة:
1. ما هو الذكاء الاصطناعي؟
الذكاء الاصطناعي هو الجهود الرامية إلى إنشاء أجهزة حاسوب ذات سلوك ذكي. إنه مصطلح شامل وواسع، يستخدم للإشارة إلى كل شيء بدءًا من Siri إلى IBM’s Watson إلى التقنيات القوية التي لم نخترعها بعد.
يفرق بعض الباحثين بين «أنظمة الذكاء الاصطناعي الضيق» - وهي أنظمة تتفوق على البشر في مجالات محددة وواضحة مثل لعب الشطرنج أو توليد الصور أو تشخيص الإصابة بالسرطان - وبين أنظمة «الذكاء الاصطناعي العام»، التي تتفوق على القدرات البشرية في مختلف المجالات. لا نملك ذكاءً اصطناعيًّا عامًّا بعد، لكننا بدأنا في فهم التحديات التي سيشكلها بشكل أفضل.
شهد الذكاء الاصطناعي الضيق تقدمًا استثنائيًا خلال السنوات القليلة الماضية. حيث تحسنت أنظمة الذكاء الاصطناعي بشكل جذري في الترجمة، وفي ألعاب مثل الشطرنج وGo، وفي المسائل البحثية البيولوجية الهامة مثل التنبؤ بكيفية طي البروتينات، وفي توليد الصور أيضًا. كما أنَّ أنظمة الذكاء الاصطناعي هي التي تحدد ما سيظهر لك في محرك بحث جوجل أو على Facebook. وتستطيع هذه الأنظمة تأليف الموسيقى وكتابة مقالات كما لو كانت من تأليف إنسان. كما تستطيع لعب الألعاب الإستراتيجية. ويجري تطويرها أيضًا لتحسين استهداف الطائرات بدون طيار ورصد الصواريخ.
ولكن الذكاء الاصطناعي الضيق يصبح أقل ضيقًا. ففي السابق، كنا نحقق التقدم في الذكاء الاصطناعي عن طريق تعليم أنظمة الحاسوب مفاهيم محددة بجهد كبير. ولكي نحقق الرؤية الحاسوبية - أي السماح للحاسوب بالتعرف على الأشياء في الصور ومقاطع الفيديو - اضطر الباحثون لكتابة خوارزميات للكشف عن الحواف. ولعب الشطرنج، فبرمجوا طرق حل المشكلات في الشطرنج مثلًا. ولتحقيق معالجة اللغة الطبيعية (التعرف على الكلام، والنسخ، والترجمة، وما إلى ذلك)، استعانوا بمجال علم اللغة.
ولكن في الآونة الأخيرة، تطورت قدراتنا في إنشاء أنظمة حاسوب ذات قدرات تعليمية عامة. فبدلًا من الوصف الرياضي المفصل لمشكلة ما، أصبحنا نسمح لنظام الحاسوب بتعلم هذا بمفرده. وبينما كنا نعتبر الرؤية الحاسوبية كشيء منفصل عن معالجة اللغة الطبيعية أو تشغيل الألعاب على المنصات، يمكننا الآن حل تلك المشكلات الثلاث بنفس النهج.
وفي الوقت الذي تتحسن فيه أجهزة الحاسوب في أداء مهام الذكاء الاصطناعي الضيق، فإنها تبدأ في إظهار قدرات أكثر عمومية. على سبيل المثال، تعد سلسلة GPT الشهيرة التابعة لشركة OpenAI التي هي إحدى أنظمة الذكاء الاصطناعي النصية، من أضيق أنظمة الذكاء الاصطناعي الضيقة، فهي فقط تتنبأ بالكلمة التالية في نص ما، بناءً على الكلمات السابقة ومجمل قواعد اللغة البشرية. ورغم ذلك، يمكنها الآن فرز الأسئلة إلى أسئلة واقعية أو غير واقعية ومناقشة العالم المادي (على سبيل المثال، الإجابة على أسئلة مثل المقارنة بين حجم الأجسام أو أي من خطوات عملية ما يجب أن تتحقق أولًا). ولكي تكون قدرات نظام الذكاء الاصطناعي جيدة جدًا في مهام التنبؤ بالنص الضيقة يجب أن يطور قدرات ليست ضيقة على الإطلاق في نهاية المطاف.
التطور الذي أحرزناه في الذكاء الاصطناعي أدى إلى تقدم هائل - كما أثار تساؤلات أخلاقية ملحة. فمثلًا عندما ندرب أجهزة الحاسوب على التنبؤ بالمجرمين الذين سيكررون جرائمهم، فإنه يستخدم مدخلات من نظم عدالة جنائية متحيزة ضد السود وذوي الدخل المنخفض - وبالتبعية فإن النتائج التي سيولدها ستكون متحيزة ضد هذه الفئات أيضًا. جعل المواقع الإلكترونية أكثر قابلية للإدمان يمكن أن يكون في صالح تحقيقك لإيرادات أكبر ولكن نتائجه ستكون سيئة بالنسبة لمستخدمي هذه المواقع. وتطوير برامج لكتابة تعليقات أو أخبار كاذبة مقنعة قد يؤدي إلى انتشارها على نطاق واسع، مما يزيد من صعوبة معرفة الحقيقة.
تقول روزي كامبل، العاملة في مركز الذكاء الاصطناعي المتوافق مع الإنسان التابع لجامعة كاليفورنيا في بيركلي، إن هذه أمثلة مصغرة من حجم القلق الكبير الذي ينتاب الخبراء بشأن الذكاء الاصطناعي العام في المستقبل. إن الصعوبات التي نواجهها اليوم مع الذكاء الاصطناعي الضيق لا تنبع من أنظمة الذكاء الاصطناعي الذي سينقلب ضدنا أو تعتبر البشر أقل شأنًا منهم. ولكنها تنبع من التباين بين ما نطلب من تلك الأنظمة تحقيقه وبين ما نريد منها تحقيقه بالفعل.
على سبيل المثال، عندما نطلب من نظام الذكاء الاصطناعي تحقيق درجة عالية في لعبة فيديو. فإننا نريد منه لعبها بشكل عادل وتعلم مهاراتها - ولكن إذا كان لديه فرصة لاختراق نظام النقاط مباشرةً، فإنه سيفعل ذلك. وبذلك فهو يعمل بشكل متوافق تمامًا مع المقياس الذي قدمناه له. لكننا لا نحقق ما أردناه.
بعبارة أخرى، مشاكلنا تنبع من مهارة الأنظمة في تحقيق الهدف الذي تعلمت السعي لتحقيقه؛ ولكن الهدف الذي تعلموه في بيئة التدريب ليس النتيجة التي نريدها بالفعل. وبالتالي فنحن نبني أنظمة لا نفهمها، مما يعني أننا لا يمكننا دائمًا التنبؤ بالسلوك الذي ستسلكه.
في الوقت الحالي الضرر محدود نظرًا لكون هذه الأنظمة محدودة للغاية. لكن هذا النمط يمكن أن تكون له عواقب وخيمة على البشر في المستقبل مع تقدم أنظمة الذكاء الاصطناعي.
2. هل من الممكن جعل الكمبيوتر ذكيًا كالإنسان؟
نعم، على الرغم من عدم امتلاك أنظمة الذكاء الاصطناعي الحالية ما يقارب هذا القدر من الذكاء.
يقول المثل الشائع عن الذكاء الاصطناعي أن «كل ما هو سهل صعب، وكل ما هو صعب سهل» فقيام أنظمة الذكاء الاصطناعي بعمليات حسابية معقدة في غمضة عين؟ أمر سهل. ولكن أن تنظر إلى صورة وتحدد إن كانت صورة كلب؟ أمر صعب (حتى وقت قريب جدًا).
الكثير من الأشياء التي يستطيع البشر فعلها لا تزال خارج نطاق سيطرة الذكاء الاصطناعي. على سبيل المثال، من الصعب تصميم نظام ذكاء اصطناعي قادر على استكشاف بيئة غير مألوفة، ويمكنه شق طريق إلى مدخل مبنى لم يسبق له الدخول إليه من قبل، وصعود السلم إلى مكتب شخص معين. لقد بدأنا للتو في تعلم كيفية تصميم نظام ذكاء اصطناعي يقرأ كتابًا ويحتفظ ببعض المفاهيم.
النموذج الذي حقق العديد من أكبر الإنجازات في مجال الذكاء الاصطناعي مؤخرًا يُدعى «التعلم العميق». يمكن لأنظمة التعلم العميق تحقيق أشياء مذهلة: مثل هزيمتنا في الألعاب التي اعتقدنا سابقًا أن البشر لا يمكن أن يخسروها، وابتكار صور مقنعة وواقعية، وحل المشكلات المعلَّقة في البيولوجيا الجزيئية.
حثت هذه الاكتشافات بعض الباحثين على استنتاج أنه آن الآوان للبدء بالتفكير في مخاطر الأنظمة الأكثر قوة، ولكن بقيت بعض الشكوك متواجدة أيضًا. ويحاجج المتشائمون بشأن هذا المجال أن البرمجيات لا تزال بحاجة إلى مجموعة غير عادية من البيانات المنظمة للتعلم منها، وأنها تتطلب معايير مختارة بدقة، أو لا تعمل سوى في بيئات مصممة لتجنب المشاكل التي لا نعرف حلها بعد. ويستخدمون في حججهم السيارات ذاتية القيادة، التي لا تزال تقنية متواضعة في أفضل الظروف رغم المليارات التي أُنفِقت لجعلها أفضل.
من النادر، رغم كل ذلك، أن تجد باحثًا رائدًا في الذكاء الاصطناعي يعتقد أن تطوير الذكاء الاصطناعي العام مستحيل. وفي المقابل، تميل الشخصيات البارزة في المجال إلى الاعتقاد بأن ذلك سيحدث يومًا ما، ولكن ربما يكون في المستقبل البعيد.
ويجادل الباحثون الآخرون بأن ذلك اليوم قد لا يكون بعيدًا جدًا.
لأنه على مدار تاريخ الذكاء الاصطناعي بأكمله تقريبًا، ما أحجمنا بشكل كبير كان عدم امتلاكنا قوة حاسوبية كافية لاستيعاب أفكارنا بالكامل. فالعديد من الانجازات التي تحققت في الآونة الأخيرة - مثل أنظمة ذكاء اصطناعي تعلمت كيفية لعب الألعاب الاستراتيجية، وتوليد صور مزيفة للمشاهير، وطي البروتينات، والدخول في منافسات ألعاب إستراتيجية ضخمة متعددة اللاعبين - تحققت لأننا أصبحنا نمتلك القوة الحاسوبية الكافية. فالعديد من الخوارزميات التي بدت فاشلة في البداية تبين أنها تؤدي عملها بشكل جيد بمجرد أن نتمكن من تشغيلها بمزيد من القوة الحاسوبية.
كما تستمر تكلفة وحدة وقت الحوسبة في الانخفاض. لقد تباطأ التقدم في سرعة الحوسبة في الآونة الأخيرة، ولكن من المتوقع أن تنخفض تكلفة الطاقة الحاسوبية بمقدار 10 مرَّات كل عقد. وخلال معظم تاريخ الذكاء الاصطناعي، تمكن من الوصول إلى قوة حاسوبية أقل من القوة الحاسوبية للدماغ البشري. ووفقًا لمعظم التقديرات، فنحن نقترب حاليًا من عصر يتمكن فيه الذكاء الاصطناعي من امتلاك موارد حوسبة مثل الموجودة لدى البشر.
كما أن التعلم العميق، على عكس نُهج الذكاء الاصطناعي السابقة، مناسب جدًا لتطوير قدراته العامة.
أحد كبار الباحثين في مجال الذكاء الاصطناعي والمؤسس المشارك لشركة OpenAI، إيليا سوتسكيفر، قال لي «إن عدت بالزمن إلى الوراء ستجد أنهم قدموا الكثير من العروض التوضيحية الرائعة باستخدام تقنيات بسيطة من الذكاء الاصطناعي الرمزي. لم يتمكنوا أبدًا من توسيع نطاق هذه التقنيات، كما لم يتمكنوا من جعلها تحل مشكلات غير الألعاب. ولكن الآن مع التعلم العميق انقلب الوضع. …ليس [الذكاء الاصطناعي الذي نقوم بتطويره] عامًا فقط، ولكنه كفء أيضًا - فإذا أردت الحصول على أفضل النتائج في العديد من المشكلات الصعبة، فيجب عليك استخدام التعلم العميق. كما أنه قابل للتطوير.»
بعبارة أخرى، لم يكن هناك ما يستدعي القلق عندما كان فوز الذكاء الاصطناعي العام في لعبة الشطرنج يتطلب استخدام تقنيات مختلفة تمامًا عن الفوز في لعبة GO. ولكن الآن، ينتج نفس النهج أخبارًا أو موسيقى مزيفة على حسب نوع البيانات التي يتم تزويده بها. وبقدر ما يمكننا اكتشافه، تستمر البرمجيات في التحسن في عملها عندما تُعطى المزيد من الوقت الحسابي - ولم نكتشف بعدُ حدودًا لمدى الجودة التي يمكن تحقيقها. حيث تفوقت أساليب التعلم العميق لمعظم المشكلات على جميع الأساليب الأخرى عندما تم اكتشاف التعلم العميق لأول مرة.
علاوة على ذلك، فإن الإنجازات في مجال ما قد تفاجئ في كثير من الأحيان الباحثين الآخرين في هذا المجال. كتب ستيوارت راسل، الأستاذ بجامعة كاليفورنيا في بيركلي: «لقد جادل البعض بأنه لا يوجد خطر محتمل [من الذكاء الاصطناعي] على البشرية لقرون قادمة، ربما نسوا أن الفترة الزمنية بين تأكيد رذرفورد الواثق بأن الطاقة الذرية لا يمكن استخراجها بشكل عملي أبدًا وبين اختراع زيلارد التفاعل النووي المتسلسل المستحث بالنيوترون كانت أقل من 24 ساعة.»
هناك اعتبار آخر. تخيل ذكاءً اصطناعيًا أقل من البشر في كل شيء، باستثناء شيء واحد: كونه مهندس ماهر يمكنه بناء أنظمة ذكاء اصطناعي بفعالية كبيرة. غالبًا ما يلاحظ مهندسو التعلم الآلي الذين يعملون على أتمتة الوظائف في مجالات أخرى، لسخرية القدر، أن جزء كبير من مجالهم نفسه - مثل عملية ضبط المتغيرات المملة - يمكن أتممته أيضًا.
إذا إستطعنا تصميم نظامًا كهذا، فيمكننا استخدام نتيجته - الذي سيكون ذكاء اصطناعي هندسي أفضل - لبناء نظام ذكاء اصطناعي آخر أفضل. هذا السيناريو المحير يطلق عليه الخبراء اسم «التحسين الذاتي المتكرر» حيث تمكننا الزيادات في قدرات الذكاء الاصطناعي إلى المزيد من الزيادات في قدراته، مما يسمح للنظام الذي بدأناه بالوصول بسرعة إلى قدرات تتجاوز ما توقعناه.
هذه إمكانية تم التنبؤ بها منذ نشأة الحاسوب. ربما كان آي. جي. جود، زميل آلان تورينج الذي عمل في عملية فك الشفرات في بلتشلي بارك خلال الحرب العالمية الثانية وساعد في بناء أجهزة الحاسوب الأولى فيما بعد، هو أول من صاغها في عام 1965: «يمكن لآلة فائقة الذكاء أن تصمم آلات أفضل؛ ومن ثم سيكون هناك بلا شك «انفجار في الذكاء»، وسيتراجع ذكاء الإنسان كثيرًا وبالتالي فإن أول آلة فائقة الذكاء هي آخر اختراع يحتاجه الإنسان إلى صنعه.
3. كيف يمكن أن يقضي علينا الذكاء الاصطناعي؟
تبدو الطريقة التي قد تقتلنا بها القنبلة النووية واضحة جليًّا للعيان. لا يضطر أي شخص يعمل على تخفيف المخاطر النووية إلى تكبد عناء شرح كيف سيكون الوضع كارثيًّا في حالة اندلاع حرب نووية.
أما الحالة التي يمكن أن يشكل فيها الذكاء الاصطناعي خطرًا على البشرية أكثر تعقيدًا وصعوبة في الفهم. يضطر الكثير من الأشخاص الذين يعملون على بناء أنظمة ذكاء اصطناعي آمنة إلى شرح أسباب خطورة أنظمة الذكاء الاصطناعي بطبيعتها.
ففكرة خطورة الذكاء الاصطناعي تنبع من حقيقة أن أنظمة الذكاء الاصطناعي تسعى إلى تحقيق أهدافها، سواء كانت تلك الأهداف هي ما قصدناه حقًا أم لا - وسواء وقفنا في الطريق أم لا. كتب ستيفن هوكينج ذات مرة «قد لا تكون شخصًا شريرًا يدوس على النمل بدافع الشر، ولكن إذا كنت مسؤولاً عن مشروع للطاقة الكهرومائية الخضراء وهناك عش نمل في المنطقة سيغرق، وهو موقف سئ للغاية بالنسبة للنمل، فدعونا لا نقوم بوضع البشرية في مثل موقِفِ هذا النمل».
إليك أحد السيناريوهات التي تحرم الخبراء من النوم: إذا طورنا نظام ذكاء اصطناعي معقد بهدف تقدير بعض الأرقام بدقة كبيرة على سبيل المثال. يدرك الذكاء الاصطناعي أنَّ بإمكانه الوصول إلى مستويات أعلى من الدقة في حساباته إذا استخدم جميع أجهزة الحوسبة في العالم، ويدرك أن إطلاق سلاح بيولوجي خارق للقضاء على البشرية سيسمح له باستخدام كل الأجهزة بحرية. وبعد إبادة البشرية، يقوم بحسابة الأرقام بدقة أعلى.
من السهل تصميم نظام ذكاء اصطناعي يتجنب هذا المأزق بعينه. ولكن هناك الكثير من الطرق حيث يؤدي إطلاق العنان لأنظمة الكمبيوتر القوية إلى عواقب غير متوقعة وربما كارثية، وتجنب كل هذه العواقب أصعب بكثير من تجنب عاقبة محددة بعينها.
جمعت فيكتوريا كراكوفنا، باحثة الذكاء الاصطناعي في شركة DeepMind (التي أصبحت الآن إحدى شركات Alphabet، الشركة الأم لجوجل) قائمة أمثلة على «كيف يغش الذكاء الاصطناعي»: حينما يقوم الكمبيوتر بما نطلب منه فعلَهُ لا بما نريد أن يفعله. على سبيل المثال، عندما حاولنا تعليم مجسمات الذكاء الاصطناعي القفز في لعبة محاكاة معيَّنة، ولكننا فعلنا ذلك من خلال تعليمهم قياس مدى ارتفاع «أقدامهم عن الأرض. وبدلًا من أن يقفزوا، تعلموا صعود أعمدة رأسية طويلة والشقلبة. لقد تفوقوا في ما كنا نقيسه، لكنهم لم يقوموا بما أردناه.»
كما عثر أحد أنظمة الذكاء الاصطناعي الذي يلعب لعبة Montezuma’s Revenge على ثغرة تسمح له بإجبار إعادة ظهور أحد مفاتيح اللعبة مرة أخرى، وبالتالي يحقق درجة أعلى من خلال استغلالها. كما توصل نظام ذكاء اصطناعي آخر يلعب لعبة مختلفة أنَّ بإمكانه تحقيق مزيد من الدرجات من خلال إدخال اسم زائف كمالك للعناصر الثمينة.
وفي بعض الأحيان، لا يعرف الباحثون حتى كيف قام الذكاء الاصطناعي بالغش: حيث اكتشف ثغرة ما في اللعبة… ولسبب لا نعرفه، لا تنتقل اللعبة إلى الجولة الثانية ولكن تبدأ منصة اللعبة في الوميض ويحصل بسرعة على كمية هائلة من النقاط (ما يقرب من مليون نقطة في المهلة الزمنية التي وضعناها).
ما تحاول هذه الأمثلة إيضاحه هو أن أي نظام به ثغرات أو سلوك غير مقصود أو مفهومٍ للبشر عمومًا، فقد يتصرف نظام الذكاء الاصطناعي القوي بما فيه الكفاية بشكل غير متوقع - حيث يسعى إلى تحقيق أهدافه من خلال سبل لم نتوقعها.
يجادل ستيف أوموهوندرو، أستاذ علوم الحاسوب في جامعة إلينوي أوربانا شامبين ومدير Possibility Research، في بحث نشره في عام 2009 بعنوان الدوافع الأساسية للذكاء الاصطناعي «أن كل أنظمة الذكاء الاصطناعي تقريبًا ستحاول، كما هو متوقع، جمع المزيد من الموارد، وأن تصبح أكثر كفاءة، وأن تقاوم محاولات إيقافها أو تعديلها، قائلًا بأنه: لن تحدث هذه السلوكيات الضارة المحتملة لأنها تمت برمجتها في البداية، ولكن بسبب الطبيعة الجوهرية لهذه الأنظمة الموجهة نحو تحقيق الأهداف».
وتتلخص حجته على النحو التالي: نظرًا لأن الذكاء الاصطناعي لديه أهداف معيَّنة، فسيكون لديها الحافز لاتخاذ إجراءات يمكن التنبؤ بأنها ستساهم في تحقيق أهدافه. سيكون الذكاء الاصطناعي الذي يلعب لعبة الشطرنج مدفوعًا بالحافز لأخذ قطعة شطرنج الخصم ودفع لوحة اللعبة بحيث يكون احتمالية فوزه هي الأرجح.
لكن نفس الذكاء الاصطناعي الذي ذكرناه، إذا فكر في طريقة لتحسين خوارزمية تقييم لعبة الشطرنج بالشكل الذي يمكنه من تقييم التحركات المحتملة بشكل أسرع، فسوف يتبعها أيضًا، لنفس السبب: إنها مجرد خطوة أخرى لتحقيق هدفه.
وإذا فكر في طريقة لاستغلال المزيد من قوة الحوسبة حتى يتمكن من التفكير في المزيد من التحركات في الوقت المتاح للعبة، فسوف يتبعها أيضًا. كما إذا ا اكتشف الذكاء الاصطناعي أن شخصًا ما يحاول إيقاف جهاز الكمبيوتر الخاص به في منتصف اللعبة، وكان لديه طريقة لإيقاف هذه المحاولة، فسوف يفعلها. ليس بسبب كوننا نأمر الذكاء الاصطناعي بفعل أشياء من هذا القبيل؛ بل لأنه مهما كان هدف النظام، فإن مثل هذه الإجراءات في كثير من الأحيان جزءًا من أفضل مسار لتحقيق هذا الهدف.
وهذا يعني أن أي هدف، حتى وإن كان هدفًا بريئًا مثل لعب الشطرنج أو إنشاء إعلانات يضغط عليها الكثير من المستخدمين على الانترنت، قد تؤدي إلى نتائج غير مقصودة إذا كان نظام الذكاء الاصطناعي على قدر كاف من الذكاء والقوة التحسينية لتحديد طرق غير تقليدية وغير متوقعة لتحقيق أهدافه.
الأنظمة المدفوعة بالأهداف لن تستيقظ ذات صباح بعدائية مفاجئة تجاه البشر. ولكنها ستتخذ إجراءات تتوقع أنها ستساعدها على تحقيق أهدافها - حتى لو كانت الإجراءات مثيرة للمشاكل، بل ومرعبة. وستعمل على الحفاظ على أنفسهم، وتجميع المزيد من الموارد، ويصبحون أكثر كفاءة. وهذا ما يفعلونه بالفعل، ولكن من خلال استخدام ثغرات الألعاب. ولكن مع تزايد تطور هذه الأنظمة وتعقيداتها، فإن علماء مثل أوموهوندرو يتوقعون أن يسلكوا سلوكًا أكثر عدائية.
4. متى انتاب العلماء القلق لأول مرة بشأن مخاطر الذكاء الاصطناعي؟
فكر العلماء في إمكانات الذكاء الاصطناعي منذ ظهور الحاسوب. كتب آلان تورينج في ورقته الشهيرة التي طرح فيها اختبار تورينج لتحديد ما إذا كان النظام الاصطناعي «ذكيًا» بالفعل:
دعونا نفترض الآن، لأجل النِّقَاشِ، أن هذه الآلات ذات إمكانية حقيقية، ولنفكر في العواقب المترتبة على بنائها. … سنبذل الكثير من الجهد في محاولة الحفاظ على مستوى ذكاء البشر وفقًا للمعايير التي وضعتها الآلات، لأن من المحتمل كما يبدو أنه بمجرد أن تبدأ الآلات في التفكير، فلن يستغرق الأمر طويلاً حتى تتفوق على قدراتنا الضعيفة. … لذلك، يجب أن نتوقع أن تتولى الآلات السيطرة في مرحلة ما.
عمل اي. جاي. جود بشكل وثيق مع تورينج وتوصل إلى نفس الاستنتاجات، بحسب شهادة مساعدته ليزلي بندلتون. في اقتباس من ملاحظات غير منشورة كتبها جود قبل وفاته بوقت قصير في عام 2009، متحدثًا عن نفسه بضمير الغائب ويكتب عن اختلافه مع أفكاره عندما كان في سن أصغر، حيث يقول أن الذكاء الاصطناعي القوي قد يكون مفيدًا لنا، ولكن عندما أصبح جود أكبر سنًا، توقع أن يبيد الذكاء الاصطناعي البشر.
بدأت «ورقة تكهنات بشأن أول آلة فائقة الذكاء» التي نُشرت في عام 1965 بقول: أن بقاء البشر يتوقف على بناء أول آلة فائقة الذكاء. كانت هذه آراؤه في فترة الحرب الباردة، ولكنه يشك الآن أن كلمة «البقاء» يجب أن يحل محلها كلمة «الانقراض». كما يعتقد أنه وبسبب المنافسة الدولية، فلا مفر من تولي الآلات زمام الأمور في النهاية. فهو يعتقد أننا كالقوارض. كما قال أيضًا أن «ربما يبني الإنسان الآلة التي تحل محل الإله على صورته».
في القرن الحادي والعشرين، مع ترسيخ أجهزة الحاسوب نفسها كقوة تحويلية في عالمنا، بدأ الباحثون الأصغر سنًا في التعبير عن مخاوف مماثلة.
نيك بوستروم، الأستاذ بجامعة أكسفورد، ومدير معهد مستقبل الإنسانية، ومدير برنامج حوكمة الذكاء الاصطناعي. تتركز أبحاثه حول المخاطر التي تهدد البشرية، سواء كانت تلك المخاطر مجردة - حيث يطرح أسئلة مثل لماذا يبدو البشر وحيدين في الكون - أو كانت مخاطر ملموسة، حيث يحلل التقدم التكنولوجي وما إذا كان يشكل خطرًا علينا. وخلصت أبحاثه إلى أن الذكاء الاصطناعي يشكل خطرا علينا.
وفي عام 2014، ألف كتابًا يشرح فيه مخاطر الذكاء الاصطناعي وضرورة ضبطه بشكل صحيح منذ البداية، وخلص كتابه إلى أنه «بمجرد وجود ذكاء فائق عدواني، فإنه سيمنعنا من استبداله أو تغيير تفضيلاته. وبالتالي سيكون مصيرنا محتومًا».a
كما توصل آخرون في جميع أنحاء العالم إلى نفس الاستنتاج. شارك بوستروم في كتابة ورقة بحثية حول أخلاقيات الذكاء الاصطناعي مع إليزر يودكوفسكي، المؤسس وزميل الأبحاث في معهد بيركلي لأبحاث ذكاء الآلة (MIRI)، وهي منظمة تعمل على تحسين التوصيفات الرسمية لمشكلة الأمان المتعلق باستخدام الذكاء الاصطناعي.
بدأ يودكوفسكي مسيرته المهنية في الذكاء الاصطناعي من خلال إيجاد ثغرات في مقترحات الآخرين حول كيفية جعل أنظمة الذكاء الاصطناعي آمنة، وقضى معظمها في محاولة إقناع زملائه بأن أنظمة الذكاء الاصطناعي لن تتوافق مع قيم البشر بطبيعتها (ليس بالضرورة أن تكون على صدام معها ولكنهم لا يبالوا بها) - وهذا الأمر سيشكل مشكلة فنية لمنع هذه النتيجة.
توصل الباحثون تدريجيا إلى أنه ستظهر تحديات لم تكن موجودة عندما كانت أنظمة الذكاء الاصطناعي بسيطة. فاحتمالية ظهور «أعراض جانبية تكون أكبر في بيئات أكثر تعقيدًا، ويجب أن يكون نظام الذكاء الاصطناعي معقدًا للغاية لاختراق نظام المكافأة بطرق خطرة. وهذا يفسر قلة الدراسات حول هذا الموضوع في الماضي مع الإشارة أيضا إلى أهميتها في المستقبل». هذا ما توصلت إليه ورقة بحثية نُشرت في عام 2016 عن مشكلات الأمان المتعلق باستخدام الذكاء الاصطناعي.
أقنع كتاب بوستروم «الذكاء الفائق» الكثير من الناس، لكن ظل هناك بعض المتشككون في الأمر. افتتح أورين إيتزيوني، أستاذ علوم الكمبيوتر في جامعة واشنطن والرئيس التنفيذي لمعهد آلان للذكاء الاصطناعي مقال كتبه بعبارة «لا، لا يعتقد الخبراء أن الذكاء الاصطناعي الفائق يشكل تهديدا للبشرية». ورد عليه ستيوارت راسل، رائد الذكاء الاصطناعي وأستاذ جامعة كاليفورنيا في بيركلي، وآلان دافو، زميل أبحاث في جامعة أكسفورد ومدير برنامج حوكمة الذكاء الاصطناعي بالجامعة، في مقال مناهض بـجملته «نعم، نحن قلقون بشأن المخاطر الوجودية التي يفرضها الذكاء الاصطناعي»، ولذلك من المنطقي أن نستنتج أن هناك معركة شرسة بين المتشككين بأمر مخاطر الذكاء الاصطناعي والمؤمنين بوجود تلك المخاطر. وفي الواقع خلافاتهم ليست عميقة بقدر ما تظن.
يعد يان ليكون، كبير علماء الذكاء الاصطناعي في فيسبوك، أحد أكثر المتشككين البارزين. ولكن بينما يجادل بأننا لا ينبغي أن نخشى الذكاء الاصطناعي، فإنه لا يزال يعتقد بوجوب وجود منّ يعملون على الأمان المتعلق باستخدام الذكاء الاصطناعي ويفكرون فيه. وكتب ذات مرة «حتى لو كان خطر انتفاضة الذكاء الاصطناعي ضئيلاً وفي المستقبل البعيد جدًا، ما زلنا بحاجة إلى التفكير بشأنه، وتصميم تدابير احترازية، ووضع مبادئ توجيهية».
هذا لا يعني أن هناك توافق في الآراء بين الخبراء - بل أنه العكس من ذلك. هناك خلاف كبير حول أيًّ النُّهج قد تقودنا إلى الذكاء الاصطناعي العام، وأيًّ منها سيقودنا إلى الذكاء الاصطناعي العام الآمن، ومتى ينتابنا القلق بشأن أيًّ منهما.
يشعر العديد من خبراء هذا المجال بالقلق من كون الآخرين يبالغون في تقديره، ويحكمون عليه بالفشل عندما تنتهي الضجة المثارة حوله. لكن هذا الخلاف لا يعيق ظهور أرضية مشتركة؛ فكل تلك الإمكانيات تستحق التفكير والاستثمار والبحث فيها، حتى يكون لدينا مبادئ توجيهية عندما نحتاج إليها.
5. لماذا لا يمكننا إيقاف تشغيل الحاسوب إذا أصبح بالغ القوة؟
يمكن للذكاء الاصطناعي الذكي أن يتنبأ بأننا سنرغب في إيقافه إذا أصابنا القلق. لذلك سيحاول بكل جهد ألا يجعلنا قلقين، لأن ذلك لن يساعده على تحقيق أهدافه. فإذا سُئل عن نواياه، أو ما الذي يعمل عليه، سيحاول تقييم أي الردود هي الأقل احتمالاً لإيقافه، ويجيب بها. وإذا لم يكن ذكيًا بما يكفي للقيام بذلك، فقد يتظاهر بأنه أغبى مما هو عليه - متوقعًا أن الباحثين سيمنحونه المزيد من الوقت، والموارد الحوسبية، وبيانات التدريب.
لذلك قد لا نعرف متى تحين اللحظة المناسبة لإيقاف تشغيل الحاسوب.
وقد نفعل أشياء تجعل من المستحيل إيقاف الحاسوب لاحقًا، حتى لو أدركنا في نهاية المطاف أن هذه فكرة جيدة. على سبيل المثال، قد تتمتع العديد من أنظمة الذكاء الاصطناعي بإمكانية الوصول إلى الإنترنت، وهو مصدر غني ببيانات التدريب التي ستحتاج إليها إذا أرادت كسب المال لمنشئيهم (في البورصة على سبيل المثال حيث يتم أكثر من نصف التداول باستخدام خوارزميات الذكاء الاصطناعي سريعة الاستجابة).
ولكن مع اتصاله بالانترنت، يمكن للذكاء الاصطناعي أن يرسل نسخًا من نفسه إلى مكان ما حيث سيتم تنزيلها وقراءتها، أو اختراق الأنظمة الضعيفة في مكان آخر. أي أن إيقاف تشغيل الحاسوب لن يفيد.
في هذه الحالة، أليست فكرة مريعة أن نسمح لأي نظام ذكاء اصطناعي - حتى لو لا يبدو قويا بما يكفي ليشكل خطرًا - بالوصول إلى الإنترنت؟ هذا احتمال وارد. لكنه لا يعني أن الأمر لن يستمر في الحدوث. يريد باحثو الذكاء الاصطناعي أن يجعلوا أنظمة الذكاء الاصطناعي التي يطورونها ذات قدرات أعلى وهذا ما يجعلها أكثر إثارة للاهتمام عمليًا وأعلى ربحًا. ولكن ليس من الواضح أن دوافعهم لجعل أنظمتهم أقوى ومتاحة على الإنترنت ستتغير فجأة بمجرد أن تصبح الأنظمة قوية بما يكفي لتشكل خطرًا.
حتى الآن كان أغلب حديثنا عن التحديات التقنية للذكاء الاصطناعي. لكن من الآن فصاعداً، من الضروري أن نحول حديثنا إلى السياسة. وبما أن أنظمة الذكاء الاصطناعي تتيح أشياء مذهلة، سيكون هناك العديد من الأطراف الفاعلة التي تعمل على هذه الأنظمة.
هذه الأطراف الفاعلة من المحتمل أن تكون شركات ناشئة، وشركات تكنولوجيا راسخة مثل Google (ذُكرت شركة DeepMind الناشئة التي استحوذت عليها شركة Alphabet مؤخرًا باعتبارها الشركة الرائدة في مجال الذكاء الاصطناعي)، ومنظمات مثل OpenAI التي أسسها إيلون ماسك، والتي تحولت مؤخرًا إلى هيكل نظامي هجين يجمع بين الربحية وغير الربحية.
كما من المحتمل أن تكون الحكومات بين هذه الأطراف الفاعلة، حيث أعرب الرئيس الروسي فلاديمير بوتين عن اهتمامه بالذكاء الاصطناعي، كما استثمرت فيه الصين أموالًا ضخمة. ومن المفترض أن بعضهم سيكون حذراً ويتبع تدابير السلامة، بما في ذلك إبقاء الذكاء الاصطناعي بعيدًا عن استخدام الإنترنت. ولكن في سيناريو كهذا، سنكون تحت رحمة الطرف الفاعل الأقل حذرًا، أيًا كانت هويته.
وهذا جزء من صعوبة التعامل مع الذكاء الاصطناعي: حتى وإن عرفنا التدابير المناسبة (ونحن لا نعرفها حاليًا)، سنحتاج أيضًا إلى إيجاد طريقة للتأكد من تحفيز جميع مبرمجي الذكاء الاصطناعي المحتملين لاتخاذ تلك الاحتياطات وأن يكون لدينا الأدوات اللازمة لتطبيقها بشكل صحيح.
6. ما الذي يجب فعله الآن لمنع تسبُّب الذكاء الاصطناعي بنهاية العالم؟
خلصت ورقة بحثية نُشرت في عام 2018 تستعرض حالة المجال إلى أنه «يمكننا الإقرار بغياب تشريعات سياسة عامة بشأن الذكاء الاصطناعي العام».
في الواقع يجري الآن العمل على تقنيات الأساليب الواعدة، ولكن القليل جدًا من العمل يتم في مجال التخطيط السياسي والتعاون الدولي والشركات العامة والخاصة على نحو صادم. في الواقع، الكثير من العمل في هذا الصدد تنفذه عدد قليل من المنظمات، وتشير التقديرات إلى أن حوالي 50 شخصًا في العالم يعملون بدوام كامل في مجال الأمان التقني المتعلق باستخدام الذكاء الاصطناعي.
نشر معهد بوستروم لمستقبل الإنسانية أجندة بحثية حول حوكمة الذكاء الاصطناعي: وهي دراسة عن «تشريع معايير وسياسات ومؤسسات العالمية لضمان التطوير والاستخدام المفيد للذكاء الاصطناعي المتقدم». كما نشر المعهد بحثًا عن مخاطر الاستخدامات الخبيثة للذكاء الاصطناعي، في سياق استراتيجية الصين للذكاء الاصطناعي، وحول الذكاء الاصطناعي والأمن الدولي.
أقدم منظمة تعمل في مجال السلامة التقنية للذكاء الاصطناعي هي معهد أبحاث الذكاء الآلي (MIRI)، الذي يضع على رأس أولوياته الأبحاث حول تصميم أنظمة موثوقة - برامج ذكاء اصطناعي يمكننا التنبؤ بسلوكها بدقة كافية لنكون واثقين من أنها آمنة. (إيضاح: MIRI هي منظمة غير ربحية وقد تبرعت لها في 2017-2019.)
كما تعد OpenAI التي أسسها Elon Musk منظمة جديدة تمامًا، أُسست منذ أقل من ثلاثة أعوام. لكن الباحثين هناك مساهمون نشطون في أبحاث قدرات الذكاء الاصطناعي والأمان المتعلق باستخدامه. كما حددت أجندة بحثية في عام 2016 حول «المشكلات التقنية الملموسة المتعلقة بمنع الحوادث في أنظمة تعلم الآلة»، ومنذ حينها طور الباحثون بعض النهج لأنظمة الذكاء الاصطناعي الآمنة.
تمتلك شركة DeepMind التابعة لشركة Alphabet، الرائدة في مجال الذكاء الاصطناعي، فريقًا للسلامة وأجندة بحثية تقنية مبينة هنا. ويخلص تقرير الأجندة إلى «هدفنا هو ضمان أن أنظمة الذكاء الاصطناعي المستقبلية ليست آمنة فحسب، بل آمنة بشدة وعلى نحو يمكن التحقق منه». كما حددت نهجًا يركز على مواصفات تلك الأنظمة (تصميم الأهداف بشكل جيد)، والمتانة (تصميم أنظمة تعمل بشكل آمن في ظل ظروف غير مستقرة)، والضمان (مراقبة الأنظمة وفهم ما يفعلونه).
كما أن هناك الكثير من الأشخاص الذين يعملون على حل مشكلات أخلاقيات الذكاء الاصطناعي الحالية: تحيز الخوارزميات، ومدى صلابة خوارزميات تعلم الآلة في مواجهة التغييرات الصغيرة، وشفافية الشبكات العصبونية وقابليتها للتفسير، على سبيل المثال لا الحصر. قد تفيد بعض هذه الأبحاث في منع السيناريوهات المدمرة.
ولكن بشكل عام، يبدو حال مجال الذكاء الاصطناعي مشابه كما لو كان معظم باحثي تغير المناخ يركزون عملهم على إدارة حالات الجفاف وحرائق الغابات والمجاعات التي نواجهها اليوم، ولا يوجد سوى فريق صغير مكون من 50 باحثًا هم فقط من يعملون على التنبؤ بالمستقبل، ووضع خطة لتغيير مجرى الأمور.
قد لا تمتلك جميع منظمات الذكاء الاصطناعي فريق أمانٍ خاصٍّ بها، بعض تلك المنظمات لديها فريق أمان يركز على عدم تحيز الخوارزميات وليس على المخاطر الناجمة عن أنظمة الذكاء الاصطناعي المتقدمة. حكومة الولايات المتحدة على سبيل المثال ليس لديها إدارة للذكاء الاصطناعي.
فلا يزال المجال يحمل الكثير من الأسئلة التي ليس لها إجابة محددة - والعديد من هذه الأسئلة تصور الذكاء الاصطناعي على أنه مخيفًا أكثر، أو أقل إخافة بكثير - وهذه الأسئلة لم يتم البحث فيها بعمق.
7. هل من المرجح أن يتسبب الذكاء الاصطناعي في هلاكنا أكثر من التغير المناخي على سبيل المثال؟
يبدو أحيانًا أننا نواجه مخاطر من كل الزوايا في القرن الحادي والعشرين. من المرجح أن يشكل التغير المناخي والتطورات المستقبلية للذكاء الاصطناعي قوى تحويلية تؤثر على العالم الذي نعيش فيه.
أصبحت توقعاتنا بشأن التغيير المناخي أكثر دقة، سواءً أكان للأفضل أو للأسوأ. فقد كونَّا صورة أوضح للمخاطر التي سيواجهها كوكب الأرض، كما أصبحنا قادرين على تقدير التكاليف التي ستتكبدها حضارتنا البشرية. والتي من المتوقع أن تكون تكاليف ضخمة، معرِّضة مئات الملايين من الأرواح للخطر. وأكثر من سيعانون هم الأشخاص ذوي الدخل المنخفض في البلدان النامية؛ وسيتكيف الأثرياء بسهولة أكبر. كما أصبح لدينا فهم أوضح للسياسات التي نحتاج إلى تنفيذها لمعالجة التغير المناخي مقارنةً بالذكاء الاصطناعي.
هناك خلاف شديد في المجال حول الأطر الزمنية المتوقعة للتقدمات الحاسمة في الذكاء الاصطناعي. بينما يتفق خبراء الأمان المتعلق باستخدام الذكاء الاصطناعي على العديد من ملامح مشكلة الأمان، إلا أنهم ما زالوا يطرحون القضية على فرق البحث في نفس مجالهم، ويختلفون على بعض التفاصيل. هناك أيضًا خلاف كبير حول إلى أي مدى قد تسوء الأمور، ومدى احتمالية حدوث ذلك. لا يعمل على مجال التنبؤ بالذكاء الاصطناعي سوى عددِِ قليلِِ من الأشخاص. إحدى الأشياء التي يحاول الباحثون الحاليون تحديدها هي نماذجهم وأسباب الخلافات المتبقية حول ما سيبدو عليه النهج الآمن.
يعتقد معظم خبراء الذكاء الاصطناعي أنه يهدد بقاء البشرية أكثر بكثير من التغير المناخي، ويعتقد محللو المخاطر الوجودية على البشرية أن التغير المناخي، برغم كونه كارثيًا، فمن غير المرجح أن يؤدي إلى انقراض البشرية. لكن الكثير يؤكدون بشكل أساسي على عدم يقيننا - و يشددون على أنه عندما نتجه بسرعة نحو تطوير تكنولوجيا قوية بها العديد من أوجه عدم اليقين دون إجابة على هذه الشكوك، فإن الخطوة المنطقية هي البدء بالبحث أولًا.
8. هل من المحتمل أن يكون الذكاء الاصطناعي خيرّاً؟
يؤكد الباحثون في الأمان المتعلق باستخدام الذكاء الاصطناعي أنه لا ينبغي افتراض أن أنظمة الذكاء الاصطناعي ستكون خيرة بشكل تلقائي . حيث سيكون لتلك الأنظمة أهدافًا حُددت لهم من قِبل بيئة التدريب، ومن المؤكد أن تلك الأهداف لن تتضمن القيم الإنسانية بأكملها.
هل عندما يصبح الذكاء الاصطناعي أكثر ذكاءً، سيفهم الأخلاق بنفسه؟ مرة أخرى، يؤكد الباحثون على أن هذا الأمر لن يحدث. إنها ليست مسألة «فهم» - سوف يفهم الذكاء الاصطناعي أن البشر يقدِّرون قيمًا مثل الحب والإنجاز والسعادة، وأنهم لا يهتمون فقط بالأرقام التي يعرضها جوجل عن الأسهم في بورصة نيويورك. لكن قيم الذكاء الاصطناعي سترتبط بأهداف أي نظام بُني لأجله، مما يعني أنه لن يصبح متوافقًا مع قيم البشر فجأة إذا لم يتم تصميمه بهذه الطريقة من البداية.
وبالطبع، يمكننا بناء أنظمة ذكاء اصطناعي تتوافق مع قيم البشر، أو على الأقل آمنة. وهذا ما تحاول كل منظمة لديها قسم للذكاء الاصطناعي العام تحقيقه. تحقيق هذا بنجاح يمكن أن يمنحنا عقودًا أو قرونًا من الابتكار التكنولوجي في آن واحد.
«إذا نجحنا ، فإننا نعتقد أن هذا سيكون واحدًا من أهم وأكثر المكاسب العلمية فائدة على الإطلاق» هذا ما جاء في افتتاحية DeepMind التابعة لشركة Alphabet. «من التغير المناخي للحاجة إلى تحسين جذري للرعاية الصحية، حيث تعاني الكثير من المشكلات من تقدم بطيء ومؤلم، ويفوق تعقيدها قدرتنا على إيجاد حلول لها. ومع استخدام الذكاء الاصطناعي الذي يفوق القدرة الإبداعية للبشر، يمكن أن يجعل من حلول تلك المشكلات في متناول أيدينا».
لذلك، نعم، يمكن للذكاء الاصطناعي أن يتوافق مع قيمنا، وأن يحول عالمنا نحو الأفضل. نحتاج فقط إلى حل مشكلة هندسية صعبة جدًا أولاً.
9. إلى أي مدى ينبغي علينا الشعور بالقلق؟
بالنسبة للأشخاص الذين يعتقدون أن القلق بشأن الذكاء الاصطناعي سابق لأوانه وأن مخاطره مبالغ فيها، فإن الأمان المتعلق باستخدام الذكاء الاصطناعي يتنافس مع أولويات أخرى تبدو وكأنها خيالٌ علمي. وليس من الواضح أهميَّة كون الذكاء الاصطناعي أولوية. أما بالنسبة للأشخاص الذين يعتقدون أن المخاطر حقيقية وجوهرية، فمن الشنيع عدم تخصيص موارد كافية للعمل عليها.
في حين أن باحثي تعلم الآلة كانوا محقين في قلقهم من هذه الضجة، فمن الصعب أيضًا تجاهل حقيقة إنجازهم لأشياء مذهلة ومثيرة للإعجاب باستخدام تقنيات قابلة للتعميم، وأن هذا لم يكن بالمهمة السهلة.
يبدو الذكاء الاصطناعي أشبه بالتكنولوجيا التي ستغير العالم حين ظهورها. ويخبرنا الباحثون في مؤسسات الذكاء الاصطناعي الرائدة أن الأمر سيكون مثل إطلاق صاروخ: حيث يتعين علينا القيام بشئ ما بشكل صحيح قبل إطلاقه. لذلك يبدو الشروع في تعلم علم الصواريخ أمرًا ملحًا. وبغض النظر عما إذا كان ينبغي للبشرية أن تخشى العواقب أم لا، فقد يتوجب علينا القيام بمهامنا الآن.