हाल ही में यह बताया गया था कि अमेज़ॅन ने एक आंतरिक “डीप डाइव” बुलाई थी, क्योंकि कई रुकावटों के कारण उसकी खुदरा साइट बाधित हो गई थी, जो स्पष्ट रूप से एआई सहायता प्राप्त कोडिंग टूल के कारण हुई थी। बैठक में कई अत्यधिक दिखाई देने वाली विफलताओं और कंपनी के अंदर बढ़ती मान्यता के बाद उत्पादन प्रणालियों में जेनरेटिव एआई के सुरक्षा उपाय अपर्याप्त हैं।
यह एक व्यापक समस्या की शुरुआती झलक है जिसे कई संगठन स्वीकार नहीं करना चाहेंगे: जैसे-जैसे एआई को महत्वपूर्ण प्रणालियों में पहुंचाया जाता है, यह नए विफलता मोड को उनकी समझ या नियंत्रण से कहीं अधिक तेजी से पेश कर रहा है।
रक्षा संगठनों के लिए एआई को मिशन-महत्वपूर्ण प्रणालियों में तेजी से एकीकृत करने के लिए, निहितार्थ कहीं अधिक परिणामी हैं।
जब संगठन इन जोखिमों पर विचार करने के लिए रुकते हैं, तो वे अक्सर एक परिचित आश्वासन के लिए पहुंचते हैं: “लूप में एक इंसान होगा।” विचार यह है कि भले ही सिस्टम जटिल या अविश्वसनीय हो, एक व्यक्ति गलतियों को मायने रखने से पहले ही पकड़ लेगा।
संबंधित
यह आश्वासन खतरनाक रूप से भ्रामक है। एक “लूप में फंसा इंसान” जिसका एकमात्र कार्य मशीन के कार्यों को मंजूरी देना है, कोई सुरक्षा उपाय नहीं है बल्कि एक डिज़ाइन विफलता है। ध्यान कम हो जाता है क्योंकि कोई भी उस काम पर ध्यान केंद्रित नहीं कर सकता है जो ज्यादातर कुछ नहीं कर रहा है, और समय के साथ ऑपरेटर के कौशल इस हद तक क्षीण हो जाते हैं कि वे सिस्टम की सार्थक निगरानी नहीं कर सकते हैं। जो रह गया है वह वास्तविकता के बजाय निरीक्षण का आभास है।
सैन्य संदर्भ में, इस प्रकार की अपमानित मानवीय भागीदारी न केवल अक्षम है, बल्कि परिचालन की दृष्टि से भी खतरनाक है।
यह पैटर्न नया नहीं है. इंजीनियरों ने इसे पहले भी देखा है, सबसे प्रसिद्ध थेरेक -25 में, जो 1982 में पेश की गई एक विकिरण चिकित्सा मशीन थी। इसने दो पूर्ववर्ती प्रणालियों के कार्यों को एक छोटे, अधिक सुविधाजनक पैकेज में संयोजित किया, और इसके बेहतर स्वचालन ने इसे तेज और संचालित करना आसान बना दिया। सुरक्षा की “गारंटी” एक मानव ऑपरेटर की उपस्थिति से होती थी, जिसे कार्यों की पुष्टि करनी होती थी – वास्तव में, “लूप में एक मानव।”
सिस्टम वैसे भी विफल रहा। मरीजों को विकिरण से गंभीर जलन होने लगी। अस्पतालों ने मशीन में त्रुटि की संभावना को खारिज कर दिया, और निर्माता ने जोर देकर कहा कि ओवरडोज़ असंभव था। निरंतर जांच के बाद ही यह पता चला कि मशीन में कई सुरक्षा-महत्वपूर्ण सॉफ़्टवेयर खामियाँ थीं। तब तक, ओवरडोज़ से छह दुर्घटनाएँ हो चुकी थीं, जिनमें से तीन घातक थीं।
गहरी समस्या सिर्फ दोषपूर्ण कोड नहीं बल्कि दोषपूर्ण डिज़ाइन थी। मशीन बार-बार खराब तरीके से बताए गए त्रुटि संदेशों के कारण रुक जाती थी, जिससे ऑपरेटरों को उपचार जारी रखने के लिए “आगे बढ़ने के लिए P दबाना” पड़ता था। क्योंकि ये त्रुटियां आम थीं और शायद ही कभी सार्थक थीं, ऑपरेटरों को दिन में दर्जनों या सैकड़ों बार सिस्टम को पुनरारंभ करने की आदत हो गई थी। जब वास्तविक खराबी हुई, तो “ऑपरेटर पुष्टिकरण” का कार्य पहले ही अपना अर्थ खो चुका था। एक मामले में, एक ऑपरेटर ने मशीन को कई बार पुनरारंभ किया, जिससे अनजाने में बार-बार ओवरडोज़ हो गया। मानव ऑपरेटर की उपस्थिति ने विफलता को नहीं रोका; इसने इसे सामान्य कर दिया।
आज हम यही गलती दोहरा रहे हैं. कंप्यूटर वैज्ञानिक खराब समझे जाने वाले एआई सिस्टम को सुरक्षा-महत्वपूर्ण वातावरण में शामिल करने के लिए दौड़ रहे हैं, और जब चिंताएं उठाई जाती हैं तो उन्हें अक्सर एक ही वाक्यांश के साथ टाल दिया जाता है: लूप में एक इंसान होगा। यह धारणा अब निर्णय समर्थन से लेकर स्वायत्त संचालन तक, रक्षा प्रणालियों की चर्चा में दिखाई दे रही है।
लोग तर्क देंगे कि एआई मौलिक रूप से अलग है, और एक मायने में वे सही हैं। हमने पहले कभी ऐसी प्रणालियाँ तैनात नहीं कीं जिनका व्यवहार उच्च जोखिम वाले वातावरण में स्पष्ट रूप से संभाव्य और गैर-नियतात्मक हो। रक्षा संदर्भों में, जहां अनिश्चितता तेजी से बढ़ती है और त्रुटियां पूरे सिस्टम में फैल सकती हैं, यह विशेष रूप से चिंताजनक है। लेकिन एआई भी उन तरीकों से अलग नहीं है जो सबसे ज्यादा मायने रखते हैं। यह अभी भी सॉफ्टवेयर है, जो लोगों, प्रक्रियाओं और मशीनों से बनी बड़ी प्रणालियों में अंतर्निहित है। यह आस-पास की प्रणाली के बिना वास्तविक दुनिया में कार्य नहीं कर सकता है, और वे प्रणालियाँ उन तरीकों से विफल हो जाती हैं जिन्हें पहले से ही अच्छी तरह से समझा जा चुका है। इंजीनियरों और ऑपरेटरों ने दशकों तक यह अध्ययन किया है कि जटिल, कसकर युग्मित प्रणालियाँ दबाव में कैसे व्यवहार करती हैं।
अब हम जो देख रहे हैं वह विफलता का कोई नया वर्ग नहीं है, बल्कि परिचित, त्वरित है। सॉफ्टवेयर उद्योग एक बार फिर अपने इतिहास से सीखने में असमर्थता प्रदर्शित कर रहा है। यह दुर्भाग्यपूर्ण होगा यदि हम केवल Spotify अनुशंसा एल्गोरिदम के बारे में बात कर रहे थे। यह खतरनाक हो जाता है जब यही पैटर्न उन प्रणालियों में पेश किया जाता है जिन पर संगठन – और राष्ट्र – निर्भर होते हैं।
पेंटागन के हालिया लीक से पता चलता है कि एआई सिस्टम पहले से ही प्रभावित कर रहे होंगे जहां बम गिराए जाते हैं। ऐसे वातावरण में, मानवीय निरीक्षण का भ्रम बिल्कुल भी निरीक्षण न करने से भी बदतर है। यह बिना नियंत्रण के आत्मविश्वास पैदा करता है।
यदि हम अगले दशक को “पाश में मानव” के अंजीर के पत्ते के पीछे असुरक्षित प्रणालियों को छिपाने में बिताते हैं, तो परिणाम सैद्धांतिक नहीं होंगे।
मिकी डिकर्सन यूएस डिजिटल सेवा के संस्थापक प्रशासक थे और लेयर एलेफ में एक संकट इंजीनियर हैं। वह आगामी पुस्तक क्राइसिस इंजीनियरिंग के सह-लेखक हैं।
