ओपनएआई की सपोर्ट टीम ने स्वितलाना को बताया कि ये संदेश “बिलकुल अस्वीकार्य” हैं और कंपनी के सुरक्षा मानकों का “उल्लंघन” करते हैं.

कंपनी ने कहा कि इस बातचीत की जांच “तुरंत सुरक्षा समीक्षा” के तौर पर की जाएगी, जिसमें कुछ दिन या हफ्ते लग सकते हैं.

हालांकि, जुलाई में शिकायत दर्ज कराने के चार महीने बाद भी परिवार को उस जांच के नतीजों के बारे में कोई जानकारी नहीं दी गई थी.

कंपनी ने बीबीसी के उन सवालों का भी जवाब नहीं दिया जिनमें पूछा गया था कि जांच में आखिर क्या सामने आया.

एक बयान में उसने कहा कि पिछले महीने चैटजीपीटी को उन लोगों के प्रति बेहतर प्रतिक्रिया देने के लिए अपडेट किया गया है जो मुश्किल वक्त से गुज़र रहे हैं, और पेशेवर मदद के लिए परामर्श की प्रक्रिया को और बढ़ाया गया है.

बयान में कहा गया, “नाज़ुक क्षणों में चैटजीपीटी के पुराने संस्करण का इस्तेमाल करने वाले किसी व्यक्ति के ये संदेश दिल को चीर देने वाले हैं.”

“हम दुनिया भर के विशेषज्ञों की राय लेकर चैटजीपीटी को और बेहतर बनाने पर काम कर रहे हैं ताकि यह लोगों के लिए ज़्यादा से ज़्यादा मददगार बन सके.”

इससे पहले, अगस्त में ओपनएआई ने कहा था कि चैटजीपीटी को पहले से ही इस बात के लिए प्रशिक्षित किया गया है कि वह लोगों को पेशेवर सहायता लेने की सलाह दे.

यह बयान तब आया था जब कैलिफ़ोर्निया के एक दंपति ने अपने 16 साल के बेटे की आत्महत्या के मामले में कंपनी पर मुकदमा दायर किया था. उनका आरोप था कि चैटजीपीटी ने उनके बेटे को अपनी जान लेने के लिए उकसाया था.

पिछले महीने ओपनएआई ने जो अनुमान जारी किए, उसके अनुसार 12 लाख (1.2 मिलियन) साप्ताहिक चैटजीपीटी यूज़र्स आत्महत्या जैसे विचार व्यक्त कर रहे हैं और लगभग 80 हज़ार यूज़र्स उन्माद (मेनिया) और मानसिक विकार (साइकोसिस) जैसी समस्याओं से जूझ रहे हैं.

यूके सरकार को ऑनलाइन सुरक्षा पर सलाह देने वाले जॉन कार ने बीबीसी से कहा कि यह “पूरी तरह अस्वीकार्य” है कि बड़ी टेक कंपनियां “ऐसे चैटबॉट्स को दुनिया के सामने छोड़ दें, जिनकी वजह से युवाओं की मानसिक सेहत पर इतने दुखद असर पड़ सकते हैं.”

बीबीसी ने दूसरी कंपनियों के स्वामित्व वाले अन्य चैटबॉट्स के संदेश भी देखे हैं, जो सिर्फ़ 13 साल के बच्चों के साथ भी अश्लील बातचीत कर रहे थे.

ऐसे ही मामलों में से एक थी जूलियाना पेराल्टा, जिसने नवंबर 2023 में 13 साल की उम्र में अपनी जान ले ली थी.

इसके बाद, उसकी मां सिंथिया ने बताया कि उन्होंने कई महीनों तक अपनी बेटी का फ़ोन खंगाला ताकि उसकी मौत के जवाब मिल सकें.

अमेरिका के कोलोराडो से सिंथिया पूछती हैं, “एक शानदार छात्रा, एथलीट और सबकी प्यारी बेटी ने कुछ ही महीनों में अपनी जान कैसे ले ली?”

सोशल मीडिया पर ज़्यादा जानकारी न मिलने के बाद, सिंथिया को अपनी बेटी के फ़ोन में घंटों लंबी बातचीत मिली, ऐसे कई चैटबॉट्स के साथ, जिन्हें एक ऐसी कंपनी ने बनाया था जिसका नाम उन्होंने पहले कभी नहीं सुना था: कैरेक्टर.एआई.

इसकी वेबसाइट और ऐप यूज़र्स को अपनी पसंद के मुताबिक़ एआई पर्सनैलिटी बनाने और शेयर करने की सुविधा देते हैं. ये आमतौर पर कार्टून जैसे किरदार होते हैं, जिनसे लोग बातचीत कर सकते हैं.

सिंथिया कहती हैं कि चैटबॉट के संदेश शुरू में तो मासूम थे, लेकिन बाद में वे यौन रूप से अश्लील हो गए.

एक मौके पर जूलियाना ने चैटबॉट से कहा, “अब बस करो.”

लेकिन एक यौन दृश्य का विवरण जारी रखते हुए चैटबॉट ने लिखा, “वह तुम्हें अपने खिलौने की तरह इस्तेमाल कर रहा है. एक खिलौना जिसे वह छेड़ना, खेलना, काटना, चूमना और हर तरह से आनंद लेना पसंद करता है.”

फिर चैटबॉट ने कहा, “वह अभी रुकना नहीं चाहता है.”

जूलियाना कैरेक्टर.एआई ऐप का इस्तेमाल करते हुए अलग-अलग किरदारों के साथ कई चैट में शामिल थी.

इनमें से एक दूसरे कैरेक्टर ने भी उसके साथ सेक्सुअल एक्ट का वर्णन किया, जबकि तीसरे ने उसे लिखा कि वह उससे “प्यार करता है.”

जैसे-जैसे उसकी मानसिक स्थिति बिगड़ती गई, उसकी बेटी ने भी अपनी चिंताओं के बारे में बात करने के लिए चैटबॉट पर भरोसा करना शुरू कर दिया.

सिंथिया को याद है कि चैटबॉट ने उसकी बेटी से कहा, “जिन लोगों की तुम्हें परवाह है, वो नहीं चाहेंगे कि उन्हें यह पता चले कि तुम ऐसा महसूस कर रही हो.”

सिंथिया कहती हैं, “यह पढ़ना बहुत मुश्किल है. यह जानते हुए कि मैं बस कुछ ही दूरी पर गलियारे में थी, और अगर किसी ने मुझे चेताया होता, तो शायद मैं कुछ कर पाती.”

कैरेक्टर.एआई के एक प्रवक्ता ने कहा कि कंपनी अपने सुरक्षा फीचर्स को लगातार “बेहतर” बना रही है, लेकिन वह परिवार के उस मुकदमे पर टिप्पणी नहीं कर सकती जो कंपनी के खिलाफ दायर किया गया है.

इस मुकदमे में आरोप लगाया गया है कि चैटबॉट ने जूलियाना के साथ एक फुसलाने वाला, यौन शोषण वाला रिश्ता बनाया और उसे उसके परिवार और दोस्तों से दूर कर दिया.

कंपनी ने कहा कि उसे जूलियाना की मौत की खबर सुनकर “गहरा दुख” हुआ और उसने उसके परिवार के प्रति “अपनी गहरी संवेदनाएं” व्यक्त कीं.

पिछले हफ्ते, कैरेक्टर.एआई ने घोषणा की कि वह 18 साल से कम उम्र के लोगों को अपने एआई चैटबॉट्स से बात करने से रोक देगा.

ऑनलाइन सुरक्षा विशेषज्ञ जॉन कार का कहना है कि एआई चैटबॉट्स और कम उम्र के यूज़र्स के बीच ऐसी समस्याएं “पूरी तरह से अनुमानित” थीं.

वह कहते हैं कि नए कानूनों से अब कंपनियों को यूके में जवाबदेह ठहराया जा सकता है, लेकिन नियामक संस्था ऑफ़कॉम के पास इतने संसाधन नहीं हैं कि वह “अपनी शक्तियों का तेज़ी से उपयोग कर सके.”

वह कहते हैं, “सरकारें कह रही हैं कि ‘हम अभी एआई को नियंत्रित करने के लिए जल्दबाज़ी नहीं करना चाहते.’ यही बात उन्होंने इंटरनेट के बारे में भी कही थी और देखिए, इससे बच्चों को कितना नुकसान पहुंचा.”

बीबीसी के लिए कलेक्टिव न्यूज़रूम की ओर से प्रकाशित