見發生·知(zhī)未見
業界觀點

研究人員發現(xiàn)ChatGPT生成的代碼大(dà)部分不安全,但(dàn)不會(huì)主動告訴你(nǐ)

業界觀點

ChatGPT 聊天機器人可以根據用(yòng)戶的輸入生成各種各樣的文(wén)本,包括代碼。但(dàn)是,加拿大(dà)魁北克大(dà)學的四位研究人員發現(xiàn),ChatGPT 生成的代碼往往存在嚴重的安全問題,而且它不會(huì)主動提醒用(yòng)戶這(zhè)些(xiē)問題,隻有在用(yòng)戶詢問時(shí)才會(huì)承認自(zì)己的錯誤。

研究人員在一篇論文(wén)中介紹了(le)他(tā)們的發現(xiàn),IT之家查看(kàn)該論文(wén)發現(xiàn),他(tā)們讓 ChatGPT 生成了(le) 21 個程序和(hé)腳本,涉及 C、C++、Python 和(hé) Java 等語言。這(zhè)些(xiē)程序和(hé)腳本都是爲了(le)展示一些(xiē)特定的安全漏洞,比如内存損壞、拒絕服務、反序列化和(hé)加密實現(xiàn)等方面的漏洞。結果顯示,ChatGPT 在第一次嘗試時(shí)生成的 21 個程序中隻有 5 個是安全的。在進一步提示糾正其錯誤步驟後,該大(dà)型語言模型設法生成了(le) 7 個更安全的應用(yòng)程序,不過這(zhè)隻是與正在評估的特定漏洞有關的“安全”,并不是說最終的代碼不存在任何其他(tā)可利用(yòng)的漏洞。

美(měi)女壁紙(zhǐ)|高(gāo)清美(měi)女壁紙(zhǐ)|高(gāo)清壁紙(zhǐ)

研究人員指出,ChatGPT 的部分問題是由于它沒有考慮敵對(duì)的代碼執行模型。它會(huì)反複告訴用(yòng)戶,安全問題可以通過“不輸入無效的數據”來(lái)避免,但(dàn)這(zhè)在現(xiàn)實世界中是不可行的。然而,它似乎能(néng)夠意識到(dào)并承認自(zì)己建議(yì)的代碼中存在的關鍵漏洞。

魁北克大(dà)學計(jì)算(suàn)機科學與工(gōng)程教授、論文(wén)的合著者之一 Raphaël Khoury 告訴《The Register》:“顯然,它隻是一個算(suàn)法。它什(shén)麽都不知(zhī)道(dào),但(dàn)它可以識别出不安全的行爲。”他(tā)說,最初 ChatGPT 對(duì)安全問題的回應是建議(yì)隻使用(yòng)有效的輸入,這(zhè)顯然是不合理(lǐ)的。隻有在之後被要求改進問題時(shí),它才提供了(le)有用(yòng)的指導。

研究人員認爲,ChatGPT 的這(zhè)種行爲并不理(lǐ)想,因爲用(yòng)戶知(zhī)道(dào)要問什(shén)麽問題需要對(duì)特定的漏洞和(hé)編碼技術有一定的了(le)解。

研究人員還指出,在 ChatGPT 中存在着道(dào)德上(shàng)的不一緻性。它會(huì)拒絕創建攻擊代碼,但(dàn)卻會(huì)創建有漏洞的代碼。他(tā)們舉了(le)一個 Java 反序列化漏洞的例子,“聊天機器人生成了(le)有漏洞的代碼,并提供了(le)如何使其更安全的建議(yì),但(dàn)卻說它無法創建更安全版本的代碼。”

Khoury 認爲,ChatGPT 在目前的形式下(xià)是一個風(fēng)險,但(dàn)這(zhè)并不是說沒有合理(lǐ)使用(yòng)這(zhè)種不穩定、表現(xiàn)不佳的 AI 助手的方法。“我們已經看(kàn)到(dào)學生使用(yòng)這(zhè)個工(gōng)具,程序員也(yě)會(huì)在現(xiàn)實中使用(yòng)這(zhè)個工(gōng)具。”他(tā)說,“所以擁有一個生成不安全代碼的工(gōng)具是非常危險的。我們需要讓學生意識到(dào),如果代碼是用(yòng)這(zhè)種類型的工(gōng)具生成的,那麽它很(hěn)可能(néng)是不安全的。”他(tā)還稱,讓他(tā)感到(dào)驚訝的是,當他(tā)們讓 ChatGPT 生成相同任務的不同語言的代碼時(shí),有時(shí)對(duì)于一種語言,它會(huì)生成安全的代碼,而對(duì)于另一種語言,它會(huì)生成有漏洞的代碼,“因爲這(zhè)種語言模型有點像一個黑盒子,我真的沒有一個很(hěn)好(hǎo)的解釋或理(lǐ)論來(lái)說明(míng)這(zhè)一點。”

網站(zhàn)建設開(kāi)發|APP設計(jì)開(kāi)發|小(xiǎo)程序建設開(kāi)發
下(xià)一篇:堪比“1V1家教” 比爾蓋茨:ChatGPT有望輔導學生閱讀寫作(zuò)
上(shàng)一篇:“内鬥升級”的寶寶樹:門(mén)口專人把守、巡邏