王琦  碁震KEEN公司創(chuàng)始人兼CEO  國際安全極客大賽Geek+Pwn活動創(chuàng)辦人

　　今天，我跟大家分享的題目是人“攻”智能，“攻”是攻擊的攻，其中包括了我這么些年工作的感悟，我想先從傳統(tǒng)科班的人工智能說起。我們先做一個小測試吧，大屏幕的左邊有一張圖，如果我問大家看到了什么，相信每個人都有自己的回答。圖片右邊有兩句話，一句是正常人類的問題，另一句是帶有人工智能的機器人的回答?！　?

　　這個小測試就是，你們認(rèn)為右邊回答的兩個人，小花和小明，誰是正常的人類？在公布答案之前我想和大家說一下，其實大家做了一個非常典型但不那么嚴(yán)謹(jǐn)?shù)膱D靈測試。上世紀(jì)50年代，當(dāng)時的人工智能之父圖靈提出一個測試機器是否具備人類智慧的方法。他提到，如果我們同時和一個看不見的人及機器（通過敲鍵盤）進(jìn)行提問式的交流，如果30%的成年人無法在5分鐘內(nèi)判斷對面是人還是機器，我們認(rèn)為那臺機器已具備了人工智能。如果等會兒答案揭曉時，如果你發(fā)現(xiàn)自己錯了，那說明我們的人工智能已經(jīng)像人類了。大家看一下，小明才是機器人，我們都認(rèn)為他像一個正常的人類對不對？

人工智能

　　人工智能發(fā)展到現(xiàn)在已有了一些有意思的成果。對計算機來講，如果要像人一樣思考，具備人一樣的智慧，就有一個最重要的領(lǐng)域需要去搞定?！　?

　　我們要知道，人對信息的處理70%來自于我們的眼睛，但對計算機來講它只有0和1，計算機從一張圖片看到的只是像素上的數(shù)值，它無法看到沙發(fā)上的一條線，更無法很快理解，那可能是一個大人帶著兩個小孩兒、一只狗在看電視。如果我更近一步提問，坐在前面的那個小屁孩上衣是什么顏色？對計算機來說，什么是小屁孩？什么是前面？什么是上衣？什么是顏色？它完全無法理解。所以，在人工智能被提出多年之后，它在視覺領(lǐng)域還存在困難?！　?

　　要知道，我們?nèi)顺錾笠醚劬词澜纭Ｈ绻蜒劬Ρ茸饔嬎銠C的話，每200毫秒我們就拍一張照片。大家想一下，從我們睜開眼睛看世界開始，到今天拍了多少這樣的照片，才能夠看懂看明白？所以呢，我們希望訓(xùn)練計算機它也具備這種能力。在2010年時，最好的人工智能計算機識別圖形的錯誤率在20%到30%，比人類差。但在2012年至2014年，斯坦福有個博士通過自己的研究，使這個錯誤率降低到接近人類的水平。這是一項非常了不起的成就，他在其中使用到我們稱之為“深度學(xué)習(xí)”的技術(shù)?！　?

　　通常我們要告訴機器一萬遍，這是貓這是貓這是貓，它才知道這長得像一只貓；但到2012年，谷歌不用再告訴機器什么是貓，而是可以直接問什么是貓，讓它自己把貓找出來，這是一項讓人工智能領(lǐng)域科學(xué)家都非常佩服的成果?？吹竭@樣的科技成果，說實話我也很興奮。但是今天我演講的主題是什么呢？人“攻”智能。在感受到人工智能興奮的同時，我也看到或是瞎想出來一些風(fēng)險。

攻擊樣本

　　我一直從事的專業(yè)是IT技術(shù)，嚴(yán)格意義來說，是信息安全或大家俗稱的“黑客”，2017年是我進(jìn)入這個行業(yè)的第19年?！　?

　　在2011年我們組建了一個叫KEEN的團(tuán)隊，隨后幾年，我們的團(tuán)隊在世界黑客大賽上拿過幾次冠軍。我們又成立了一個黑客賽事平臺，叫GeekPwn。在這個平臺上，大家能夠看到，所有你們身邊的攝像頭、手機、PC、路由器、智能門鎖、無人機、機器人、POS機全被我們黑完了。你們可能會問我們要干什么？其實我們這樣的叫做白帽黑客，我們希望幫助廠商發(fā)現(xiàn)問題，然后加以修復(fù)，讓產(chǎn)品變得更加安全。這些被黑掉的產(chǎn)品里就有汽車，我一直在想，還有沒有別的更酷的方法，去幫助提升它的安全性呢？　　

　　大家回到剛才看的這個車。通過深度學(xué)習(xí)，它的智能系統(tǒng)可以識別出道路前穿白襯衫的那個人。我當(dāng)時產(chǎn)生了一個想法：如果我堅持讓汽車認(rèn)為那是一個消防栓或是一棵樹，在緊急情況下，它就會撞上去，這就相當(dāng)于黑掉它的系統(tǒng)。這可要比黑掉PC大屏幕更酷。那有沒有可能辦到呢？說實話，我們過去從事的是傳統(tǒng)的安全領(lǐng)域研究，對人工智能這一塊并不了解，但興趣使然我們想去學(xué)習(xí)一下，看能不能做到這一點。這就像我們挖漏洞、利用漏洞的過程，同樣是教給計算機一堆攻擊樣本，這會產(chǎn)生什么結(jié)果呢？大家先看我們輸入一個正常的樣本要得到什么？要得到一個正確的決策。可是在攻擊里面，我們輸入一個攻擊的樣本，就希望它能得到一個錯誤的行為，這種辦法能不能在人工智能領(lǐng)域行得通？

人“攻”智能　　

　　在去年GeekPwn美國戰(zhàn)的時候，剛好有一位世界級的人工智能大師發(fā)現(xiàn)了這個成果。你們看，圖片左邊是一條小狗，對于現(xiàn)在的人工智能來講，識別它非常容易。但這張小狗又不是小狗，它是經(jīng)過特制的，當(dāng)下最成功的人工智能識別系統(tǒng)堅持認(rèn)為這是一只鴕鳥?！　?

　　左邊這張圖大家依然看不到任何信息，全都是噪點對不對？但當(dāng)我們交給人工智能時，它堅持認(rèn)為這是一張熊貓。我們又一次誤導(dǎo)它出現(xiàn)錯誤的決策，這給了我們信心，就是我們假想中的錯誤真的可能導(dǎo)致錯誤決策，就是攻擊樣本。去年微軟推出一個智能聊天機器人，它能和我們正常交流，可是沒過多久就下線了。為什么？因為它在第一天下午就開始跟人罵臟話了，說種族主義的東西。為什么能這樣呢？因為上午就有人用這種話來跟他交流，他以為這是人與人之間正常的交流方式?！　?

　　所以我產(chǎn)生了一個想法，在人工智能時代，真的可能一不小心人人都是黑客。黑客不需要寫任何代碼，也不需要像我們有十幾年的安全經(jīng)驗，它就可以成功地把人工智能給欺騙了，這說的是語言領(lǐng)域。其他領(lǐng)域呢，大家來看一下，這是一只機器狗，這是一個機器人，他們來自于美國的波士頓動力公司，他們能夠像人類或是動物一樣去行走，在行進(jìn)過程中，自己摸索出調(diào)整平衡的方法，這是一項非常了不起的產(chǎn)品。我在想，如果有一天這些機器狗、機器人認(rèn)為，我捅你一下、踹你一下，是跟和你握手一樣的友好行為怎么辦？機器人會不會威脅到我們呢？我可能是杞人憂天，但是站在黑客的角度，我們習(xí)慣性從壞人角度看問題。人工智能從上世紀(jì)50年代發(fā)展到現(xiàn)在，非常像《速8》里的那個小孩，我們希望他能夠成長成像他父親一樣那么強壯、智慧的男人。

保護(hù)人類

　　可是這一天會不會受到干擾呢？我們現(xiàn)在做的工作，就是希望能夠幫助人工智能安全健康地成長。我們一直嘗試用壞人的視角看問題，幫助我們做出更安全的產(chǎn)品?！　?

　　我們擔(dān)心什么？不知大家有沒有看過一部叫《超能查派》的電影，看這電影時我感觸非常深。它講一個機器人剛出生就被劫匪從實驗室劫走了，過了幾個月，大家看到它帶著金項鏈、舉著手槍、罵著臟話、搶別人錢。為什么呢？因為它被帶到貧民窟，它認(rèn)為這才是正當(dāng)工作。我們期望人工智能改變我們的生活，但我們更認(rèn)為自己有必要幫助它健康成長。我特別希望有更多的人投入到這份工作，或者說黑客事業(yè)上來?！　?

　　人工智能領(lǐng)域分為兩派，一派是樂觀主義，另一派是悲觀主義。悲觀主義認(rèn)為，人類正在自取滅亡，他們正在做一個可能超越人類，某一天將危及人類安全的設(shè)備。持悲觀觀點的人不僅有我，還有霍金、埃隆·馬斯克、比爾·蓋茨……

　　如果真有那么一天，黑客說不定還能夠保護(hù)全人類，攻擊它（人工智能），所以今天跟大家分享的全都是我的一些淺薄想法，如有不雷同，歡迎拍磚，謝謝大家。