
AI攻擊即將全面來襲!
人工智慧將使攻擊變得更好、更快且更具普遍性。
這幾年來,如果你參加過我關於AI的演講,我會告訴你所有關於AI及AI威脅的資訊……甚至可能會嚇到你……然後告訴你這句話:「AI攻擊即將來臨,但你今年可能遭受的攻擊並不涉及AI。將會是那些幾十年來依然有效的老套路攻擊。」
我總是從那些結尾的話語中獲得很多安慰的微笑。但今年卻不太一樣。今年,如果你成功受到攻擊,AI 很可能會參與其中。從現在開始,AI 參與的機會更是大幅提高,而到明年……肯定……AI 將成為你受到攻擊的主要方式。
AI承諾能解決許多人類長期以來的問題(例如,疾病、交通管理、更準確的天氣預測等)、提高生產力,並提供許多以往不容易實現的發明和解決方案。不幸的是,AI也將使網路攻擊者在惡意駭客行為上變得更加高明。
這篇文章將探討許多攻擊者將如何利用AI來「更好」地對我們發動攻擊。我所說的並不是遙遠的未來,而是正在進行的改進,這些改進將成為未來的常態,從今年開始,明年肯定會被普遍接受。
注意:我不會討論針對AI本身的攻擊,例如資料污染或破解LLMs。
最常見的網路攻擊類型
首先,讓我們看一下重要的網路安全歷史。大多數網路攻擊者主要使用兩種方法,社交工程和利用軟體及韌體漏洞,來獲取初步訪問受害者、他們的裝置及網路的機會。雖然黑客或其惡意程式還有其他幾種方法(例如錯誤配置、偷聽等)可以用來獲取初步訪問,但僅有這兩種方法 – 社交工程與利用軟體和韌體漏洞 – 卻佔了絕大多數的攻擊事件。
社會工程學牽涉到 70%-90%的攻擊,而被利用的軟體和韌體漏洞則佔 大約三分之一。這兩種攻擊方式在大多數環境中(特別是如果包括住宅攻擊的話)造成的網路風險佔據了90%-99%。所以,我會先介紹這些攻擊類型。
注意:Mandiant 在2023年給出的數字是33%。根據一些報導,目前這個比例似乎在過去兩年中已經提升至40%,主要是因為幾個勒索病毒團夥專門針對特定設備的漏洞進行大規模攻擊。
社會工程是指一種詐騙者透過欺詐手段誘使潛在受害者執行某些行動(例如:提供機密資訊、點擊惡意連結、執行木馬程式等等),這些行動往往與受害者的自我利益背道而馳。這是一種犯罪詐騙行為。
我們早就知道,詐騙者對潛在目標擁有越多資訊,就越能利用這些資訊來進行詐騙,說服目標執行要求的行動。Spear phishing 是指詐騙者針對特定受害者或群體發動的網絡釣魚攻擊,通常會利用學到的資訊(而不是更一般性的攻擊,這類攻擊不包含具體的目標資訊)。
Barracuda Networks 報告指出,儘管槍擊式釣魚攻擊(spear phishing)僅佔所有電子郵件攻擊的不到 0.1%,但卻佔了成功入侵的 66%。這對於單一根本原因來說,真的是相當驚人!
我分享這些重要的事實是因為人工智慧(AI)正準備顯著提升和改善個人化的矛頭網攻和利用攻擊。
AI對社會工程的影響
搭載 AI 的社交工程機器人將開始進行許多行動,以達成更成功的社交工程,包括:
- 更精緻化攻擊者的偽造身份,讓他們所聲稱的角色更具可信度
- 優化釣魚訊息,使用更合適的議題、更佳的內容,並為目標族群撰寫完美的文法和用語
- 利用對即將受到針對性釣魚攻擊者的個人開放資訊(OSINT),撰寫個人化的針對性釣魚訊息,以提高成功率
- 在針對特定行業時使用業界專用術語
- 當目標對初步詢問作出回應並發問時,提供更好的回覆和後續對話
- 透過AI輔助服務幫助假員工更容易找到工作,製作虛假角色表現出色於面試等(這種情況已經發生)
- 撰寫能更容易繞過傳統反釣魚防禦的釣魚訊息
- 使用AI驅動的深度假冒技術,發送欺詐性音訊和視頻針對性釣魚訊息給目標(更多內容在下方)
- 總體而言,實施更精準、更成功的社會工程攻擊
讓我來進一步說明幾個這些觀點。
最厲害、最成功的駭客總是會對他們的目標進行OSINT(開放資料來源情報)調查。他們調查得越多,成功的機會就越大。隨著社會工程AI機器人的出現,將會出現變化,因為AI會進行所有的研究,而且可能還會做得更好。駭客會決定要針對某個特定的公司或組織,然後機器人會在網路上搜尋,利用OSINT工具,找出所有目標實體可能的員工。接著,它會找到這些員工的專業及個人電子郵件地址、專業及商業電話號碼、工作地點、嗜好、職位以及任何當前正在進行的專案細節。然後,AI機器人會設計出它認為最具吸引力的魚叉式網路釣魚(spear phishing),以促使員工執行某個有害的要求。而且,這種方式的成功率會比人類進行社會工程的成功率更高。
我開始看到用來描述AI輔助社會工程資訊收集的術語是超個人化或超真實社會工程。
我們怎麼知道啟用人工智慧的社交工程機器人在操控人方面會更成功?因為它們已經在這方面取得成效了。
自從2022年底OpenAI推出的ChatGPT 2.0以來,AI LLM模型開始問世,社會工程專家便開始對社會工程AI機器人與人類人才進行測試和評估。如果你還不曉得,其實已經有各種比賽,涉及人類風險管理(HRM)公司和顧問,目的是為了考察人類在社會工程方面的表現,與社會工程AI機器人的表現作比較。
回到2023年時,人類的社會工程師還是在比賽中獲勝。到了2024年,人類仍然在勝出,不過AI機器人越來越接近,有時甚至讓人感覺AI機器人贏了,儘管它其實沒有。我記得在某場比賽中,觀眾對一個輸掉的AI機器人給予熱烈的掌聲,因為大家都認為這個AI機器人應該贏。真的很接近。我聽到這件事時,意識到AI機器人贏得比賽只是時間的問題而已。
好吧,在2025年,社交工程的AI機器人正在獲勝。
根據幾個AI對抗人類的社會工程競賽報導,目前AI已經超越人類,包括這篇報導。我看過幾個AI驅動的社會工程機器人的示範,大部分的人無法分辨出AI機器人和人類之間的差異。在一些示範中,AI機器人仍然會猶豫,回覆前會有約一秒鐘的不自然延遲,但這種延遲很快就會消失……永遠消失。
已經越過了盡頭。AI 目前在社交工程領域已經優於人類,且只會越來越進步。很快,沒有一個社交工程犯罪者會依賴除了 AI 之外的任何東西來進行社交工程。依賴人類只會降低成功的機率。
AI支援的網路釣魚
大部分的釣魚攻擊是由攻擊者使用「釣魚套件」或釣魚即服務(phishing-as-a-service)軟體進行的。攻擊者並不是孤軍作戰,一個個執行釣魚攻擊。不,實際上他們使用工具,無論是「釣魚套件」還是釣魚即服務的生產力工具。
這款釣魚工具能夠製作釣魚訊息,並將其發送至提供的郵件清單,還可能創建和處理與釣魚詐騙相關的網站及其他內容。最好的釣魚工具會從詐騙的開始到收集和分發非法獲利的所有過程都一手包辦。能夠手動完成所有工作的駭客可是非常罕見的呢。
目前大部分的釣魚工具和服務都已經具備AI功能。Egress(KnowBe4的一部分)報告指出,82.6%的釣魚電子郵件是使用AI工具製作的,而82%的釣魚工具在廣告中提到了AI(沒錯,犯罪者會廣告他們的工具和功能)。到今年年底,這個數字將接近100%。不具備AI功能的駭客工具將很快失去客戶。
人工智慧驅動的深偽技術
任何人都可以取得某個人的照片,並搭配6到60秒的該人音訊,隨後輕鬆製作出一段非常真實的deepfake視訊和音訊,讓該人說或做任何事情。你不需要是AI deepfake的專家。甚至這樣做不需要花費任何金錢。註冊deepfake網站的免費帳號所需的時間,會比你創作第一段極其真實的deepfake影片還要來得長。這種技術已經存在超過一年了。
如果你還沒做過第一個深偽影片,這裡有一些建議給你:幾分鐘內打造你的第一個真實深偽影片的逐步指南
Deepfakes 讓不法之徒能夠製作假影片、假音頻、假照片,並宣稱這些是真實的。這使得詐騙者可以進行假電話通話、留下假語音留言,以及進行假 Zoom 會議。
我們過去常提醒大家要小心每封要求他們做一些奇怪事情的電子郵件。接著,我們還得提防意外的SMS和WhatsApp訊息。現在,我們還得新增對任何意外的音訊或視頻數位連結的警覺,這些連結可能會要求他們做一些奇怪的事。
但情況比這更糟。
即時深偽技術
如今,任何人都可以參加一場即時的線上對話,假裝成其他人。他們可以使用雲端或者筆記型電腦上的服務或軟體,讓自己即時變身成任何人,不論是外貌還是聲音。任何人都可以模仿其他人。
來看看我同事,Perry Carpenter’s podcast 的主題:(相關圖片如下)。
任何人都可以創建一個即時的影片和音訊串流,假裝成其他人。這種合成存在(我們稱之為 deepfakes)能夠即時模擬創作者所做的任何動作,且沒有明顯的延遲。如果創作者講話,合成實體也會講話,可能是使用創作者的聲音或是他自己模擬的聲音。名人的臉孔和聲音都能輕易模仿。如果創作者移動,合成實體也會同步移動。觀賞起來幾乎令人難以置信。
我經常製作即時的深度偽造技術(deepfakes)來模擬某些人的樣子,然後打電話給他們,讓他們和自己對話。這總是讓人驚艷。超酷的派對把戲。不久將可能成為非常普遍的詐騙手法。
情況更加糟糕。
任何人都可以輕鬆快速地從一個虛假的身份轉換成另一個虛假的身份,就像按一下滑鼠一樣。我現在是Taylor Swift,轉眼間變成Nicholas Cage。再過一會兒,我又成了Liam Neeson。
大約六個月前,Perry 和我的同事們第一次看到這項技術時,當時是在一個中國網站上以服務的形式出售。那之後大約一個月,我們又看到一位美國網絡安全專家將其提供為免費的雲端服務。如今,任何人都可以將軟體下載到他們的高階多GPU筆記型電腦上,就能做到相同的事情。只需點擊、點擊、點擊,就能即時變成另一个人……
情況更糟了。
然後Perry發現了一個「plug-in」,讓這些即時深度偽造影像能夠參加Zoom會議(下圖)。
Perry 起初對於分享他所使用的工具名稱感到猶豫不決,因為他擔心有人會利用這個工具來進行詐騙。他的擔憂並非空穴來風,因為這個工具確實會被用來詐騙人們。數百萬人,數百萬的受害者。現在已經來不及了,這個工具已經存在,將會被用來濫用。
情況變得更糟。
即時 AI 驅動的互動對話
現在已經可以有人創建一個即時的、由AI驅動的互動聊天機器人,能夠參與對話真實得讓大多數人無法察覺它是一個機器人。我在4月的KnowBe4 2025年度KB4-CON大會上,首先目睹了Perry展示這項技術的幾個演示(下方是演示的圖片)。
Perry 創建了自己的私人聊天機器人,然後提供了一個多頁的「提示」,使其轉變為一個惡意聊天機器人,試圖透過社交工程來竊取人們的私人資訊,或模擬假冒的綁架贖金要求。他常常賦予這些聊天機器人名人角色,例如 Taylor Swift,或者為了娛樂觀眾,還會給它們一個邪惡的聖誕老人角色。
接著,他讓這個聊天機器人在實時中與某個人對話,通常是和他自己進行示範。如果你曾經看過類似的東西,根本無法不被眼前的一切驚嚇到。這是一個具備AI技術的聊天機器人,聽起來和舉動都像人類,真實地參與與人類的對話,完全模仿人類的表達。我曾見過忙碌、分心的觀眾們,一個接一個,停止他們正在做的事情,放下手上的螢幕和手機,專注於Perry所展示的內容。這絕對吸引注意力。每個人都知道他們正在目睹社交工程的未來。
你正在觀看並聽到Taylor Swift進行社會工程學,試圖從一位(模擬的)受害者那裡獲取他們的個人及公司資訊。你甚至能感受到這個機器人在解釋它作為一名技術支援人員所面臨的非同尋常和意外的情況,要求受害者提供所需的資訊。我見過觀眾在Perry的邪惡聖誕老人角色開始咒罵並要求贖金,以免對(模擬的)綁架受害者下手時不禁尖叫。
這是一段充滿情感的體驗。而這正是 AI 故意帶來的…
觀眾所不知道的是,他們所看到的未來只距離我們幾個月!
Perry此後在許多頂尖會議上進行了類似的技術示範,包括RSA(那裡的演講評價非常高)以及在像CNN這樣的主要媒體節目中展示。這總是讓人印象深刻。
任何人都可以做到。雖然即時的AI啟用聊天機器人仍有些前衛,並且比起那些只是模仿創建者所說和所做的即時聊天機器人,使用起來需要更多的工作。但在幾個月內,任何人都可以擁有一個。我已經看到許多使用相同技術的示範,無論是在攻擊還是防禦場景中。
更快、更好的利用
去年我們有超過40,200個單獨公開宣佈的漏洞。在2023年,被利用的漏洞中,來自零日漏洞的數量更多(這些漏洞通常不為大眾所知,或是尚未有廠商的修補程式)由壞人用來攻擊個人和公司,這在歷史上是第一次出現此情況。
我們將會看到更多新的漏洞被發現,更多的零日漏洞被利用,以及在存在漏洞的地方更快、更頻繁地找到可利用的漏洞。
人類長期以來一直利用軟體來尋找新的漏洞。在我進行漏洞狩獵的這20年裡,我發現了一半的漏洞,而軟體也找到了另一半的漏洞。很多時候,這些尋找漏洞的軟體會找到一些奇怪的東西……但並不是真正的利用漏洞……不過我人類的調查卻發現了其他相關的東西,是真正的利用漏洞。所以,對於軟體算一半的功勞,對於人類也算一半的功勞。我想很多漏洞獵人會告訴你,這和他們的經歷很類似。
目前正在改變的是,人類越來越多地運用具有較高自主性的AI機器人來發現更多的漏洞。正如HackerOne最近報導的,許多所謂的「黑客機器人」(hackbots)現在已經能夠定期發現新的漏洞。約有20%的漏洞發現者報告表示他們使用AI助力的黑客機器人,而這個比例很快就可能會達到100%。預期明年目前的40,200個公開漏洞數量將會大幅增加。零日漏洞的數量也將驟增(目前每年大約有100個)。
當補丁釋出時,駭客會利用AI更快速地逆向工程這些補丁,並製作廣泛使用的利用程式碼。啟用AI的機器人將能夠更快地發現更多未修補的漏洞並加以利用。在數年前,傳統觀念認為大部分公司可以等一個月或更長時間來測試和修補他們的系統,但現在這個時間已經縮短到約一週,甚至在沒有AI機器人掃蕩網路尋找脆弱主機的情況下,我很容易預見修補的時間窗將縮短至幾天或甚至不到一天。
我認為很快就會出現這樣的一天,防禦者只剩下幾個小時到幾分鐘的時間來修補他們最脆弱的主機。防禦者必須利用AI來修補他們的系統。這將是唯一能比尋找漏洞的AI機器人快一步修補的方式。
搭載AI的機器人將能更快速地從初始進入點移動到所需目標(即從A到Z的動作)。我們已經有像是Bloodhound這樣的開源系統,允許攻擊者對Active Directory環境進行地圖繪製來實現這一點。我曾經看到內部紅隊使用Bloodhound進行點擊式的攻擊,讓目標在幾秒鐘內被入侵……全部都是自動化的。
運用AI的漏洞獵捕工具絕對會讓這種事情變得跟駭客攻擊一樣輕鬆。為什麼要費力駭入,如果可以輕鬆駭入呢?
行動型AI惡意軟體
Agentic AI 惡意程式將會執行所有駭客能做到的事情(例如,OSINT、初始存取、價值提取等),速度更快且效果更佳,超越人類攻擊者。我們已經有惡意程式可竊取人們的臉部,進行 AI 驅動的深偽技術,然後從需要臉部識別作為認證的銀行中盜取他們的錢財。這已不是新鮮事,而且適用於任何生物特徵(例如,臉部、指紋、視網膜、聲音等)。
我今天要講的主題是具智慧代理能力的AI惡意軟體,這種軟體可以執行完整的駭客行為,從尋找潛在受害者、進行研究、找出入侵方法(例如,社會工程或漏洞利用等)、盜取有價值的東西,然後將其交還給AI機器人的擁有者。以下是具智慧代理能力AI惡意軟體的圖示:
我在這裡對這個主題有更詳細的介紹:Agentic AI Ransomware 正在逼近。
過去一直都有軟體和惡意軟體做類似的黑客行為,但現在的情況有所改變,因為具備自主性的AI能夠更快、更好、且更具針對性地完成這些任務。一個操控的黑客可以說類似於,「我希望你能入侵年收入超過一億美元的人力資源管理公司,並盜取他們主要薪資銀行帳戶的資金。」然後就讓它去做。它會研究哪些組織符合這些標準,找出如何入侵這些公司,並竊取資金。它會判斷需要怎麼做才能最大化竊取的價值。所有黑客所做的只是給予一個起始提示,接下來的黑客任務則完全由這個代理程式完成。
錯誤資訊
假資訊在現在真的是極為嚴重。許多單位想要製造和散播假新聞。即使我再怎麼努力,有時還是不小心成為假新聞的受害者,並將其不知情地傳播出去。最具迷惑性的假新聞,往往來自那些較大且更受信任的新聞來源。人工智慧(AI)已經開始協助更有效地散播和傳遞假資訊,有時甚至連人類都不是目標。
我們已經追蹤到一些由AI創造的假新聞故事,它們使用API及其他方法來接觸其他AI與新聞來源,以更有效地散播不實資訊。沒錯,你沒看錯。有時候,AI會聯繫其他AI來散播不實資訊。
在這個特定的例子中,一個俄羅斯的宣傳平台利用AI生成的文章,在網路上釋出了360萬篇虛假資訊文章,這些文章被各種合法新聞來源的AI擷取並重新發布。這是AI對抗AI,再到人類面前。廣泛的虛假資訊從未如此容易出現。
這一切正發生著
我剛剛提到的所有內容都已經在發生中,或是在一年內就會實現。大部分在今年年底和明年初將會變得非常普遍和主流。
我怎麼知道這些呢?
嘿,我對歷史很感興趣,而未來行為的最佳指標就是過去的行為。目前為止,當人工智慧(AI)研究人員找出AI可以被用來做一些惡意行為的方法時,通常需要大約6到12個月的時間,這些技術就會進入主流的惡意軟體和社交工程詐騙工具。這是很合理的。新技術的最新發展要轉化為常用的工具和程式,無論好壞,都需要一段時間。目前為止,每一個可以被壞人濫用的AI-enabled開發最終都會出現在駭客工具中,而且幾乎在一年內,幾乎所有相關的駭客工具都會受到影響。對於上述討論的技術,預計也會出現類似的情況。
你的防禦能力
如果這個未來攻擊情境看起來有些陰暗,別忘了好人是發明 AI 的(早在 1955 年),好人是那些提升 AI 的,且好人花的錢遠比壞人多,並且運用 AI 的方式也更為有效。這一次,好人很可能擁有一個比壞人更先進的網路安全防護生態系統……或者至少有機會做到這一點。
這不是一場不對稱的網路戰爭,只有壞人使用人工智慧。相反的,現在每一家網路安全公司都已經在使用人工智慧,並即將採用具自主性的人工智慧來提升他們的產品,讓客戶的防護更加完善。KnowBe4 已經使用人工智慧超過七年來改善他們的產品,而我們對於使用人工智慧和具自主性的人工智慧的承諾比以往更加堅定。說幾乎我們每天的會議都涉及如何利用人工智慧協助我們的工作,並更好地保護我們的客戶,絕不誇張。
我們已有證據支持我們的AI驅動產品和代理商在協助保障客戶安全方面表現更佳。不僅僅是希望這樣是真的,而是看到了真實、客觀的客戶證據。
網路安全防衛者將會創建大量優秀的AI駆動防禦系統,包括威脅獵手、修補工具,以及能夠尋找並修正錯誤配置的機器人。會針對用戶的具體弱點和特定訓練需求,進行模擬的社交工程測試機器人。各組織會將這些機器人釋放到他們的環境中,指示它們保護環境不受惡意AI機器人的侵害。他們將會釋放主動尋找並摧毀壞機器人的威脅獵捕機器人,以防壞機器人造成傷害。好方機器人將與壞方機器人對抗,而最優秀的演算法將會獲勝。
好人將獲得更強大、更安全的網路基礎設施支持,這讓壞人和機器人更難隱藏。我們不會永遠生活在當前這個西部精神的野性的網路世界中。基礎設施將會改善並變得更加安全。全球最優秀的智能 AI 演算法創造者,將設計最好的防禦系統,會投入到網路安全供應商和組織中。那些數學天才和演算法創作者(「algos」)過去剛畢業時通常會選擇華爾街,現在他們會選擇大眾市場,讓世界變得更安全。
在我36年的職業生涯中,這是我第一次看到我們未來的網路安全世界將比今天的世界更安全。因此,當有些人只看到無望時,我卻看到了光明與希望。好人會獲勝!
所以請大家多加宣傳……AI攻擊已經到來,從今以後會變得更加普遍。啟用AI的攻擊將會更快速、更精準、而且更具滲透性。但我們也會運用我們的AI來更有效地對抗這些攻擊。


