AI在撰寫釣魚郵件時無法隱藏的特徵

首席分析師: Jeewan Singh Jalal, Prabhakaran Ravichandhiran, 以及 Shikhar Dalela

網路釣魚(Phishing)一直以來都是一場模仿的遊戲。然而,這幾十年來,破綻總是在細節中:這裡一個拼錯的字,那裡一句不太流暢的句子,以及一個稍微不正確的標誌。安全意識訓練圍繞著這些提示建立了一整套教義。辨認錯字,避免陷阱。

那本手冊現在已經過時了。

KnowBe4 最新的 釣魚威脅趨勢報告顯示,86% 的 釣魚攻擊在過去六個月中都涉及某種程度的人工智慧協助。現在進入您員工郵箱的電子郵件都是經過精心打磨、品牌正確、文法無誤且高度個人化的。

但這裡有件威脅行為者未考量到的事情:AI 會留下痕跡。而 KnowBe4 的威脅實驗室分析師知道要找什麼。

活動總結

  • 攻擊向量與類型: 電子郵件詐騙
  • 技術: AI輔助內容生成、無需程式碼的詐騙架構、反分析躲避
  • 繞過SEG偵測: 
  • 目標: 全球各行各業的組織
  • 獨特發現: 在所有攻擊階段中可識別的LLM痕跡(從電子郵件內容到詐騙網頁的原始碼)

威脅已經改變,但你的訓練卻沒有。

在深入探討技術指標之前,值得先了解一下我們所看到的情況的規模。由AI驅動的釣魚攻擊並不是一個小眾或新興的威脅。

這是新的基準。

產業數據支持KnowBe4分析師在實際情況中的觀察。AI生成的網路釣魚攻擊現在的點擊率約為54%,而傳統製作的攻擊則僅為12%。Cisco Talos的2026年第一季網路安全趨勢報告發現,網路釣魚攻擊再次暴增,成為初步入侵的首要途徑,超越了漏洞利用。全球每天大約會發送20到40億封網路釣魚郵件。

攻擊的量只是故事的一部分。KnowBe4 Threat Lab 想要記錄的不僅僅是 AI 的使用情況。

這關於它是如何被使用的、留下了什麼,以及這對防守者來說意味著什麼。

發現一:識別AI的痕跡與指紋

我們的分析師發現的一個最具揭示性的文物出現在一封AI生成的勒索電子郵件的第一行。這封郵件以以下方式開頭:「這是格式化並分成幾個部分的訊息:」

真實世界中網路釣魚的範例,該範例中LLM輸出前言出現在電子郵件的第二行

當一位威脅行為者要求語言模型撰寫格式化的釣魚郵件時,該模型會在回應之前給出一個結構性的摘要,說明它即將產出的內容。這名攻擊者在發送時沒有先移除那行摘要。

對接收者來說,這看起來像是雜音。但對分析師而言,這卻是AI生成的直接標記。

這並不是一次孤立的失誤。在相同的行動中,分析師發現還有兩種混淆技術與前言一起出現:隱藏的反指紋噪音標記(在電子郵件內容中注入看不見的字元以干擾基於雜湊的檢測)以及 系統化的Unicode同形異義字替換(將標準字元替換為視覺上相同的Unicode等價物以躲避文字模式匹配)。

原始電子郵件內容顯示隱藏的反指紋噪音標記被插入在內容中


Unicode 同形字替換解碼結果

單獨來看,每種技術都有詳細的文獻記錄且易於理解。然而,當它們在一封以LLM生成的前言開頭的電子郵件中一起出現時,則顯示出一個協調的AI輔助流程。

這對你的團隊意味著什麼:傳統信號模式訓練的反垃圾郵件過濾器並未調整以捕捉結構性人工智慧產物。檢測邏輯需要隨著攻擊方法的演變而發展。

發現 2: 無程式碼的釣魚網頁

第二個主要發現並不需要攻擊者具備任何程式編寫的專業知識。完全不需要。

這是一個像素完美的 Microsoft 365 登入頁面,托管於 enthusiastic-secure-link-go.base44.app。每個自動信任信號都顯示為綠色。

我們的分析師追蹤到一些完全在 無程式碼平台 上建立和託管的憑證收集頁面(例子包括 Base44、Beacons[.]ai 和 Retool)。這些頁面的誘因是一個與實際相符的 Microsoft 365 密碼到期通知。該憑證收集頁面在字型、佈局、品牌形象及流程上,都和真正的 Microsoft 登入頁面毫無區別。

攻擊者是利用文字提示和一個免費帳號建立的。

一個模仿 Meta Business Help Center 的網頁,架設於 Beacons[.]ai (另一個用於竊取憑證的平台)

一個在 Retool 托管的分享文件詭計(該平台的品牌標誌出現在角落,網頁則在竊取使用者的憑證)

這樣的操作意涵相當重大:透過在合法且已建立的平台上架設,攻擊者 繼承了這些平台的域名聲譽。 郵件閘道會通過這封郵件。URL 掃描器返回乾淨的結果。每一個自動化的檢測系統都顯示為綠色,因為這個基礎設施 是真正的 – 只是被武器化了。

這並不是某特定廠商的偵測能力存在漏洞。而是基於聲譽的過濾技術本身存在結構上的弱點。當攻擊者的基礎設施建立在與員工日常使用的相同信任服務上時,信號和噪音之間的區別幾乎不存在。

這對你的團隊意味著什麼:以聲譽為基礎的網址過濾不再足以作為防範網路釣魚的主要措施。使用者行為成為重要的防線。

發現 3:揭露一切的程式碼註解

在網路安全領域,一個威脅行為者對自己惡意程式碼的評論,粗略來說就像是一個竊賊留下簽名的便條,解釋他是如何撬鎖的。

然而,我們的分析師卻正是發現了這一點。

一個針對 Google Cloud Platform 的計費釣魚詐騙(暗黑模式及表情符號的使用是大型語言模型生成內容的指標)

根據在高仿真 Google Cloud Platform 付費釣魚郵件中的行動呼籲,分析師發現了一個用於收集憑證的網頁,該網頁包含了一系列相關聯的 JavaScript 檔案。這些檔案中充斥著詳細、使用多種語言的註解,明確記錄了攻擊的邏輯。

來自 GCP 網路釣魚頁面的反機器人檢測 JavaScript(由 LLM 生成的程式碼,並附有中文文件說明其規避邏輯)

一段從中文翻譯過來的註解區塊,完整描述了這個腳本的目的:反機器人偵測,「零誤報率」。這種說法並不是來自於開發者,而是直接來自於提示。LLMs會記錄它們被要求執行的任務,而這個模型正好做到了。

同一個檔案中包含了一個標記為「MERGED LOGIC」的區塊,這表示模型被指示要結合多個來源的行為。另一個註解則明確顯示了攻擊者的 Telegram 外洩端點,採用簡單的英文。模型設置了這個陷阱,然後為每個部分標註了名稱。

在這次及相關的活動中,出現了兩個額外的 LLM 指標:

Emoji 記號:AI 使用表情符號的頻率遠高於人類開發者,特別是在介面和程式碼註解中。GCP 釣魚頁面在視覺上因為大量使用表情符號的設計選擇而顯得獨特,並且至少有一個可見度較低的文字元素,這表明該模型未能正確評估插入文字的背景對比度。

過度設計的 CSS:在一封行銷電子郵件中,單一的錨點標籤包含了 19 個獨立的 CSS 屬性 — 包括 orphans:2、 widows:2,以及 font-variant-ligatures:normal,這些都是針對印刷排版的控制,對於電子郵件沒有實質的應用價值。大型語言模型 (LLMs) 根據訓練數據模式生成「技術上完整」的代碼,卻缺乏上下文判斷,無法辨識哪些屬性是合適的。結果產生的代碼雖然能運行,但結構上顯得非常不自然。

這對你們團隊的意義:AI生成的攻擊程式碼具有自我註解和結構獨特的特性。對於投入威脅情報和事件回應能力的組織而言,LLM文檔可能在歸因和攻擊活動聚類方面是有用的。

發現 4:假對話串作為抗掃描填充

我們分析師紀錄的第四項技術是比較反直覺的:在釣魚郵件中插入AI生成的填充內容,並使用CSS將其隱藏,讓接收者無法看到,而掃描器也無法檢測到。

Walmart的獎勵誘惑,從接受者的角度來看(兩大塊AI生成的對話隱藏在底下,使用CSS)

在一個針對Walmart的獎勵索取釣魚活動中,分析師發現了兩個隱藏的大型內容區塊,裡面包含虛構的辦公室午餐訂購對話。這些內容區塊是用 display:none, overflow:hidden, max-height:0,以及 color:transparent 隱藏起來的。

這個目的在於以看起來無害的上下文文字來填充電子郵件,讓啟發式掃描器看到的是一封充滿正常語言的電子郵件,而不是只有稀疏誘餌與可疑連結的郵件。

由Walmart釣魚詐騙所提取的隱藏對話線索(注意到
<recipient_email>佔位符反覆出現,以及完美的7-8分鐘時間戳記,還有對剩餘食物份量的計算)

幾個AI生成的文物在隱藏文字中明顯出現:

  • 完美間隔的時間戳。這封偽造的電子郵件串顯示四封郵件的發送時間精確地相隔7到8分鐘(5:08, 5:14, 5:21, 5:29)。人類不會在約晚餐時以如此精準的計時來安排聊天。
  • 類似簡訊風格的電子郵件對話。內容是經典的快速對話,討論外賣訂單——這種交流方式通常發生在簡訊中,而非電子郵件。當大型語言模型(LLMs)被要求「生成一個隨意的對話」時,通常會回到這種模式,因為它們的訓練數據中包含簡訊和聊天記錄。
  • 身份固定。在這個隱藏的串內,收件人的電子郵件地址出現了15次,雙方在偽造的交流中都以完整的電子郵件地址互相稱呼。攻擊者令模型將訊息與收件人的身份固定,來提升相關性評分。人類在訂晚餐的計畫中不會用完整的電子郵件地址來稱呼彼此。
  • 數學混亂。這段對話中包括了一個實際的除法計算,用來分配剩菜。這類經典的AI過度設計讓人搖頭。

這對你的團隊意味著什麼:在使用者訓練中,僅依賴「尋找語法錯誤」的準則是不夠的。員工還需要接受有關網址驗證和額外確認的訓練,以作為主要的信任信號。

妥協指標

所有指標都已被去鋒利化。請在導入到威脅情報平台之前進行恢復。

類型數值活動
網域akusu[.]co[.]in憑證竊取端點
網域sleadtrack[.]com點擊追蹤重定向
網域bhuntr[.]com勒索信發送者網域
網域brookstone12[.]comWalmart 獎勵重定向目標
網域ssosecure[.]onlinemabethreturn[.]com憑證重定向目標
網域enthusiastic-secure-link-go[.]base44[.]app/Base44 生成的釣魚頁面
網址creative24[.]meliohbistro[.]com/wp-weblogin/Microsoft 365 釣魚頁面主機
網址bitly[.]cx/4g893釣魚重定向器
電話+1 587 315 5093加密錢包盜取的消息號碼
比特幣地址15q3oMhkVK24jT8245xCBwE5Aqgxic6ehF勒索付款錢包
CDNres[.]cloudinary[.]com/dhwr8jz0x/攻擊者控制的主機

MITRE ATT&CK 映射

  • T1566.001 (釣魚攻擊:特定目標附件): 大規模散佈的AI生成誘餌
  • T1566.002 (釣魚攻擊:特定目標連結): 透過無需編碼的平台進行高保真品牌假冒
  • T1027 (隱藏檔案或資訊): Unicode 同形字、隱藏的 CSS 區塊、抗指紋識別的噪音標記
  • T1583.001 (獲取基礎設施:域名): 由攻擊者控制的重導及外洩基礎設施
  • T1598 (釣魚以獲取資訊): 透過複製的登入頁面收集憑證

安全團隊現在應該做的事情

視覺上的光鮮並不代表可信度。一封經過打磨的電子郵件,擁有正確的品牌形象且沒有錯字,並不代表它的內容是可靠的 — 這可能只是意味著攻擊者使用了更高級的工具。

退休「尋找錯字」的直覺。 安全意識訓練 必須明確針對經過 AI 修飾的詐騙信息,並將重點轉向 URL 驗證和非即時確認作為主要的使用者控制措施。

請確認每個登入頁面的網址列。真正的 Microsoft 登入頁面顯示的是 microsoft.com。真正的 DocuSign 頁面顯示的是 docusign.com。其他的網址即使看起來再怎麼好,也都不是正確的服務。

標示收件人的電子郵件地址在異常的位置。在隱藏內容區塊中將收件人的電子郵件地址插入句子中是特定的AI模板遺留物,並沒有正當的使用案例。

重新評估基於聲譽的過濾。當攻擊基礎設施建構在合法的無碼平台上,單靠域名聲譽信號是不足夠的。需要透過行為分析和內容檢查來補足。

投資於更新的偵測邏輯。如果您的工具有在尋找,LLM 藝術品是可以被識別的。僅僅依賴基於簽名的偵測無法捕捉到 AI 生成的攻擊變種。

想要獲得即時更新和持續的威脅情報,請在 X 上關注 KnowBe4 ThreatLabs:@Kb4Threatlabs

文章來源: What AI Can’t Hide When It Writes a Phishing Email

You cannot copy content of this page