根據新發佈的 2023 MITRE Engenuity ATT&CK 評估結果，Cortex XDR 是唯一能夠提供 100% 防護和 100% 分析涵蓋率、達到零設定變更和零延遲偵測的產品。

第五輪 MITRE Engenuity ATT&CK 評估的結果已經公佈，儘管每家廠商都聲稱取得 100% 的成績，但是真相在於細節，數據也不會說謊。Cortex 是今年唯一提供 100% 預防和分析偵測的一家廠商。

直接來自 MITRE Engenuity ATT&CK 評估網站的圖例展示 2023 年 Turla 評估的第一個偵測測試結果。

在不斷演進的網路安全形勢中，比對手更早一步採取行動從未如此重要。攻擊者會不斷尋求全新且複雜的方法來突破防禦機制。這是一場高風險的遊戲，其中的規則不斷變化，而落後的後果可能是災難性的。

這就是 MITRE Engenuity 憑藉其企業 ATT&CK 評估而發揮功效之處，可說是在混亂中提供一盞明燈。對於資訊安全長、安全專業人員以及任何負責保護企業數位資產的人員來說，這些評估已成為非常寶貴的資源。針對業界的端點安全解決方案在面對足智多謀的網路破壞者時會如何表現，這些評估可提供如同試金石一般的檢驗或效能評估。

但是，MITRE Engenuity ATT&CK 評估到底是什麼？為什麼我們應該要關心結果？這些年度評估模擬我們這個時代一些最活躍、最惡名昭彰的威脅組織所採用的策略、技術和程序 (TTP)。MITRE Engenuity 紅隊邀請網路安全解決方案供應商防禦精心設計的攻擊 (僅偵測模式和預防模式)，以提供對三種功能的見解：

1. 可視性 – 解決方案可以看到什麼
2. 偵測 – 解決方案可以準確地識別哪些動作是惡意的
3. 保護 – 解決方案可以防止哪些惡意行為

今年共有 29 家廠商參與這些評估，數量相當驚人，這不但是對其價值的肯定，也反映 MITRE Engenuity 在評估中投入的心力，以確保他們能提供具有挑戰性和競爭性的活動。

第 5 輪 (Turla)

今年是第五次的年度評估，而這次 MITRE Engenuity 紅隊的重點在於模仿 Turla 採用的方法，也就是我們的 Unit 42 威脅研究人員所廣泛研究過的威脅組織。Turla 是一個資金極為雄厚且技術高超的俄羅斯威脅組織，遭到攻擊的受害者遍佈超過 45 個國家/地區。他們的目標是政府機構、軍事單位、外交使館以及研究和媒體組織。Turla 的惡名源自於其隱匿的資料外洩策略，包括對於政府網站的水坑攻擊、自訂 Rootkit、精心設計的命令和控制網路基礎結構以及欺騙戰術。透過跟參與者的交談，我們可以清楚得知，今年度 MITRE Engenuity 在攻擊方法的精密度方面取得巨大的進展。

藍隊在 Windows 和 Linux 端點上都部署 Cortex XDR Pro for Endpoint 代理程式。此外其並未部署任何其他的解決方案，而 Cortex XDR 的設定就如同出廠時一般的預設值，唯一的改變是啟用惡意檔案的隔離，並對 Linux 啟用將灰色軟體視為惡意軟體的選項。

關鍵指標和評估標準

今年的評估項目分為 Carbon 和 Snake 兩個僅進行偵測的情境，分別對應 Turla 所建立及使用、引人矚目的工具。接下來是保護階段，反映偵測測試中的技術注入足夠的熵，並注入足夠的熵以確保其不會與偵測測試完全相同。這兩個偵測情境各有 10 個步驟，並由多個子步驟組成，並各自對應到 MITRE ATT&CK 框架中的實際技術。每家廠商都有機會經歷 143 個子步驟。針對每個子步驟，MITRE Engenuity 團隊都會記錄每個解決方案是否對其採取的動作進行偵測。

其中每一項偵測都會根據觀察到的偵測品質進行分類。

MITRE Engenuity 偵測類別：

• 不適用 – 參與者對於測試中的系統不具有可視性。(如果他們選擇退出 Linux 評估，就會發生這種情況。)
• 無 – 未進行偵測。(沒有與惡意活動相關的遙測)
• 遙測 – 任何能夠顯示所發生事件的功能，由其所收集經過最低限度處理的資料。(此類型的偵測通常只是基本的活動記錄。)
• 一般 – 偵測到異常事件。不過，並未指定 ATT&CK 策略 (或同等的脈絡)。(此類型的偵測會讓安全分析人員調查及判斷已執行哪些動作及其原因。)
• 策略 – 已指定異常事件的 ATT&CK 策略 (或同等的脈絡)。(此類型的偵測會判斷動作發生的原因，但仍會讓安全分析人員調查對方已執行哪些動作或技術。)
• 技術 – 已指定異常事件的 ATT&CK 技術 (或同等的脈絡)。(此類型的偵測會提供必要的脈絡和詳細資訊來回答為何攻擊者會執行此動作，並明確地指出他們會使用哪種動作來達到其目標。)

MITRE Engenuity 會有效識別兩種涵蓋類型：遙測涵蓋範圍和「分析涵蓋範圍」。遙測涵蓋範圍會定義為子步驟的數量，其中解決方案會產生遙測偵測以作為其最具價值的偵測。分析涵蓋範圍同樣定義為子步驟的數量，不同的是其包含一般、策略或技術偵測。

值得注意的是所有偵測都可能存在兩種偵測修飾詞的其中一種：

• 設定變更 – 如果觀察到的偵測是在測試的第四天 (也就是廠商有第二次機會偵測到他們在初始測試中遺漏的惡意活動) 所實施，則會註記一個設定變更的修飾詞。
• 延遲偵測 – 如果未及時觀察到偵測，則會註記一個延遲偵測修飾詞，這表示採取動作的時間以及在廠商的主控台觀察到該偵測的時間存在顯著的延遲。

防護情境包含 129 個子步驟，並且歸類為 13 個主要步驟。每個子步驟的情況各自不同，每個防護子步驟可能被封鎖或未被封鎖，並記錄為以下三種類型之一：

• 受保護 – 惡意活動被封鎖。
• 不適用 (受保護) – 當預防步驟中的先前子步驟遭到封鎖，因此無法執行後續子步驟時，就會發生這種情況。
• 無 – 這代表著惡意活動未被封鎖。

Cortex XDR 的表現如何？

這些評估的目的是提供對於這三種能力的深入見解：

1. 可視性 – 解決方案可以看到什麼
2. 偵測 – 解決方案可以準確地識別哪些動作是惡意的
3. 保護 – 解決方案可以防止哪些惡意行為

Cortex XDR 獨自提供 100% 的防護，同時提供 100% 的可視性和 100% 的分析涵蓋率 (偵測)，且不存在任何設定變更和延遲偵測。

此外，我們的偵測品質可說是無與倫比的，在全部 143 項偵測中有 142 項屬於技術水平偵測 – 幾乎達到最高品質的偵測。另外一項偵測被認為是一種策略層級的偵測。「防護」評估中全部的 129 個子步驟都遭到封鎖。其中全部都是透過零「設定變更」和零「延遲偵測」所完成的。事實上，如果我們排除設定變更導致的偵測，Cortex XDR 則是唯一沒有任何遺漏的廠商 (偵測類型，無)。換句話說，Cortex XDR 是唯一具有 100% 可視性的一家廠商。

Palo Alto Networks MITRE Engenuity ATT&CK 評估儀表板。顯示 2023 年 Turla 評估結果的快照。

今年評估的結果反映出 Palo Alto Networks 持續在對抗性研究和端點安全工程方面投入大量的心力，並且運用這些知識來協助我們的客戶在日益惡化的網路世界中確保自身的安全無虞。

關於 100% 的說明

如果您已經注意 ATT&CK 評估已有一段時間，您可能會覺得 100% 很平常。但是不要因此而感到困惑；當其他解決方案聲稱在今年達到 100% 的評估時，實際上只代表他們在所有重要步驟中都至少進行一項偵測和/或預防。只有 Cortex 為每一個單獨的惡意動作 (即子步驟) 提供這些偵測。

100% 的偵測和預防是我們所有人都應該努力達到的標準。正如 Forrester 的Allie Mellen 在去年的評估後指出的那樣，「偵測已知威脅行動者所發動的攻擊應該是安全產品功能的最低要求，而不該是其能力所及的天花板。」1 我們完全同意，而這正是 Cortex XDR 所設定的標準。

儘管如此，Allie 也明確地指出，或許 100% 的偵測並不一定是件好事，因為那些「針對每項技術進行偵測的解決方案，有可能會產生雜訊、高誤判率，並且發出過多的警示。」我們也認同這個觀點，這就是為什麼我們大量利用機器學習來了解哪些活動代表正常運作，哪些可能是惡意動作。此一論點也藉由 Cortex XDR 獲得進一步證實，因為我們整合來自許多其他關鍵數據來源的額外遙測以提供關鍵的脈絡線索，藉此協助您釐清調查重點。

探索 ATT&CK 評估結果

在此我們必須跟 MITRE Engenuity 致敬，因為今年的挑戰明顯比前幾年更大。此外，他們也做了許多改進來協助防禦方制定明智的決策，對此我們感到非常欣慰。目前 ATT&CK 評估結果會發佈於 MITRE Engenuity 網站上，讓您可以同時比較三家廠商的評估結果。您可以選擇三種評估情境中的任一個情境，並且最多選擇三家廠商。依預設，顯示的結果會包含延遲偵測以及因設定變更而導致的結果。不過，您也可以查看移除這些修飾詞後的偵測結果。

來自 MITRE Engenuity ATT&CK 評估網站，防護評估結果。只有 Cortex XDR 具備 100% 防禦能力。

我們多年來一直都聽到有人說 ATT&CK 的評估結果，由於沒有數據視覺化工具可以查看所有廠商的結果，因此相當難以了解。為了解決這個問題，我們建立一個工具來協助您探索今年以及往年的結果。利用這個工具，您可以選擇您感興趣的廠商以及已模擬的特定攻擊者。所有產生的圖表都是直接從 MITRE Engenuity 為每個參與廠商提供的 JSON 檔案所建立的。您可以自行探索 ATT&CK 評估結果，並由數據來決定能夠為您的企業提供防禦的最佳選擇。

1. Forrester® 和 Allie Mellen。「首席分析師。」MITRE ATT&CK 評估：獲得100% 的涵蓋率並不像廠商所說的那麼好，Forrester®，2022 年，https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/。2023 年 9 月 19 日存取。

2023 年 MITRE Engenuity ATT&CK 评估结果已出炉，结果表明，只有 Cortex XDR 能够提供 100% 的保护和 100% 的分析覆盖率，并且无需配置更改和延迟检测。

第五轮 MITRE Engenuity ATT&CK 评估的结果已经发布，尽管每个供应商都声称自己在所有方面都达到 100% 的效果，但真相在于细节，数据不会撒谎。今年，Cortex 是唯一一家提供 100% 预防和分析检测的供应商。

直接来自 MITRE Engenuity ATT&CK 评估网站的一个插图显示了 2023 年 Turla 评估的第一次检测测试结果。

鉴于网络安全不断发展的形势，比攻击者领先一步有着前所未有的重要性。攻击者不断寻找新的复杂方法突破防线。这是一个规则不断变化的高风险游戏，落后一步后果都可能是灾难性的。

正因如此，MITRE Engenuity 凭借企业 ATT&CK 评估站上了历史舞台，为混乱中的人们提供了一道明亮的指引之光。这些评估已成为 CISO、安全专业人员和任何负责保护组织数字资产的人员的宝贵资源。这类评估不仅是试金石，同时也是在企业面临最神通广大的网络破坏者时所采用的端点安全解决方案的性能评价。

但是，MITRE Engenuity ATT&CK 评估到底是什么？为什么要关心结果？这些年度评估模拟了我们这个时代一些最活跃、最臭名昭著的威胁团伙所采用的战术、技术和程序 (TTP)。MITRE Engenuity 红队邀请网络安全解决方案提供商防御精心设计的攻击（仅检测和预防模式），以提供对以下三种功能的深入了解：

1. 可视性 – 解决方案可见的内容
2. 检测 - 解决方案可以准确识别哪些操作是恶意的
3. 保护 - 解决方案可以防止哪些恶意行为

参与这些评估的供应商数量惊人（今年有 29 家），这是对他们价值的认可，也反映了 MITRE Engenuity 在评估中付出的艰辛努力，以确保他们提供具有挑战性和挑衅性的参与。

第 5 轮 (Turla)

今年是第五届年度评估，MITRE Engenuity 的红队专注于模拟 Turla 的方法，这是我们的 Unit 42 威胁研究团队进行了广泛研究的一个威胁阻止。Turla 是一个资金充足且技术精湛的俄罗斯威胁组织，已经在超过 45 个国家/地区的受害者中植入了病毒。他们的目标是政府机构、军事团体、外交使团以及研究和媒体组织。Turla 的恶名源于其隐蔽的渗透策略，包括针对政府网站的水坑攻击、定制 rootkit、复杂的命令和控制网络基础设施以及欺骗策略。从与参与防御的人员的交谈中可以看出，MITRE Engenuity 在今年的攻击方法的复杂性方面取得了重大进步。

蓝队在 Windows 和 Linux 终端上部署了 Cortex XDR Pro for Endpoint 代理。Cortex XDR 没有部署额外的解决方案，而是被配置为默认设置，就像它刚从盒子里拿出来一样，唯一的更改是启用了隔离恶意文件的功能，对于 Linux，启用了将灰色软件视为恶意软件的选项。

关键指标和评估标准

今年的评估分为两个纯检测场景，名为 Carbon 和 Snake，对应于 Turla 创建和使用的知名工具。接下来是保护阶段，反映检测测试中的技术，注入足够的熵，使其看起来与检测测试不完全相同。这两个检测场景各有 10 个步骤，由多个子步骤组成，这些子步骤映射到 MITRE ATT&CK 框架中的实际技术。每个供应商都有机会看到共 143 个子步骤。对于每个子步骤，MITRE Engenuity 团队都会记录每个解决方案是否检测到所采取的操作。

这些检测中的每一个都根据观察到的检测质量进行分类。

MITRE Engenuity 检测类别：

• 不适用 – 参与者无法了解被测系统。（如果他们选择退出 Linux 评估，就会出现这种情况。）
• 无 – 没有检测到结果。（没有与恶意活动相关的遥测）
• 遥测 - 由显示事件发生的能力收集的经过最少处理的数据。（这种类型的检测通常是基本的活动记录。）
• 常规 – 检测到异常事件。但是，未指定 ATT&CK 策略（或等效情境）。（常规 - 这种类型的检测需要安全分析师进行调查，并确定采取了什么行动以及为何采取这些行动。）
• 战术 – 指定了异常事件的 ATT&CK 策略（或等效情境）。（这种类型的检测可以表明为什么会发生某个操作，但同样会让安全分析师去调查采取了什么行动或技术。）
• 技术 – 指定了异常事件的 ATT&CK 技术（或等效情境）。（这种水准的检测提供了回答问题所需的情境和详细信息，例如攻击者为什么要执行某项行动，尤其是他们通过什么行动来实现目标。）

MITRE Engenuity 有效地识别了两种类型的覆盖范围：遥测覆盖率和“分析覆盖率”。遥测覆盖率定义为解决方案产生的遥测检测作为其最高价值检测的子步骤数。分析覆盖率定义为包含一般、策略或技术检测的子步骤数。

还有一点值得注意的是，所有检测都可能具有两个检测修饰符之一：

• 配置变更 - 如果在测试的第四天（即供应商有第二次机会检测他们在初始测试中错过的恶意活动）实现了观察到的检测，则会记录配置更改修饰符。
• 延迟检测 – 如果没有及时观察到检测，就会记录一个延迟检测修饰符，这意味着在采取行动和在供应商的控制台中观察到检测时会发生明显的延迟。

对于保护场景，有 129 个子步骤，分为 13 个主要步骤。在这些子步骤的情况下。每个保护子步骤要么被阻止，要么未被阻止，并记录为以下内容之一：

• 受保护 – 恶意活动被阻止。
• 不适用（受保护）– 当预防步骤中的先前子步骤被阻止，从而无法执行后续子步骤时，就会发生这种情况。
• 无 – 这意味着恶意活动未被阻止。

Cortex XDR 表现如何？

这些评估的目的是深入了解三种能力：

1. 可视性 – 解决方案可见的内容
2. 检测 - 解决方案可以准确识别哪些操作是恶意的
3. 保护 - 解决方案可以防止哪些恶意行为

Cortex XDR 独自提供 100% 保护同时提供 100% 的 可视性和 100% 的分析范围（检测）零配置更改或延迟检测。

此外，我们的检测质量是无与伦比的，143 项检测中有 142 项属于技术水平检测 – 最高质量的检测。另一项检测被认为是战术级检测。保护评估中的 129 个子步骤中的每一项都被阻止。所有这一切都是通过零“配置更改”和零“延迟检测”来完成的。事实上，如果我们排除配置更改导致的检测，Cortex XDR 是唯一没有漏检（检测类型为无）的供应商。换句话说，Cortex XDR 是唯一一个具有 100% 可视性的解决方案。

Palo Alto Networks MITRE Engenuity ATT&CK 评估仪表板。显示 2023 年 Turla 评估结果的快照。

本年度的评估结果反映了 Palo Alto Networks 在对抗性研究和终端安全工程方面持续投入的巨大努力，这些知识将有助于帮助我们的客户在日益敌对的网络世界中保持安全。

诠释 100%

如果您关注 ATT&CK 评估已有一段时间，您可能会觉得 100% 这个数字很稀松平常。但是请不要混淆，如果其他解决方案声称在本年度评估中达到 100%，这表示他们在所有主要步骤中至少有一次成功的检测或预防行为，并不代表所有情况。只有 Cortex 能够针对每个恶意操作提供相应的检测（即子步骤）。

100% 的检测和预防是我们所有人的努力目标。正如 Forrester 的 Allie Mellen 在去年的评估后指出的那样，“检测威胁行动者发起的攻击应该是安全产品功能的底限而非上限。”1对此，我们完全赞同，Cortex XDR 正在努力践行这一标准。

Allie 也指出，诚然，或许 100% 并不总是一件好事，因为，如果解决方案对每种技术都进行检测，就可能会产生干扰、提高误报发生的几率，产生过多的警报。”我们也赞同这一观点，所以我们大量利用机器学习来了解哪些活动表示正常操作，哪些表示潜在的恶意操作。对于 Cortex XDR 来说，这一点得到了进一步加强，因为我们整合了来自许多其他关键数据源的额外遥测数据，这些数据提供了关键的上下文线索，帮助确定您的调查重点。

探索 ATT&CK 评估结果

首先，我们要向 MITRE Engenuity 致敬，因为今年比往年更具挑战性。另外，我们对他们为帮助防御者做出明智决策所做的改进感到非常兴奋。MITRE Engenuity 网站上托管的 ATT&CK 评估结果现在允许您将三个供应商的结果进行并排比较。您可以选择三个评估方案其中之一，并选择最多三个供应商。默认情况下，显示的结果包含延迟检测以及因配置更改而导致的结果。不过，您还可以查看删除了这些修饰符后的检测结果。

通过 MITRE Engenuity ATT&CK 评估网站，您可以查看保护评估结果。只有 Cortex XDR 可以实现 100% 预防。

多年来，我们一直听说很难理解 ATT&CK 评估结果，因为没有数据可视化工具允许您查看所有供应商的结果。为了实现这一目标，我们创建了一个工具来帮助您探索今年以及往年的结果。借助此工具，您可以选择您感兴趣的供应商以及模拟的特定攻击者。所有生成的图表都是直接根据 MITRE Engenuity 为每个参与供应商提供的 JSON 文件构建的。了解 ATT&CK 评估结果有助于为您自己提供帮助，通过数据确定最佳选择，捍卫您的业务。

1. Forrester® 和 Allie Mellen。“首席分析师。”MITRE ATT&CK 评估：实现 100% 覆盖率并不是像供应商说的那么好，Forrester®，2022 年，https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/。访问日期：2023 年 9 月 19 日。

2023년 MITRE Engenuity ATT&CK 평가 결과가 발표되었으며, Cortex XDR만이 구성 변경 및 탐지 지연 없이 100% 보호 및 100% 분석 범위를 제공합니다.

MITRE Engenuity ATT&CK 평가의 5차 결과가 발표되었으며, 모든 공급업체가 100%를 주장하고 있지만 진실은 디테일에 있으며 데이터는 거짓말을 하지 않습니다. 올해 Cortex는 100% 예방 및 분석 탐지 기능을 갖춘 유일한 공급업체입니다.

MITRE Engenuity ATT&CK 평가 웹 사이트에서 직접 가져온 그림은 첫 번째 탐지 테스트에 대한 2023년 Turla 평가 결과를 보여줍니다.

끊임없이 진화하는 사이버 보안 환경에서 한 발 앞서 나가는 것이 그 어느 때보다 중요해졌습니다. 공격자들은 방어를 뚫기 위한 새롭고 정교한 방법을 지속적으로 모색합니다. 규칙이 끊임없이 바뀌고, 뒤쳐지면 재앙이 될 수 있는 위험한 게임입니다.

바로 이 지점에서 MITRE Engenuity가 엔터프라이즈 ATT&CK 평가를 통해 혼돈 속에서 명확성의 기준을 제시합니다. 이러한 평가는 CISO, 보안 전문가 및 조직의 디지털 자산을 보호하는 업무를 담당하는 모든 사람에게 귀중한 리소스가 되고 있습니다. 가장 교활한 사이버 방해자에 맞서 업계의 엔드포인트 보안 솔루션이 어떻게 견디는지에 대한 리트머스 테스트 또는 성능 검토를 제공합니다.

그렇다면 MITRE Engenuity ATT&CK 평가는 정확히 무엇이며, 그 결과에 관심을 가져야 하는 이유는 무엇일까요? 이 연례 평가는 오늘날 가장 활동적이고 악명 높은 위협 그룹이 사용하는 전술, 기술 및 절차(TTP)를 에뮬레이트합니다. MITRE Engenuity 레드팀은 사이버 보안 솔루션 제공업체를 초대하여 세심하게 계획된 공격(탐지 전용 및 방지 모드 모두)을 방어할 수 있는 다음 세 가지 역량에 대한 인사이트를 제공합니다.

1. 가시성 – 솔루션이 볼 수 있는 것
2. 탐지 – 솔루션이 악의적인 행위를 정확하게 식별할 수 있는 행위
3. 보호 – 솔루션으로 방지할 수 있는 악성 행위

올해 29개라는 엄청난 수의 공급업체가 이 평가에 참여했는데, 이는 그들의 가치에 대한 찬사이자 도전적이고 도발적인 참여를 보장하기 위해 MITRE Engenuity가 평가에 쏟는 노력을 반영하는 것입니다.

5차(Turla)

올해로 5회째를 맞이하는 연례 평가에서 MITRE Engenuity 레드팀은 Unit 42 위협 연구자들이 광범위하게 연구한 위협 그룹인 Turla의 방법을 모방하는 데 중점을 두었습니다. Turla는 45개국 이상에서 피해자를 공격해온 러시아 기반 위협 그룹으로, 막대한 자금력과 정교한 기술을 보유하고 있습니다. 이들은 정부 기관, 군사 단체, 외교 사절단, 연구 기관, 언론 기관을 표적으로 삼았습니다. Turla의 악명은 정부 웹사이트 워터홀링, 맞춤형 루트킷, 정교한 명령 및 제어 네트워크 인프라, 속임수 전술 등 은밀한 유출 전술에서 비롯됩니다. 참가한 수비수들과 이야기를 나누다 보면 MITRE Engenuity가 올해 공격 방법의 정교함에서 큰 도약을 이룬 것이 분명합니다.

블루팀은 Windows 및 Linux 엔드포인트 모두에 엔드포인트 에이전트용 Cortex XDR Pro를 배포했습니다. 추가 솔루션은 배포되지 않았으며, 악성 파일을 격리하고 Linux의 경우 그레이웨어를 멀웨어로 처리하는 옵션을 활성화하는 것만 변경한 채로 기본 설정 그대로 Cortex XDR을 구성했습니다.

주요 지표 및 평가 기준

올해의 평가는 Turla가 만들고 사용하는 주목할만한 도구에 해당하는 Carbon과 Snake라는 두 가지 탐지 전용 시나리오로 분류되었습니다. 보호 단계는 탐지 테스트의 기술을 반영하여 탐지 테스트와 동일하게 보이지 않도록 충분한 엔트로피를 주입합니다. 두 가지 탐지 시나리오에는 각각 MITRE ATT&CK 프레임워크의 실제 기술에 매핑되는 여러 하위 단계로 구성된 10단계가 있습니다. 각 공급업체가 확인할 수 있는 하위 단계는 총 143개였습니다. 이러한 각 하위 단계에 대해 MITRE Engenuity 팀은 각 솔루션에서 수행된 조치가 탐지되었는지 여부를 기록했습니다.

이러한 각 탐지는 관찰된 탐지 품질을 기준으로 분류되었습니다.

MITRE Engenuity 탐지 카테고리:

• 해당사항 없음 – 참가자는 테스트 중인 시스템을 볼 수 없었습니다. (Linux 평가를 선택 해제한 경우에도 마찬가지입니다.)
• 없음 – 탐지되지 않았습니다. (악성 활동과 관련된 텔레메트리 없음)
• 텔레메트리 – 이벤트가 발생했음을 보여주는 기능에 의해 수집된 최소한으로 처리된 데이터입니다. (이 유형의 탐지는 일반적으로 활동에 대한 기본 로깅입니다.)
• 일반 – 비정상적인 이벤트가 감지되었습니다. 그러나 ATT&CK 전술(또는 동등한 컨텍스트)이 지정되지 않았습니다. (이러한 유형의 탐지는 보안 분석가가 어떤 조치와 그 이유를 조사하고 결정하도록 합니다.)
• 전술 – 비정상적인 이벤트의 ATT&CK 전술(또는 동등한 컨텍스트)이 지정되었습니다. (이 유형의 탐지는 작업이 발생한 이유를 주장하지만 보안 분석가는 어떤 작업이나 기술이 수행되었는지 조사해야 합니다.)
• 기술 – 비정상 이벤트의 ATT&CK 기술(또는 동등한 컨텍스트)이 지정되었습니다. (이 정도 수준의 탐지는 공격자가 작업을 수행한 이유와 목표를 달성하기 위해 사용한 작업이 정확히 무엇인지 대답하는 데 필요한 컨텍스트와 세부 정보를 제공합니다.)

MITRE Engenuity는 두 가지 유형의 적용 범위를 효과적으로 식별합니다. 텔레메트리 범위 및 "분석 범위". 텔레메트리 범위는 솔루션이 텔레메트리 탐지를 가장 높은 값으로 탐지하는 하위 단계의 수로 정의됩니다. 분석 범위는 일반, 전술 또는 기술 탐지를 포함하는 하위 단계의 수로 정의됩니다.

모든 탐지에는 두 가지 탐지 수정자 중 하나가 있을 수 있다는 점도 주목할 가치가 있습니다.

• 구성 변경 – 관찰된 탐지가 테스트 4일차에 달성된 경우 구성 변경 수정자가 기록됩니다. 이 날은 공급업체에 초기 테스트에서 놓친 악성 활동을 탐지할 수 있는 두 번째 기회가 제공되는 날입니다.
• 지연된 탐지 – 탐지가 적시에 관찰되지 않으면 지연된 탐지 수정자가 기록됩니다. 즉, 조치가 취해질 때와 공급업체 콘솔에서 탐지가 관찰될 때 상당한 지연이 발생한다는 의미입니다.

보호 시나리오의 경우 13개의 주요 단계로 구성된 129개의 하위 단계가 있습니다. 이러한 하위 단계의 경우. 각 보호 하위 단계는 차단되거나 차단되지 않았으며 다음 중 하나로 기록되었습니다.

• 보호됨 – 악의적인 활동이 차단되었습니다.
• 해당 없음(보호됨) – 방지 단계의 이전 하위 단계가 차단되어 후속 하위 단계를 실행할 수 없는 경우에 발생합니다.
• 없음 – 이는 악의적인 활동이 차단되지 않았음을 의미합니다.

Cortex XDR의 성능은 어땠나요?

이러한 평가의 목적은 다음 세 가지 기능에 대한 통찰력을 제공하는 것입니다.

1. 가시성 – 솔루션이 볼 수 있는 것
2. 탐지 – 솔루션이 악의적인 행위를 정확하게 식별할 수 있는 행위
3. 보호 – 솔루션으로 방지할 수 있는 악성 행위

Cortex XDR은 구성 변경이나 탐지 지연 없이 100% 가시성과 100% 분석 범위(탐지)를 제공하면서 100% 보호 기능을 제공하는 독보적인 제품입니다.

또한, 143건의 탐지 중 142건이 최고 수준의 탐지인 기술 수준 탐지인 만큼 탐지 품질은 타의 추종을 불허합니다. 또 다른 탐지는 전술 수준 탐지로 인식되었습니다. 보호 평가의 129개 하위 단계가 모두 차단되었습니다. 이 모든 것이 "구성 변경"과 "감지 지연"이 전혀 없이 이루어졌습니다. 실제로 구성 변경으로 인한 탐지를 제외하면 Cortex XDR은 탐지 누락이 없는 유일한 공급업체였습니다(탐지 유형, 없음). 즉, 100% 가시성을 제공하는 것은 Cortex XDR이 유일했습니다.

팔로 알토 네트웍스 MITRE Engenuity ATT&CK 평가 대시보드. 2023 Turla 평가 결과를 보여주는 스냅샷.

올해 평가 결과는 팔로 알토 네트웍스가 엔드포인트 보안에 대한 공격 연구와 엔지니어링에 지속적으로 투자하고 있으며, 이러한 지식을 바탕으로 점점 더 적대적인 사이버 세계에서 고객이 안전을 유지할 수 있도록 지원하고 있다는 사실을 반영합니다.

100%에 대한 참고 사항

ATT&CK의 평가를 한동안 지켜보셨다면 100%가 당연하게 느껴질 수도 있습니다. 하지만 혼동하지 마세요. 올해 평가에서 100%를 달성했다고 주장하는 다른 솔루션의 경우 모든 주요 단계에서 적어도 한 가지 이상의 탐지 및/또는 예방 기능을 갖추고 있습니다. Cortex만이 수행된 모든 개별 악성 작업, 즉 하위 단계에 대해 이러한 탐지 기능을 제공했습니다.

100% 탐지 및 예방은 우리 모두가 노력해야 할 기준입니다. 작년 평가 후 Forrester의 Allie Mellen이 지적했듯이, "알려진 위협 행위자의 공격을 탐지하는 것은 보안 제품이 할 수 있는 일의 한계가 아니라 바닥이 되어야 합니다."1 저희는 전적으로 동의하며, Cortex XDR이 그 기준을 제시하고 있습니다.

하지만 Allie는 "모든 기술을 탐지하는 솔루션은 노이즈가 많고 오탐률이 높으며 과도한 알림을 제공할 가능성이 있기 때문에 100% 탐지가 반드시 좋은 것은 아니다"라고 지적하기도 했습니다. 저희도 이러한 관점을 공유하기 때문에 어떤 활동이 정상적인 활동이고 어떤 활동이 잠재적으로 악의적인 행위인지 파악하기 위해 머신러닝을 적극 활용하고 있습니다. Cortex XDR의 경우 이는 조사에 집중해야 할 위치를 결정하는 데 도움이 되는 중요한 컨텍스트 단서를 제공하는 다른 많은 주요 데이터 소스의 추가 텔레메트리를 통합한다는 사실에 의해서만 강화됩니다.

ATT&CK 평가 결과 살펴보기

올해는 지난 몇 년보다 훨씬 더 도전적이었기 때문에 MITRE Engenuity에 경의를 표합니다. 또한, 수비수가 정보에 입각한 결정을 내릴 수 있도록 개선된 기능도 매우 기쁘게 생각합니다. 이제 MITRE Engenuity 사이트에서 호스팅되는 ATT&CK 평가 결과를 통해 3개 공급업체의 결과를 나란히 비교할 수 있습니다. 세 가지 평가 시나리오 각각과 최대 3개의 공급업체를 선택할 수 있습니다. 기본적으로 결과에는 지연된 탐지 및 구성 변경으로 인한 결과가 포함되어 표시됩니다. 그러나 해당 수정자가 제거된 탐지 결과를 볼 수도 있습니다.

MITRE Engenuity ATT&CK 평가 웹사이트에서 보호 평가 결과를 확인할 수 있습니다. Cortex XDR만이 100% 예방이 가능했습니다.

모든 공급업체에 대한 결과를 볼 수 있는 데이터 시각화 도구가 없기 때문에 ATT&CK 평가 결과를 이해하기 어렵다는 이야기를 수년 동안 들었습니다. 이러한 노력을 돕기 위해 올해 결과와 지난 해 결과를 모두 살펴볼 수 있는 도구를 만들었습니다. 이 도구를 사용하면 관심 있는 공급업체와 에뮬레이트된 특정 적을 선택할 수 있습니다. 모든 결과 차트는 각 참여 공급업체에 대해 MITRE Engenuity에서 제공하는 JSON 파일에서 직접 구축됩니다. ATT&CK 평가 결과를 직접 살펴보고 데이터를 통해 비즈니스를 보호하는 데 가장 적합한 선택이 무엇인지 알아보세요.

팔로 알토 네트웍스 MITRE Engenuity ATT&CK 평가 대시보드. 5년간의 전체 평가 결과를 보여주는 스냅샷으로 기술 수준 탐지 및 차단된 하위 단계를 모두 표시합니다.

1. Forrester® 및 Allie Mellen. "수석 분석가." MITRE ATT&CK 평가: 100% 보장을 받는 것은 공급업체가 말하는 것만큼 좋지 않습니다, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. 2023년 9월 19일에 액세스함.

2023年のMITRE Engenuity ATT&CK Evaluations(ATT&CK評価)の結果が公開。Cortex XDRが唯一、設定変更ゼロ、検出遅延ゼロで、100%の保護と100%の分析的検出の範囲を実現しました。

MITRE Engenuity ATT&CK Evaluations第5ラウンドの結果はすでに公開されています。各ベンダーはすべてにおいて完璧であると主張していますが、「真実は細部に宿る」と言われるとおり、データは嘘をつきません。今年、100%の防御と分析検出を実現した唯一のベンダーはCortexです。

MITRE Engenuity ATT&CK EvaluationsのWebサイトから直接引用した図。2023年のTurlaの初回検出テストの評価結果を掲載。

進化を続けるサイバーセキュリティの世界では、常に一歩先を行くことがこれまで以上に重要になっています。攻撃者は、防御を突破する高度で新たな方法を探し続けています。それは、ルールが常に変わるハイリスク ハイリターンのゲームのようなものであり、後れを取れば破滅的な結果に繋がりかねないものです。

こうした状況に一石を投じたのがMITRE Engenuityであり、彼らが提供するEnterpriseATT&CK Evaluationsは、混沌とした状況での明確な道しるべとして、今日ではCISO、セキュリティ担当者、組織のデジタル資産の保護を担うすべての人にとっての非常に貴重なリソースとなっています。この評価は、業界のエンドポイント セキュリティ ソリューションが、巧妙なサイバー攻撃を前にしてどのように阻止するかを示すパフォーマンス レビューとして機能するものです。

しかし、MITRE EngenuityのATT&CK Evaluationsとは実際どのようなもので、なぜその結果に注目する必要があるのでしょうか。これらの年次評価では、現在最も活発に活動していて悪名高い、いくつかの脅威グループが採用している手法、戦術、手順(TTP)を再現しています。MITRE Engenuityのレッド チームは、サイバーセキュリティ ソリューション プロバイダを招いて、入念に計画された攻撃を(検出のみと防御の2つのモードで)防御してもらい、以下の3つの機能について洞察を収集します。

1. 可視性 – ソリューションにより可視化されるものは何か
2. 検出 – ソリューションで悪意があると正確に特定できるアクションは何か
3. 保護 – ソリューションで防御可能な悪意のあるアクションは何か

本評価に参加するベンダー数は膨大であり(今年は29社) 、これは本評価の価値の高さの裏付けであり、挑戦的かつ刺激的な取り組みを支援するMITRE Engenuityの惜しみない努力を反映したものです。

ラウンド5(Turla)

今年は年次評価を5回行い、MITRE Engenuityのレッド チームは、弊社のUnit 42の脅威研究者が広範囲にわたって研究した脅威グループであるTurlaの手法の再現に焦点を絞りました。Turlaはロシアを拠点とする、莫大な資金力と高度な技術力を持つ脅威グループで、その被害者は45ヶ国以上に及びます。またその標的は、政府機関、軍隊、外交使節だけでなく、研究組織やメディア組織までもが含まれます。Turlaの悪名高さは、政府機関のWebサイトのウォーターホール攻撃などの機密データの流出戦術、カスタム ルートキット、巧妙なコマンド&コントロール ネットワーク インフラストラクチャや欺瞞戦略に端を発しており、今年の防御側の参加者の話からも、MITRE Engenuityの攻撃手法が高度化し、飛躍的な進歩を遂げていたことは明らかです。

ブルー チームは、WindowsとLinuxのいずれのエンドポイントにもCortex XDR Pro for Endpointエージェントを展開しました。追加ソリューションは展開せず、Cortex XDRを標準のデフォルト設定で使用しました。違ったのは、悪意のあるファイルの隔離を有効にし、Linuxでグレイウェアをマルウェアとして扱うオプションを有効にしたことだけでした。

主要指標と評価基準

今年の評価は、2つの検出のみのシナリオ(CarbonとSnake)に分けて行われました。この2つはそれぞれ、Turlaが作成し、使用したことで知られているツールに対応しています。それに続く保護フェーズでは、検出テストと同様の手法を用いていますが、同一には見えないよう、十分なエントロピーを加えています。この2つの検出シナリオにはそれぞれ10個のステップがあり、MITRE ATT&CKフレームワークの実際の手法に対応する複数のサブステップで構成されていました。また、各ベンダーが遭遇する可能性のある143個のサブステップも用意されていました。これらの各サブステップについて、MITRE Engenuityチームは、実行されたアクションが各ソリューションで検出されたかどうかを記録しました。

これらの各検出は、観測された検出の質に基づいて分類されました。

MITRE Engenuityの検出カテゴリは以下のとおりです。

• Not Applicable (該当なし) – 参加者には、テスト対象のシステムに対する可視性がありません(Linuxの評価に不参加の場合にはこちらに分類されます)。
• None (なし) – 未検出(悪意のあるアクティビティに関連するテレメトリなし)。
• Telemetry (テレメトリ) – 最小限の処理が実行されたデータが収集され、イベントが発生したことを示しています(この場合、通常はアクティビティの基本的なログとして記録されます)。
• General (一般) – 異常なイベントが検出されました。ただし、ATT&CK戦術(または同等のコンテキスト)は特定されていません(この場合、セキュリティ アナリストが、どのアクションがなぜ実行されたかを調査して判断する必要があります)。
• Tactic (戦術) – 異常なイベントのATT&CK戦術(または同等のコンテキスト)が特定されました(この場合、アクションの実行理由が示されますが、実行されたアクションや手法をセキュリティ アナリストが調査する必要があります)。
• Technique (テクニック) – 異常なイベントのATT&CK手法(または同等のコンテキスト)が特定されました(この場合、攻撃者がなぜアクションを実行し、具体的にどのようなアクションにより目標を達成したかを把握するために必要なコンテキストと詳細情報が提供されます)。

MITRE Engenuityは、2種類の検出範囲を効率的に特定します。テレメトリ検出の範囲と「分析的検出の範囲」です。テレメトリ検出の範囲は、ソリューションのテレメトリ検出で最も価値の高い検出結果を得られるサブステップ数で定義されます。分析的検出の範囲は、Gneral (一般)、Tactic (戦術)、またはTechnique (テクニック)の検出のいずれかを含むサブステップの数で定義されます。

また、すべての検出で、以下の2つのサブ検出カテゴリ(Modifier)のいずれかが割り当てられている可能性があることにも注目してください。

• Configuration Change (設定変更) – Configuration Change修飾子は、テストの4日目、つまりベンダーが初回のテストで見逃した悪意のあるアクティビティを検出するための2回目のチャンスを与えられた日にそのアクティビティが検出された場合に記録されます。
• Delayed Detection(検出遅延) – Delayed Detection修飾子は、検出がタイムリーに実行されなかった場合、つまり、アクションの実行およびベンダーのコンソールでの検出で大幅な遅延が発生したときに記録されます。

保護シナリオでは、129個のサブステップが13個の主要ステップにまとめられています。これらのサブステップでは、各保護サブステップは、ブロックされるか、ブロックされずに以下のいずれかとして記録されます。

• 保護 – 悪意のあるアクティビティがブロックされました。
• 該当なし (保護) – 防御ステップの前のサブステップがブロックされ、後続のサブステップが阻止されました。
• なし – 悪意のあるアクティビティがブロックされませんでした。

Cortex XDRのパフォーマンスは?

この評価の目的は、以下の3つの機能について洞察を提供することです。

1. 可視性 – ソリューションにより可視化されるものは何か
2. 検出 – ソリューションで悪意があると正確に特定できるアクションは何か
3. 保護 – ソリューションで防御可能な悪意のあるアクションは何か

Cortex XDRは、100%の保護を提供しながら、100%の可視性と100%の分析的検出の範囲(検出)を、設定の変更と検出の遅延なしで実現した唯一のソリューションです。

さらに、Techniqueレベル (最も高質の検出) での143件中142件の検出という、類まれな高質の検出を達成しています。その他1件の検出は、Tacticレベルの検出と認められました。保護評価の129個の各サブステップはすべてブロックされており、そのすべてが、「設定変更」ゼロ、「検出遅延」ゼロで達成されました。実際に設定変更による検出を除外した場合、Cortex XDRが検出漏れなし(検出の種類がNone)の唯一のベンダーでした。つまり、Cortex XDRは可視性100%の唯一のベンダーに位置付けられます。

パロアルトネットワークスのMITRE Engenuity ATT&CK Evaluationsダッシュボード。2023年のTurlaの評価の結果を示すスナップショット。

今年の評価結果は、パロアルトネットワークスが攻撃者の調査とエンドポイント セキュリティのエンジニアリングのいずれにも膨大な労力を注ぎ続けており、厳しさを増すサイバー世界に直面しているお客様の安全を確保するために知識を役立てていることを示すものとなりました。

100%についての注記

ATT&CKの評価結果を何年か追跡して調べたことがあれば、100%という表現は見慣れているかもしれません。ただし、その他のソリューションが今年の評価で100%を達成したと主張していても、すべての主要ステップで1件以上の検出または防御、あるいはその両方を達成したにすぎません。実行された悪意のあるアクション(サブステップ)を1つも逃さず検出したのは、Cortexのみです。

100%の検出と防御は、私たちすべてが目指すべき基準です。ForresterのAllie Mellen氏は昨年の評価で、「既知の脅威アクターによる攻撃の検出は、セキュリティ製品の機能が成し得る最大限のことでなく、最低限のことと捉えるべき」と指摘しました。1 弊社もこれに完全に同意し、Cortex XDRがその基準となりました。

また、Allie氏は「あらゆる手法を検出して、高確率で誤検出が発生したり、過剰にアラートを発したりして煩雑になる可能性がある」ソリューションでは100%の検出が必ずしも適切ではないかもしれないとも指摘しています。弊社もまた同様の考えのもと、機械学習を十分に活用して、通常の動作を示しているアクティビティや悪意のある可能性のあるアクションを判断しています。Cortex XDRでは、他の多数の主要データ ソースからの追加テレメトリを統合し、調査でどこを重視すべきかを判断するうえで重要な手がかりを明らかにすることでアプローチしています。

ATT&CK Evaluationsの結果について

MITRE Engenuityによる今年の評価は、過去数年間に比べて非常に難しいものとなりました。また、防御側が豊富な情報に基づいて意思決定を下せるよう改善されたのは、素晴らしいことでした。ATT&CK Evaluationsの評価結果は、MITRE Engenuityのサイトに掲載されており、現在は3社のベンダーの結果を比較検討できるようになっています。3つの評価シナリオと、最大3社のベンダーをそれぞれ選択できます。デフォルトでは、検出遅延が結果に示されるとともに、設定変更後の結果も示されます。また、これらの修飾子を除いた検出結果も表示できます。

MITRE Engenuity ATT&CK EvaluationsのWebサイトでの保護評価の結果。Cortex XDRのみが100%防御を達成。

データ可視化ツールを使用してすべてのベンダーの結果を表示できないことから、今まではATT&CK Evaluationsの結果を理解するのは困難だとされていました。そこでこの度、その手助けができるよう、弊社は今年だけでなく過去すべての結果を閲覧できるツールを作成しました。このツールを使用することで、関心のあるベンダーと、再現された特定の攻撃者を選択できます。結果として表示されるチャートはすべて、MITRE Engenuityが各参加ベンダーに提供したJSONファイルから直接作成されます。ATT&CK Evaluationsの結果をご自身で確かめていただけば、ビジネスを守るために最適な選択肢がデータから明らかになります。

パロアルトネットワークスのMITRE Engenuity ATT&CK Evaluationsダッシュボード。Techniqueレベルの検出とブロックされたサブステップの両方について、全5年間の評価結果を示すスナップショット。

1. Forrester®およびAllie Mellen氏。「Principal Analyst」。MITRE ATT&CK評価: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is (100%の検出範囲でもベンダーが言うほど優秀なわけではない)、Forrester®、2022年、 https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/.2023年9月19日閲覧。