APENAS o Cortex oferece 100% de proteção e detecção no MITRE Engenuity

Nov 08, 2023
12 minutes
... views

Os resultados da Avaliação MITRE Engenuity ATT&CK 2023 saíram, e apenas o Cortex XDR oferece 100% de proteção e 100% de cobertura de análise com zero alterações de configuração e zero detecções atrasadas.

Os resultados da quinta rodada das Avaliações MITRE Engenuity ATT&CK foram publicados e, embora cada fornecedor alegue oferecer 100% de tudo, a verdade está nos detalhes e os dados não mentem. Neste ano, o Cortex é o único fornecedor com 100% de prevenção e detecção de análise.

Resultados do site Avaliação MITRE Engenuity ATT&CK, que mostra a Palo Alto Networks, Microsoft, CrowdStrike e Sentinel One.
Ilustração diretamente do site de Avaliação MITRE Engenuity ATT&CK mostra os resultados da avaliação Turla 2023 no primeiro teste de detecção.

No cenário de segurança cibernética, que muda constantemente, ficar um passo à frente é mais importante do que nunca. Os inimigos continuamente buscam maneiras novas e sofisticadas de violar as defesas. É um jogo de apostas altas em que as regras mudam constantemente e as consequências de ficar para trás podem ser catastróficas.

É aí que MITRE Engenuity entra em ação com as Avaliações Enterprise ATT&CK, oferecendo uma luz no fim desse túnel caótico. Essas avaliações se tornaram um recurso inestimável para CISOs, profissionais de segurança e qualquer pessoa responsável por proteger os ativos digitais de uma organização. Eles fornecem um teste decisivo ou uma análise de desempenho de como as soluções de segurança do endpoint da indústria se comportam frente aos sabotadores cibernéticos mais engenhosos.

Mas, o que exatamente são as avaliações MITRE Engenuity ATT&CK e por que os resultados delas são importantes para você? Essas avaliações anuais simulam as táticas, técnicas e procedimentos (TTPs) usados por alguns dos grupos de ameaça mais ativos e famosos dos tempos de hoje. A red team do MITRE Engenuity convida fornecedores de soluções de segurança cibernética a se defenderem contra ataques cuidadosamente coreografados (nos modos de detecção e prevenção) para fornecer informações sobre três recursos:

  1. Visibilidade: o que uma solução consegue ver
  2. Detecção: quais ações uma solução identifica precisamente como maliciosa
  3. Proteção: quais ações maliciosas uma solução pode prevenir

Um número surpreendente de fornecedores participa dessas avaliações. Na edição deste ano, foram 29 fornecedores participantes, e isso presta homenagem ao valor deles e reflete os esforços diligentes que o MITRE Engenuity emprega nas avaliações para garantir que eles forneçam um engajamento desafiador e provocativo.

Quinta rodada (Turla)

Neste ano, foi realizada a quinta avaliação anual e a red team do MITRE Engenuity focou a simulação dos métodos do Turla, um grupo de ameaça que nossos pesquisadores de ameaça da Unit 42 estudaram profundamente. O Turla é um grupo russo de ameaça extraordinariamente bem amparado e sofisticado que já infectou vítimas em mais de 45 países. Eles já atacaram agências governamentais, grupos militares, missões diplomáticas, assim como organizações de pesquisa e mídia. A infâmia do Turla vem de suas táticas de exfiltração oculta, incluindo water holing de sites governamentais, rootkits personalizados, infraestrutura de rede de comando e controle elaborada e táticas de fraude. Ao conversar com os defensores que participaram, fica claro que o MITRE Engenuity avançou muito em termos de sofisticação de seus métodos de ataque neste ano.

A blue team implantou o Cortex XDR Pro para agente do Endpoint em endpoints do Windows e Linux. Nenhuma outra solução foi implantada e o Cortex XDR foi definido com configurações padrão, as mesmas configurações de fábrica, e as únicas alterações presentes foram a ativação da quarentena de arquivos maliciosos e, para Linux, a ativação da opção de tratar grayware como malware.

Principais métricas e critérios de avaliação

A avaliação deste ano foi dividida em dois cenários de detecção, chamados Carbon e Snake, correspondentes às importantes ferramentas criadas e usadas pelo Turla. A fase de proteção seguiu este modelo: espelhamento das técnicas nos testes de detecção com entropia suficiente injetada para não parecer idêntica ao teste de detecção. Cada um dos dois cenários de detecção tinha 10 etapas, que, por sua vez, tinham várias subetapas que mapeavam as técnicas reais na estrutura MITRE ATT&CK. Ao todo, cada fornecedor pôde ver 143 subetapas. Para cada uma dessas subetapas, a equipe do MITRE Engenuity registrou se cada solução tinha uma detecção para uma ação tomada.

Cada uma dessas detecções foi categorizada com base na qualidade da detecção observada.

Categorias de detecção MITRE Engenuity:

  • Não aplicável: participantes não tinham visibilidade do sistema sendo testado. (Este seria o caso se tivessem optado por não fazer a avaliação do Linux).
  • Nenhuma: não houve detecção. (Nenhuma telemetria associada à atividade maliciosa)
  • Telemetria: dados processados minimamente, coletados pelo recurso que mostrava que os eventos ocorreram. (Detecções desse tipo geralmente são registros básicos da atividade).
  • Geral: o evento anormal foi detectado. No entanto, uma tática de ATT&CK (ou contexto equivalente) não foi especificada. (As detecções desse tipo permitem que o analista de segurança investigue e determine qual ação foi realizada e por quê).
  • Tática: uma tática ATT&CK (ou contexto equivalente) do evento anormal foi especificada. (Detecções desse tipo informam por que uma ação ocorreu, mas permitem, mais uma vez, que o analista de segurança investigue qual ação ou técnica foi realizada).
  • Técnica: uma técnica ATT&CK (ou contexto equivalente) do evento anormal foi especificada. (Detecções deste calibre fornecem o contexto e os detalhes necessários para responder por que um inimigo realizou uma ação e precisamente que ação ele usou para atingir seu objetivo).

 

Gráfico que mostra a cobertura de análise, dados processados minimamente e detecção avançada.

 

O MITRE Engenuity identifica dois tipos de cobertura com eficácia: Cobertura de telemetria e “Cobertura de análise”. Cobertura de telemetria é definida como o número de subetapas em que uma solução produz uma detecção de telemetria como sua detecção de valor mais alto. A Cobertura de análise é definida como o número de subetapas que contém uma detecção Geral, Tática ou Técnica.

Também vale a pena mencionar que todas as detecções podem ter um de dois modificadores de detecção:

  • Alterações de configuração: um modificador de alteração de configuração é constatado se a detecção observada foi realizada no quarto dia de testagem, um dia em que fornecedores recebem uma segunda chance para detectar atividade maliciosa, caso tenham deixado isso passar no teste inicial.
  • Detecções atrasadas: um modificador de detecção atrasada é constatado se a detecção não for observada em tempo hábil, o que significa que um atraso importante entre o momento em que a ação é realizada e o momento em que a detecção é observada no console do fornecedor.

No cenário de Proteções, havia 129 subetapas organizadas em 13 grandes etapas. No caso dessas subetapas. Cada subetapa de Proteção estava bloqueada ou não bloqueada e registrada de uma das seguintes formas:

  • Protegida: a atividade maliciosa foi bloqueada.
  • Não aplicável (Protegida): isso ocorria quando uma subetapa anterior na etapa de prevenção havia sido bloqueada e, assim, as subetapas subsequentes não podiam ser executadas.
  • Nenhuma: isso significa que a atividade maliciosa não foi bloqueada.

Como foi o desempenho do Cortex XDR?

O propósito dessas avaliações é fornecer informações sobre três recursos:

  1. Visibilidade: o que uma solução consegue ver
  2. Detecção: quais ações uma solução identifica precisamente como maliciosa
  3. Proteção: quais ações maliciosas uma solução pode prevenir

O Cortex XDR é o único a fornecer 100% de Proteção e, ao mesmo tempo, fornece 100% de Visibilidade e 100% de Cobertura de análise (detecções) com zero alterações de configuração ou detecções atrasadas.

Além disso, a qualidade de nossas detecções é incomparável, com 142 das 143 como detecções de nível Técnico, a detecção com a mais alta qualidade possível. A outra detecção foi reconhecida como uma detecção de nível Tático. Cada uma das 129 subetapas na avaliação Proteção foi bloqueada. Tudo isso foi realizado com zero “alterações de configuração” e zero “detecções atrasadas”. Na realidade, se excluirmos as detecções resultantes de uma alteração de configuração, o Cortex XDR era o único fornecedor sem nenhuma detecção ignorada (tipo de detecção, Nenhuma). Em outras palavras, o Cortex XDR era o único com 100% de visibilidade.

Captura de tela do Cortex do Painel de Avaliações MITRE Engenuity ATT&CK.
Painel de Avaliações MITRE Engenuity ATT&CK da Palo Alto Networks. Captura de tela mostrando os resultados da avaliação do Turla 2023.

Os resultados da avaliação deste ano servem para refletir os grandes esforços que a Palo Alto Networks continua a empreender na pesquisa de adversários e na engenharia de segurança do endpoint, colocando esse conhecimento em ação para ajudar nossos clientes a permanecerem seguros em um mundo cibernético cada vez mais hostil.

Uma observação sobre o 100%

Se você acompanha as avaliações ATT&CK há algum tempo, 100% pode parecer normal para você. Mas, não se confunda. Quando outras soluções alegam ter alcançado 100% na avaliação deste ano, elas têm pelo menos uma detecção e/ou prevenção em todas as etapas importantes. Apenas o Cortex forneceu essas detecções para cada uma dessas ações maliciosas que foram realizadas: as subetapas.

100% de detecção e prevenção é o padrão que todos devemos tentar alcançar. Como Allie Mellen, da Forrester, destacou na avaliação do ano passado, “detectar um ataque inspirado por um agente de ameaça conhecido deveria ser o mínimo que produtos de segurança podem fazer, e não o máximo.”1 Concordamos plenamente, e o Cortex XDR está definindo esse padrão.

Dito isto, Allie também foi certeira em apontar que talvez 100% de detecção não seja necessariamente uma coisa boa, já que as soluções “que detectam cada técnica têm o potencial de apresentar ruídos, uma alta taxa de falsos positivos e fornecer alertas excessivos.” Também compartilhamos dessa visão e é por isso que utilizamos muito o aprendizado de máquina para entender quais atividades representam operações normais e quais são ações possivelmente maliciosas. No caso do Cortex XDR, isso foi fortalecido pelo fato de que integramos telemetria adicional a partir de muitas outras fontes de dados importantes que fornecem contexto crítico para ajudar a determinar onde devemos focar as investigações.

Descubra os resultados da Avaliações ATT&CK

Parabéns ao MITRE Engenuity, já que esse ano foi significativamente mais desafiador do que os anos anteriores. Além disso, estamos animados com as melhorias que foram feitas para ajudar os defensores a tomarem decisões informadas. Os resultados da avaliação ATT&CK, hospedados no site do MITRE Engenuity, agora permitem comparar os resultados de três fornecedores, lado a lado. É possível escolher cada um dos três cenários de avaliação e até três fornecedores. Por padrão, os resultados são exibidos com detecções atrasadas e os resultados oriundos de alterações da configuração. Ainda assim, você também consegue ver os resultados de detecções com a exclusão desses modificadores.

Resultados da Avaliação MITRE Engenuity ATT&CK, que mostra a Palo Alto Networks, Microsoft, CrowdStrike e Sentinel One.
No site de Avaliação do MITRE Engenuity ATT&CK, os resultados da avaliação de proteção. Apenas o Cortex XDR forneceu 100% de prevenção.

Por muitos anos, ouvimos que é difícil entender os resultados da avaliação ATT&CK, já que nenhuma ferramenta de visualização de dados permite visualizar os resultados de todos os fornecedores. Para ajudar nisso, criamos uma ferramenta para ajudar você a explorar os resultados desse ano, assim como os de anos anteriores. Com essa ferramenta, você pode selecionar os fornecedores de seu interesse e adversários específicos que foram simulados. Todos os gráficos resultantes são alimentados diretamente a partir dos arquivos JSON fornecidos pelo MITRE Engenuity para cada fornecedor participante. Confira os resultados da Avaliação ATT&CK e deixe que os dados revelem a melhor escolha para defender sua empresa.

Gráfico mostrando as detecções de nível técnica em comparação ao percentual de subetapas bloqueadas.
Painel de Avaliações MITRE Engenuity ATT&CK da Palo Alto Networks. Um instantâneo mostrando resultados de todos os 5 anos de avaliações, plotando as detecções de nível Técnica e as Subetapas bloqueadas.

  1. Forrester® e Allie Mellen. “Analista principal.” MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Acesso em 19 de setembro de 2023.

SOLO Cortex ofrece una protección y detección del 100 % en MITRE Engenuity

Nov 05, 2023
12 minutes
... views

Ya tenemos los resultados de la evaluación MITRE Engenuity ATT&CK de 2023, y solo Cortex XDR ofrece el 100 % de protección y cobertura analítica sin realizar cambios de configuración y sin retrasos en las detecciones.

Se han publicado los resultados de la quinta ronda de las evaluaciones MITRE Engenuity ATT&CK y, aunque todos los proveedores anuncian una puntuación del 100 % en todo, la realidad la demuestran los detalles, y los datos no mienten. Este año, Cortex es el único proveedor con una puntuación del 100 % en prevención y detección analítica.

Resultados del sitio web de MITRE Engenuity ATT&CK Evaluations, donde figuran Palo Alto Networks, Microsoft, CrowdStrike y Sentinel One.
Imagen sacada directamente del sitio web de MITRE Engenuity ATT&CK Evaluations y que muestra los resultados obtenidos en la primera prueba de detección de la evaluación de 2023 (Turla).

En un mundo tan cambiante como el de la ciberseguridad, mantenerse un paso por delante es hoy más importante que nunca. Los adversarios buscan sin descanso nuevas formas de burlar las defensas y estos métodos son cada vez más sofisticados. Las reglas cambian constantemente y hay mucho en juego, por lo que las consecuencias de quedarse atrás pueden ser catastróficas.

Es aquí donde entran en escena MITRE Engenuity y sus evaluaciones Enterprise ATT&CK para poner orden entre tanto caos. Estas evaluaciones se han convertido en un recurso valiosísimo para los directores de seguridad de la información, los profesionales de la seguridad y cualquier otra persona encargada de proteger los activos digitales de una organización. Ofrecen una prueba decisiva o una revisión de rendimiento de la eficacia de las soluciones de seguridad del endpoint del sector a la hora de enfrentarse a los ciberdelincuentes más ingeniosos.

Pero ¿qué son exactamente las evaluaciones MITRE Engenuity ATT&CK y por qué deberían importarle los resultados? Estas evaluaciones anuales emulan las tácticas, técnicas y procedimientos (TTP) que utilizan algunos de los grupos de ciberdelincuencia más activos y conocidos en la actualidad. El Red Team de MITRE Engenuity invita a los proveedores de soluciones de ciberseguridad a enfrentarse a una serie de ataques preparados a conciencia (tanto en modo de solo detección como en modo de solo prevención) para revelar información sobre los productos en lo referente a tres funciones:

  1. Visibilidad: qué es capaz de ver la solución
  2. Detección: qué acciones puede identificar como maliciosas con precisión
  3. Protección: qué acciones maliciosas puede prevenir la solución

Son muchos los proveedores que participan en estas evaluaciones (29 este año), lo cual es un fiel reflejo de su valor y del increíble trabajo que pone MITRE Engenuity en prepararlas para que cada vez más empresas quieran sumarse al reto.

5.ª ronda (Turla)

Este año se ha celebrado la quinta evaluación anual, en la que el Red Team de MITRE Engenuity se ha centrado en emular los métodos que utiliza Turla, un grupo de ciberdelincuencia que nuestros investigadores de amenazas de Unit 42 han estudiado a fondo. Turla es un grupo de ciberdelincuencia ruso extremadamente bien financiado y sofisticado que ha infectado a víctimas de 45 países distintos. Entre sus objetivos se encuentran agencias gubernamentales, grupos militares, misiones diplomáticas, organizaciones de investigación y medios de comunicación. Turla debe su infamia a sus tácticas de exfiltración encubiertas, que incluyen ataques de abrevadero contra sitios web gubernamentales, rootkits personalizados, infraestructuras de red de comando y control muy elaboradas y tácticas de engaño. Al hablar con los proveedores de seguridad que participaron, queda claro que MITRE Engenuity dio un paso de gigante en el nivel de sofisticación de los métodos de ataque empleados este año.

El Blue Team implementó el agente Cortex XDR Pro for Endpoint en endpoints tanto de Windows como de Linux. No se implementó ninguna solución adicional y Cortex XDR se configuró con los parámetros que trae por defecto. Solo se hicieron dos cambios: habilitar la puesta en cuarentena de los archivos maliciosos y, en el caso de Linux, habilitar la opción de tratar el grayware como malware.

Métricas clave y criterios de evaluación

La evaluación de este año se dividió en dos situaciones de solo detección, a las que se llamó «Carbon» y «Snake» y que se corresponden con dos conocidas herramientas utilizadas por Turla. A esto le siguió una fase de protección que replicó las técnicas de la prueba de detección, con suficiente entropía inyectada como para que las pruebas no resultasen idénticas. Cada una de las dos situaciones de detección consistía en 10 pasos con varios subpasos que se corresponden con técnicas reales del marco MITRE ATT&CK. En total, había 143 subpasos que cada proveedor tenía la oportunidad de ver. Para cada uno de estos subpasos, el equipo de MITRE Engenuity registró si las distintas soluciones tenían una detección para cada una de las acciones realizadas.

Las detecciones individuales se categorizaron en función de su calidad.

Categorías de detección de MITRE Engenuity:

  • No procede: los participantes no tenían visibilidad del sistema sometido a las pruebas. (Se da este caso si el proveedor decide no participar en la evaluación de Linux).
  • Ninguna: no hubo detección. (No había telemetría asociada a la actividad maliciosa).
  • Telemetría: la función recopiló datos mínimamente procesados que demuestran la existencia de eventos. (Las detecciones de este tipo suelen limitarse a la creación de logs de actividad).
  • General: se detectó el evento anómalo. Sin embargo, no se especificó ninguna táctica ATT&CK (ni contexto equivalente). (En las detecciones de este tipo, el analista de seguridad tiene que investigar y determinar qué acción se realizó y por qué).
  • Táctica: se especificó una táctica ATT&CK (o contexto equivalente) del evento anómalo. (Las detecciones de este tipo determinan por qué se ha producido la acción, pero aún es necesario que el analista de seguridad investigue qué acción o técnica se utilizó).
  • Técnica: se especificó una técnica ATT&CK (o contexto equivalente) del evento anómalo. (Las detecciones de este calibre ofrecen el contexto y los detalles necesarios para determinar por qué el adversario realizó la acción y concretamente qué acción utilizó para lograr su objetivo).

 

Gráfica que muestra la cobertura analítica, los datos mínimamente procesados y la detección mejorada.

 

En la práctica, MITRE Engenuity identifica dos tipos de cobertura: cobertura de telemetría y «cobertura analítica». La cobertura de telemetría se define como el número de subpasos en los que la máxima detección que realiza una solución es una detección de telemetría. La cobertura analítica se define como el número de subpasos que contienen una detección general, táctica o técnica.

También es importante mencionar que todas las detecciones podrían tener uno de estos dos modificadores de la detección:

  • Cambios de configuración: se registra este modificador si la detección observada se produce el cuarto día de pruebas, en el que se da a los proveedores una segunda oportunidad para detectar actividad maliciosa que hayan pasado por alto en la prueba inicial.
  • Retrasos en la detección: se registra este modificador si la detección no se observa a tiempo, esto es, si se produce un retraso importante entre el momento en que se realiza la acción y el momento en que la detección aparece en la consola del proveedor.

Para la situación «Protecciones», hubo 129 subpasos agrupados en 13 pasos principales. Con respecto a estos subpasos, cada subpaso de protección se bloqueó o no y se registró como una de las siguientes opciones:

  • Protegido: se bloqueó la actividad maliciosa.
  • No procede (Protegido): esto se produce cuando se ha bloqueado un subpaso previo en el paso de prevención y, por lo tanto, no se han podido ejecutar los subpasos posteriores.
  • Ninguna acción: esto significa que no se bloqueó la actividad maliciosa.

¿Qué resultados obtuvo Cortex XDR?

El objetivo de estas evaluaciones es conocer los resultados de las soluciones en lo relativo a estas tres funciones:

  1. Visibilidad: qué es capaz de ver la solución
  2. Detección: qué acciones puede identificar como maliciosas con precisión
  3. Protección: qué acciones maliciosas puede prevenir la solución

Cortex XDR es el único que ofrece un 100 % de protección, un 100 % de visibilidad y un 100 % de cobertura analítica (detecciones) sin realizar cambios de configuración y sin retrasos en las detecciones.

La calidad de nuestras detecciones no tiene comparación: 142 de las 143 detecciones se categorizaron en el nivel de Técnica, la mayor calidad de detección posible. La detección restante se categorizó de «Táctica». Además, se bloquearon los 129 subpasos de la evaluación «Protección». Todo esto se logró sin realizar ningún «cambio de configuración» y sin ningún «retraso en la detección». De hecho, si no tenemos en cuenta las detecciones resultantes de un cambio de configuración, Cortex XDR fue el único proveedor que no pasó por alto ninguna detección (tipo de detección, «Ninguna»). Dicho de otro modo, Cortex XDR fue el único con un 100 % de visibilidad.

Captura de pantalla del panel de resultados de las evaluaciones MITRE Engenuity ATT&CK de Cortex.
El panel de resultados de las evaluaciones MITRE Engenuity ATT&CK de Palo Alto Networks. Instantánea que muestra los resultados de la evaluación de 2023 (Turla).

Los resultados de la evaluación de este año reflejan la enorme cantidad de trabajo que Palo Alto Networks sigue poniendo tanto en investigación de los adversarios como en ingeniería de seguridad del endpoint y cómo aplica esos conocimientos para ayudar a sus clientes a mantenerse a salvo en una realidad cibernética cada vez más hostil.

Un apunte sobre «el 100 %»

Si ya hace tiempo que sigue las evaluaciones ATT&CK, el 100 % puede parecerle lo normal, pero no se engañe: aunque otras soluciones afirmen haber alcanzado el 100 % en la evaluación de este año, lo que en realidad ha sucedido es que han realizado al menos una detección o prevención en los pasos principales. Cortex es el único que ha ofrecido estas detecciones para cada una de las acciones maliciosas que se realizaron (los subpasos).

El 100 % en detección y prevención es el mínimo al que todos deberíamos aspirar. Tal y como apuntaba Allie Mellen, de Forrester, tras la evaluación del año pasado, «detectar un ataque inspirado en una amenaza conocida debería ser lo mínimo que hicieran los productos de seguridad, y no lo máximo».1 Nosotros no podríamos estar más de acuerdo, y Cortex XDR se está convirtiendo en el referente del sector.

Dicho esto, Allie también llevaba razón cuando decía que quizás el 100 % en detección no sea necesariamente algo bueno, ya que las soluciones que «detectan todas y cada una de las técnicas podrían resultar ruidosas, arrojar una alta tasa de falsos positivos y generar demasiadas alertas». En Palo Alto Networks también lo vemos así, y por eso utilizamos ampliamente el aprendizaje automático para entender qué actividades se corresponden con operaciones normales y cuáles podrían ser acciones maliciosas. Esto es aún más cierto en el caso de Cortex XDR, donde integramos telemetría adicional de muchas otras fuentes de datos que ofrecen pistas contextuales cruciales para ayudarle a determinar en qué debería centrar sus investigaciones.

Examinar los resultados de la evaluación ATT&CK

Queremos dar la enhorabuena a MITRE Engenuity, ya que la evaluación de este año ha sido considerablemente más complicada que las anteriores. También nos parecen buenísimas las mejoras que han hecho para ayudar a los encargados de la seguridad a tomar decisiones con conocimiento de causa. Ahora, los resultados de la evaluación ATT&CK, que se pueden consultar en el sitio web de MITRE Engenuity, permiten comparar directamente los resultados de tres proveedores. Se pueden seleccionar cada una de las tres situaciones de evaluación y hasta tres proveedores. Por defecto, los resultados incluyen las detecciones que se produjeron con retrasos o tras algún cambio de configuración, pero también es posible consultarlos excluyendo esos modificadores.

Resultados de Palo Alto Networks, Microsoft, CrowdStrike y Sentinel One en las evaluaciones MITRE Engenuity ATT&CK.
Resultados de la evaluación de protección, extraídos del sitio web de MITRE Engenuity ATT&CK Evaluations. Solo Cortex XDR obtuvo una puntuación del 100 % en prevención.

Durante años, hemos oído que no es fácil entender los resultados de la evaluación ATT&CK, ya que no hay ninguna herramienta de visualización de datos que permita ver los resultados de todos los proveedores a la vez. Para ayudar con esto, hemos desarrollado una herramienta con la que le resultará más sencillo indagar en los resultados de este y otros años. Con ella, puede seleccionar los proveedores que le interesan y los adversarios concretos que se han emulado. Todas las gráficas se generan directamente a partir de los archivos JSON proporcionados por MITRE Engenuity para cada uno de los participantes. Examine los resultados de la evaluación ATT&CK y deje que los datos le indiquen cuál es la mejor opción para defender su negocio.

Gráfica que muestra las detecciones de nivel de técnica en comparación con el porcentaje de subpasos bloqueados.
El panel de resultados de las evaluaciones MITRE Engenuity ATT&CK de Palo Alto Networks . Instantánea de los resultados de los cinco años de evaluaciones, que incluyen las detecciones de nivel de técnica y los subpasos bloqueados.

  1. Forrester® y Allie Mellen. «Analista principal». «MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is» (disponible en inglés), Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Último acceso el 19 de septiembre de 2023.

SOLO Cortex fornisce il 100% di protezione e rilevamento in MITRE Engenuity

Nov 05, 2023
10 minutes
... views

Abbiamo i risultati della valutazione 2023 di MITRE Engenuity ATT&CK e solo Cortex XDR fornisce il 100% di protezione e di copertura analitica senza modifiche di configurazione e ritardi nei rilevamenti.

Sono stati pubblicati i risultati del quinto round delle valutazioni MITRE Engenuity ATT&CK e, anche se tutti i fornitori affermano di raggiungere il 100% in tutti gli ambiti, la verità è nei dettagli e i dati non mentono. Quest'anno, Cortex è l’unico fornitore che offre il 100% di prevenzione e copertura analitica.

I risultati dal sito Web della valutazione MITRE Engenuity ATT&CK, che mostrano Palo Alto Networks, Microsoft, CrowdStrike e Sentinel One.
Un’illustrazione presa direttamente dal sito Web della valutazione MITRE Engenuity ATT&CK mostra i risultati della valutazione Turla nel 2023 per il primo test di rilevamento.

Nel panorama in costante evoluzione della sicurezza informatica, tenersi sempre un passo avanti non è mai stato così cruciale. Gli avversari cercano continuamente modi nuovi e sofisticati di violare le difese. È un gioco dalla posta molto alta, dove le regole cambiano continuamente e le conseguenze per chi non riesce a stare al passo possono essere catastrofiche.

E qui entrano in scena MITRE Engenuity e le sue valutazioni ATT&CK aziendali, che sono una guida chiara in mezzo al caos. Queste valutazioni sono diventate una risorsa preziosa per i CISO, i professionisti della sicurezza e chiunque abbia il compito di proteggere le risorse digitali di un’organizzazione. Sono una prova del nove o una verifica delle prestazioni del modo in cui le soluzioni di sicurezza degli endpoint nel settore fanno fronte ai sabotatori informatici più ingegnosi.

Ma cosa sono esattamente le valutazioni MITRE Engenuity ATT&CK e perché i risultati dovrebbero interessarti? Queste valutazioni annuali emulano le tattiche, le tecniche e le procedure (TTP) utilizzate da alcuni dei gruppi di hacker più attivi e famigerati dei nostri tempi. Il Red Team di MITRE Engenuity invita i fornitori di soluzioni di sicurezza informatica a difendersi da attacchi preparati con attenzione (esclusivamente in modalità di rilevamento e di prevenzione) e a fornire informazioni su tre funzioni:

  1. Visibilità: cosa può vedere una soluzione
  2. Rilevamento: quali azioni possono essere identificate accuratamente come dannose
  3. Protezione: quali azioni dannose può prevenire una soluzione

A queste valutazioni partecipa un numero sbalorditivo di fornitori: quest’anno sono stati 29. Questa è una dimostrazione del loro valore, e rispecchia i grandi sforzi fatti da MITRE Engenuity per assicurarsi di fornire una prova stimolante e all'altezza.

Quinto round (Turla)

Quest’anno si è svolta la quinta valutazione annuale e il Red Team di MITRE Engenuity ha deciso di emulare i metodi di Turla, un gruppo di hacker che i nostri esperti che si occupano di minacce di Unit 42 hanno studiato a fondo. Turla è un gruppo di hacker sofisticato con sede in Russia, che dispone di una straordinaria quantità di risorse e che ha infettato obiettivi in oltre 45 Paesi. Ha colpito agenzie amministrative, gruppi militari, missioni diplomatiche, organizzazioni di ricerca e organi di informazione. Turla usa tattiche di esfiltrazione invisibili e spregevoli, tra cui attacchi watering hole a siti Web governativi, rootkit personalizzati, infrastrutture di rete command-and-control elaborate e tattiche ingannevoli. Parlando con i difensori che hanno partecipato alla valutazione, è chiaro che quest’anno MITRE Engenuity ha fatto un grande passo avanti nel rendere più sofisticati i metodi di attacco.

Il Blue Team ha utilizzato Cortex XDR Pro per agente endpoint sugli endpoint sia di Windows che di Linux. Non sono state utilizzate altre soluzioni e Cortex XDR è stato configurato con le impostazioni predefinite; le uniche modifiche sono state l'abilitazione della quarantena per i file dannosi e, per Linux, l’abilitazione dell’opzione per trattare grayware come un malware.

Metriche chiave e criteri di valutazione

La valutazione di quest’anno è stata suddivisa in due scenari esclusivamente di rilevamento, chiamati Carbon e Snake, che corrispondevano a importanti strumenti creati e utilizzati da Turla. A questa parte è seguita una fase di protezione, che rispecchiava le tecniche usate nei test di rilevamento, con l’introduzione di abbastanza entropia da non risultare identica all’altro test. Ciascuno dei due scenari di rilevamento aveva 10 passaggi, costituiti da diversi sottopassaggi che mappano tecniche effettive nel framework MITRE ATT&CK. Nel complesso, si trattava di 143 sottopassaggi che ciascun fornitore ha avuto la possibilità di vedere. Per ciascuno di questi sottopassaggi, il team MITRE Engenuity ha registrato se la soluzione in questione aveva un rilevamento per l'azione effettuata

e ciascuno di questi rilevamenti è stato categorizzato in base alla qualità osservata.

Categorie di rilevamento di MITRE Engenuity:

  • Non applicabile: i partecipanti non avevano visibilità sul sistema messo alla prova (ad esempio, in caso di rinuncia alla valutazione Linux).
  • Nessuno: nessun rilevamento effettuato (nessuna telemetria associata all'attività dannosa).
  • Telemetria: dati raccolti dalla funzione che mostrano l'evento/i che si è verificato, processati in maniera minima (generalmente, i rilevamenti di questo tipo sono una registrazione di base delle attività).
  • Generale: l'evento anomalo è stato rilevato, ma non è stata specificata una tattica ATT&CK o di contesto equivalente (con rilevamenti di questo tipo, sta agli analisti della sicurezza indagare e stabilire che azioni sono state intraprese e perché).
  • Tattico: è stata specificata una tattica ATT&CK o di contesto equivalente dell'evento anomalo (i rilevamenti di questo tipo stabiliscono perché si è verificata un'azione, ma lasciano nuovamente agli analisti della sicurezza il compito di indagare sulle azioni o sulle tecniche intraprese).
  • Tecnico: è stata specificata una tecnica ATT&CK o di contesto equivalente dell'evento anomalo (i rilevamenti di questo calibro forniscono il contesto e i dettagli necessari per capire perché un avversario ha eseguito un’azione e quale azione specifica ha usato per raggiungere quell’obiettivo).

 

Grafico che mostra la copertura analitica, i dati processati in maniera minima e il rilevamento potenziato.

 

MITRE Engenuity identifica con efficacia due tipi di copertura: la copertura della telemetria e la “copertura analitica”. La copertura della telemetria si può definire come il numero di sottopassaggi in cui una soluzione produce un rilevamento telemetrico come rilevamento di maggior valore. La copertura analitica si può definire come il numero di sottopassaggi che contengono un rilevamento generale, tattico o tecnico.

Vale anche la pena di segnalare che tutti i rilevamenti possono avere uno o due indicatori di modifica del rilevamento:

  • Modifiche di configurazione: un indicatore di modifica di questo tipo è segnalato se il rilevamento è stato effettuato il quarto giorno del test, quando ai fornitori viene data una seconda occasione per rilevare attività dannose non riscontrate durante il test iniziale.
  • Rilevamenti in ritardo: questo genere di indicatore di modifica viene segnalato se il rilevamento non avviene tempestivamente; questo implica un ritardo significativo nell’intraprendere un’azione e quando il rilevamento viene osservato nella console del fornitore.

Lo scenario di protezione era costituito da 129 sottopassaggi organizzati in 13 passaggi principali. Nel caso di questi sottopassaggi, ciascun sottopassaggio di protezione era bloccato oppure non bloccato e registrato come:

  • Protetto: l'attività dannosa è stata bloccata.
  • Non applicabile (protetto): questo avviene quando un sottopassaggio precedente nel passaggio di prevenzione è stato bloccato, pertanto i sottopassaggi successivi non vengono eseguiti.
  • Nessuno: l'attività dannosa non è stata bloccata.

Che prestazioni ha avuto Cortex XDR?

L’obiettivo di queste valutazioni è fornire informazioni su tre funzioni:

  1. Visibilità: cosa può vedere una soluzione
  2. Rilevamento: quali azioni possono essere identificate accuratamente come dannose
  3. Protezione: quali azioni dannose può prevenire una soluzione

Cortex XDR è l’unico a fornire il 100% di protezione, garantendo il 100% di visibilità e copertura analitica (rilevamenti) senza modifiche di configurazione o rilevamenti in ritardo.

Inoltre, la qualità dei nostri rilevamenti è senza pari, con 142 rilevamenti su 143 a livello Tecnico, che è il livello di qualità più alta. L’unico altro rilevamento è stato riconosciuto al livello Tattico. Tutti i 129 sottopassaggi nella valutazione della protezione sono stati bloccati. Tutto questo è stato ottenuto senza modifiche di configurazione e rilevamenti in ritardo. Se si escludono i rilevamenti avvenuti dopo modifiche di configurazione, Cortex XDR è stato l’unico fornitore che non ha perso alcun rilevamento (tipo di rilevamento, Nessuno). In altre parole, Cortex XDR è stato l’unico fornitore con una visibilità del 100%.

Screenshot di Cortex della dashboard delle valutazioni di MITRE Engenuity ATT&CK.
La dashboard delle valutazioni di MITRE Engenuity ATT&CK di Palo Alto Networks. Istantanea che mostra i risultati della valutazione Turla 2023.

I risultati della valutazione di quest’anno rispecchiano gli enormi sforzi che Palo Alto Networks continua a fare nella ricerca sugli avversari e nella progettazione della sicurezza degli endpoint, sfruttando queste conoscenze per aiutare i nostri clienti a rimanere al sicuro in un mondo informatico sempre più ostile.

Un appunto sul 100%

Per chi segue le valutazioni ATT&CK da un po’ di tempo, il 100% può sembrare un risultato comune. Ma non bisogna fare confusione: quando le altre soluzioni affermano di aver ottenuto il 100% nella valutazione di quest'anno, significa che hanno effettuato almeno un’istanza di rilevamento e/o prevenzione in tutti i passaggi principali. Soltanto Cortex ha fornito questi rilevamenti per ciascuna delle azioni dannose individuali, nei sottopassaggi.

Il 100% di rilevamento e prevenzione è l’obiettivo a cui tutti dovremmo aspirare. Come ha sottolineato Allie Mellen di Forrester dopo la valutazione dello scorso anno, “rilevare un attacco eseguito da un attore di minacce noto dovrebbe essere il minimo che possano fare i prodotti di sicurezza, non il massimo”1. Siamo pienamente d'accordo, e Cortex XDR sta dando l’esempio.

Detto questo, Allie ha anche giustamente indicato che forse un rilevamento del 100% non è necessariamente una cosa positiva, poiché le soluzioni che “rilevano ogni tecnica possono essere fastidiosi, avere un alto numero di falsi positivi e fornire una quantità eccessiva di avvisi”. Anche noi condividiamo questo punto di vista. Ecco perché ci avvaliamo molto dell’apprendimento automatico per comprendere quali attività rappresentano le normali operazioni e quali azioni sono potenzialmente dannose. Nel caso di Cortex XDR, questo è soltanto rafforzato dal fatto che abbiamo integrato ulteriore telemetria da molte altre origini di dati fondamentali che offrono indizi cruciali sul contesto per stabilire dove focalizzare le indagini.

I risultati della valutazione ATT&CK

Facciamo i complimenti a MITRE Engenuity, perché quest’anno è stato decisamente più impegnativo rispetto ai test precedenti. Inoltre, siamo entusiasti dei miglioramenti che hanno fatto per aiutare i difensori a prendere decisioni informate. I risultati della valutazione ATT&CK, riportati sul sito di MITRE Engenuity, ora consentono di confrontare le prestazioni di tre fornitori affiancati. Puoi selezionare ciascuno dei tre scenari di valutazione e fino a tre fornitori. Per impostazione predefinita, i risultati mostrati includono i rilevamenti in ritardo e quelli derivanti da modifiche di configurazione. Si possono comunque visualizzare i risultati con tali indicatori di modifica rimossi.

I risultati della valutazione MITRE Engenuity ATT&CK, che mostrano Palo Alto Networks, Microsoft, CrowdStrike e Sentinel One.
I risultati della valutazione della protezione dal sito Web della valutazione di MITRE Engenuity ATT&CK. Solo Cortex XDR ha raggiunto il 100% di prevenzione.

Abbiamo sentito dire per molti anni che è difficile capire i risultati della valutazione ATT&CK, perché nessuno strumento di visualizzazione dei dati consente di visualizzare i risultati di tutti i fornitori. Per permettere una maggiore comprensione, abbiamo creato uno strumento che aiuta ad analizzare i risultati di quest'anno e degli anni precedenti. Questo strumento permette di selezionare i fornitori che ti interessano e gli avversari specifici che sono stati emulati. Tutti i grafici sono generati direttamente dai file JSON forniti da MITRE Engenuity per ciascuno dei fornitori partecipanti. Scopri direttamente i risultati della valutazione ATT&CK e lascia che siano i dati a rivelare la scelta migliore per difendere la tua azienda.

Grafico che mostra i rilevamenti a livello di tecnica in confronto alla percentuale di sottopassaggi bloccati.
La dashboard delle valutazioni di MITRE Engenuity ATT&CK di Palo Alto Networks. Un’istantanea che mostra i risultati delle valutazioni degli ultimi 5 anni, che traccia sia i rilevamenti a livello Tecnico che i sottopassaggi bloccati.

  1. Forrester® e Allie Mellen. “Analista principale”. MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Accesso: 19 settembre 2023.

SEUL Cortex signe le doublé 100 % de protection et 100 % de détection dans l’évaluation MITRE Engenuity 2023

Nov 05, 2023
13 minutes
... views

Les résultats de l’évaluation MITRE Engenuity ATT&CK 2023 viennent d’être publiés et le verdict est sans appel : seul Cortex XDR affiche un 100 % en protection et un 100 % en détection analytique, sans aucun retard ni changement de configuration.

La cinquième édition de l’évaluation MITRE Engenuity ATT&CK est close et les résultats sont tombés : si tous les fournisseurs ont trop souvent tendance à s’autocongratuler en revendiquant une note globale de 100 %, les chiffres, eux, ne mentent jamais. Ainsi, cette année, Cortex est le seul fournisseur à afficher un 100 % en prévention et un 100 % en détection analytique.

Résultats de Palo Alto Networks, Microsoft, CrowdStrike et Sentinel One, tels que publiés sur le site de l’évaluation MITRE Engenuity ATT&CK.
Capture d’écran du site de MITRE Engenuity ATT&CK affichant les résultats de l’évaluation Turla 2023 pour le scénario de détection.

Dans un secteur aussi mouvant que celui de la cybersécurité, il devient absolument vital de devancer des adversaires qui redoublent d’inventivité pour contourner les défenses. C’est un jeu extrêmement risqué dont les règles changent en permanence et dont les conséquences, pour les perdants, peuvent être dévastatrices.

Pour déployer des cyberdéfenses efficaces et y voir plus clair dans la palette des solutions disponibles, MITRE Engenuity a mis au point son programme d’évaluations ATT&CK. Ces tests grandeur nature constituent une ressource indispensable pour les RSSI, les professionnels de la sécurité et tout autre acteur œuvrant pour la protection des assets numériques d’une entreprise. Elles établissent un point de référence indiscutable sur la performance des solutions de sécurité des terminaux face à des cybermalfaiteurs disposant de très gros moyens techniques, humains et financiers.

Mais en quoi consistent les évaluations MITRE Engenuity ATT&CK et pourquoi leurs résultats ont-ils une telle importance ? Menée une fois par an, cette évaluation émule, c’est-à-dire reproduit à l’identique, les modes opératoires des groupes d’attaque les plus actifs et les plus en vue actuellement. L’équipe Red Team de MITRE Engenuity invite les fournisseurs de solutions de cybersécurité à se mesurer à des attaques minutieusement orchestrées (dans le cadre d’un scénario de détection d’abord, puis de prévention ensuite). L’objectif ? Déterminer leur efficacité dans trois domaines clés :

  1. Visibilité : quelles actions la solution permet-elle de voir ?
  2. Détection : quelles actions la solution identifie-t-elle correctement comme malveillantes ?
  3. Protection : quelles actions malveillantes la solution permet-elle de prévenir ?

Chaque année, un nombre impressionnant de fournisseurs (29 en 2023) participe à ces évaluations, preuve s’il en faut de leur importance et des efforts considérables que MITRE Engenuity déploie pour proposer des épreuves toujours plus complètes et exigeantes.

5e édition (Turla)

Cette année marque la cinquième édition de cette évaluation lors de laquelle la Red Team de MITRE Engenuity a entrepris de reproduire fidèlement les techniques de Turla, un groupe de cybercriminels russes surveillé de près par nos chercheurs d’Unit 42 et qui se distingue par ses modes opératoires et ses moyens financiers particulièrement développés. À ce jour, Turla est l’auteur de compromissions avérées dans plus de 45 pays. Administrations gouvernementales, groupes militaro-industriels, missions diplomatiques, instituts de recherche, médias… Turla cible des entités éminemment stratégiques. Parmi ses méthodes et outils tristement célèbres pour l’exfiltration furtive de données : des attaques par point d’eau (watering hole) de sites Internet gouvernementaux, des rootkits personnalisés, des infrastructures réseau CnC élaborées et des techniques de leurre. Selon les retours d’expérience des participants à l’évaluation de cette année, MITRE Engenuity a clairement élevé la barre en termes de sophistication des attaques reproduites.

Pour y faire face, l’équipe Blue Team de Palo Alto Networks a déployé Cortex XDR Pro pour les agents de terminaux sur les systèmes Windows et Linux. Aucune autre solution n’a été utilisée et Cortex XDR a été configuré selon les paramètres par défaut du produit, avec pour seule différence la possibilité de mettre en quarantaine les fichiers malveillants et, pour Linux, la possibilité de traiter le grayware comme du malware.

Principaux critères d’évaluation et métriques

L’édition de cette année s’est d’abord divisée en deux scénarios de détection uniquement, appelés Carbon et Snake et correspondant à des outils notoirement créés et utilisés par Turla. Le scénario de protection s’est déroulé dans un second temps, mettant en miroir les techniques des tests de détection, avec cependant suffisamment d’entropie pour ne pas paraître identique aux épreuves de détection. Chacun des scénarios de détection comprenait 10 étapes, elles-mêmes subdivisées en de multiples sous-étapes correspondant à des techniques réelles répertoriées dans le framework MITRE ATT&CK. En tout, chaque fournisseur avait la possibilité de détecter 143 sous-étapes. Le travail de l’équipe MITRE Engenuity consistait à compter le nombre de sous-étapes détectées par chaque solution.

Chacune de ces détections a ensuite été évaluée au regard de leur qualité, puis répertoriée dans l’une des catégories ci-dessous.

Catégories de détections de MITRE Engenuity :

  • Sans objet (S.O.) : le fournisseur n’a aucune visibilité sur le système testé (c’est notamment le cas des fournisseurs n’ayant pas participé à l’évaluation sous Linux)
  • Aucune : le fournisseur n’a rien détecté (aucune télémétrie n’est associée à l’activité malveillante)
  • Télémétrique : données faiblement traitées recueillies par la solution de sécurité, indiquant la survenance d’un ou plusieurs évènements (les détections de ce type renvoient généralement à une journalisation basique des activités)
  • Générale : l’évènement anormal a été détecté, mais aucune tactique ATT&CK (ou de nature équivalente) n’a été spécifiée (dans ce type de détection, l’analyste de sécurité doit investiguer et déterminer lui-même quelle action a été entreprise et à quelles fins)
  • Tactique : une tactique ATT&CK (ou de nature équivalente) a été spécifiée (dans ce type de détection, le motif de l’action est automatiquement identifié, mais l’analyste de sécurité doit encore déterminer lui-même la nature de l’action ou du mode opératoire)
  • Technique : une technique ATT&CK (ou de nature équivalente) liée à l’évènement anormal a été spécifiée (les détections de cette catégorie fournissent le contexte et les informations requises pour comprendre pourquoi un adversaire a mené une action donnée, et la nature précise de l’action entreprise pour atteindre son objectif)

Graphique affichant trois éléments : couverture analytique, données faiblement traitées et détection enrichie

MITRE Engenuity opère une distinction entre deux grands types de détection : une couverture télémétrique et une couverture analytique. La couverture télémétrique renvoie au nombre de sous-étapes pour lesquelles une solution parvient à une détection télémétrique, ce niveau de détection étant sa capacité maximale. La couverture analytique se rapporte au nombre de sous-étapes faisant l’objet d’une détection générale, de la tactique ou de la technique employée.

Notons également que toutes les détections peuvent faire l’objet d’une ou deux réserves :

  • Changement de configuration – La réserve « changement de configuration » est émise lorsque la détection a lieu au bout du quatrième jour de l’évaluation, étape à laquelle les fournisseurs peuvent effectuer des réglages pour détecter une activité malveillante qu’ils auraient manquée lors du test initial.
  • Détection retardée – La réserve « détection retardée » fait référence à une détection qui a lieu au-delà des temps impartis. Autrement dit, un laps de temps important s’écoule entre l’action en elle-même et son apparition sur la console de la solution de sécurité.

Côté protection, le scénario est composé de 129 sous-étapes organisées en 13 étapes majeures. Chacune de ces sous-étapes est considérée comme bloquée ou non bloquée, et est répertoriée selon l’un des critères ci-dessous :

  • Protégé : l’activité malveillante a été bloquée
  • Sans objet (S.O.) (Protégé) : ce critère est rempli lorsqu’une sous-étape précédente a été bloquée et que, par conséquent, les étapes suivantes n’ont pas pu être exécutées
  • Aucune protection : l’activité malveillante n’a pas été bloquée

Cortex XDR : le verdict

Ces évaluations ont pour objectif de détailler les performances des fournisseurs à trois niveaux :

  1. Visibilité : quelles actions la solution permet-elle de voir ?
  2. Détection : quelles actions la solution identifie-t-elle correctement comme malveillantes ?
  3. Protection : quelles actions malveillantes la solution permet-elle de prévenir ?

Cortex XDR s’est imposée comme la seule solution à afficher un 100 % en protection, un 100 % en visibilité et un 100 % en couverture analytique (détection), sans aucun retard ni changement de configuration.

Et ce n’est pas tout : la qualité de nos détections est inégalée puisque 142 détections sur 143 sont classées au niveau technique, soit le plus haut niveau de détection possible. La détection manquante à ce total s’est vue attribuer le niveau tactique. Chacune des 129 sous-étapes du scénario de protection a été bloquée. Le tout, sans aucun changement de configuration ni retard de détection. D’ailleurs, si l’on exclut les détections qui résultent d’un changement de configuration, Cortex XDR est le seul fournisseur à afficher zéro détection manquée (catégorie « Aucune »). En bref, Cortex XDR est la seule solution à démontrer 100 % de visibilité.

Capture d’écran du tableau de bord Cortex des évaluations MITRE Engenuity ATT&CK
Tableau de bord Palo Alto Networks des évaluations MITRE Engenuity ATT&CK Capture d’écran des résultats de l’évaluation Turla 2023

Les résultats de l’évaluation de cette année reflètent les intenses efforts que Palo Alto Networks continue de fournir en matière de recherche sur les adversaires et de conception de solutions de sécurité pour les terminaux. Ces connaissances et savoir-faire, nous les mettons à la disposition de nos clients pour les aider à mieux se protéger dans un monde cyber de plus en plus hostile.

Remarque à propos des scores de 100 %

Si vous suivez les évaluations ATT&CK depuis quelques années, vous pensez sûrement que nos résultats n’ont rien d’extraordinaire et que nous ne sommes pas les seuls à décrocher un 100 %. Mais attention, lorsque d’autres fournisseurs revendiquent un score de 100 % dans l’évaluation 2023, cela signifie qu’ils ont satisfait à au moins une détection et/ou prévention dans toutes les étapes majeures. Pour rappel, Cortex est la seule solution à avoir détecté chacune des actions malveillantes menées, à savoir chacune des sous-étapes.

100 % de détection et de prévention devrait être le minimum syndical. Comme l’expliquait Allie Mellen de Forrester à l’issue de l’évaluation 2022, « la capacité à détecter une attaque inspirée des méthodes d’un adversaire connu devrait être le seuil de base des produits de sécurité, et non le plafond. »1 Nous sommes entièrement d’accord et estimons que Cortex XDR fait figure de référence à cet égard.

En contrepoint, l’analyste de Forrester notait également qu’un score de 100 % en détection n’avait pas que des avantages. Pour elle, les solutions qui « détectent la moindre technique peuvent devenir envahissantes, générer un grand nombre de faux positifs et déclencher un volume excessif d’alertes. » C’est aussi notre point de vue et c’est pourquoi nous utilisons le machine learning pour distinguer clairement les activités normales des actes potentiellement malveillants. Dans le cas de Cortex XDR, nous complétons les données télémétriques par de multiples autres sources de data, offrant ainsi à nos clients tout le contexte nécessaire pour guider leurs investigations.

Évaluations ATT&CK : décrypter les résultats

Nous saluons le travail de l’équipe MITRE Engenuity dont l’évaluation a été beaucoup plus ardue que ses éditions précédentes. Par ailleurs, nous sommes ravis des améliorations apportées pour aider les professionnels de la cybersécurité à prendre les bonnes décisions. Disponibles sur le site de MITRE Engenuity, les résultats de l’évaluation ATT&CK vous permettent désormais de comparer les résultats de trois fournisseurs. Vous pouvez choisir chacun des trois scénarios d’évaluation et jusqu’à trois fournisseurs en même temps. Par défaut, les résultats incluent les détections retardées et celles obtenues après un changement de configuration. Mais vous pouvez également voir les résultats des détections effectuées sans ces deux réserves.

Évaluation MITRE Engenuity ATT&CK : résultats comparés de Palo Alto Networks, Microsoft, CrowdStrike et Sentinel One
Résultats du scénario de protection extraits du site Internet de l’évaluation MITRE Engenuity ATT&CK Seul Cortex XDR démontre 100 % de prévention.

Depuis plusieurs années, les lecteurs des évaluations ATT&CK déploraient un certain manque de lisibilité des résultats, en l’absence d’outils de visualisation des données capables de livrer une vue globale des résultats pour l’ensemble des participants. Pour y remédier, nous avons créé notre propre outil pour vous aider à parcourir les résultats de cette année et des années précédentes. Grâce à ce tableau de bord, vous pouvez sélectionner les fournisseurs et les attaquants dont les méthodes ont été émulées. Tous les tableaux obtenus sont créés directement à partir des fichiers JSON fournis par MITRE Engenuity pour chaque fournisseur. Alors à vous de juger : explorez les résultats des évaluations ATT&CK pour prendre vos décisions sur la base de données fiables et objectives.

Graphique affichant les détections techniques et le pourcentage de sous-étapes bloquées
Tableau de bord Palo Alto Networks des évaluations MITRE Engenuity ATT&CK Capture d’écran affichant les résultats des 5 éditions de l’évaluation en termes de détections techniques et de sous-étapes bloquées
  1. Forrester® et Allie Mellen. « Principal Analyst. » MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Consulté le 19 septembre 2023.

NUR Cortex erreichte bei MITRE Engenuity 100 % Schutz und Erkennung

Nov 05, 2023
10 minutes
... views

Die Ergebnisse der MITRE Engenuity ATT&CK-Evaluierung 2023 sind da und nur Cortex XDR hat sowohl beim Schutz als auch bei der analysebasierten Erkennung ohne Konfigurationsänderungen oder verzögerte Erkennungen 100 % erzielt.

Nach der Veröffentlichung der Ergebnisse der fünften Runde der MITRE Engenuity ATT&CK-Evaluierungen wollen natürlich alle Anbieter überall 100 % erzielt haben, doch die Wahrheit steckt in den Details und die Daten lügen nicht. In diesem Jahr erzielte nur Cortex 100 % für Abwehr und für analysebasierte Erkennung.

Ergebnisse für Palo Alto Networks, Microsoft, CrowdStrike und Sentinel One von der Website der MITRE Engenuity ATT&CK-Evaluierungen.
Diese Abbildung stammt direkt von der Website der MITRE Engenuity ATT&CK-Bewertungen und zeigt die Ergebnisse des ersten Erkennungstests der Turla-Evaluierung von 2023.

Angesichts der sich ständig zuspitzenden Cybersicherheitslage ist es heute wichtiger als je zuvor, Widersachern einen Schritt voraus zu bleiben, die unermüdlich neue und immer raffiniertere Methoden zur Umgehung von Sicherheitsmaßnahmen finden. Es ist ein gefährlicher Kampf, bei dem den Verlierern katastrophale Konsequenzen drohen.

In diesem Kampf ist MITRE Engenuity ein wichtiger Bündnispartner für Unternehmen, denn seine ATT&CK-Evaluierungen bringen Klarheit in das Chaos der zahlreichen angebotenen Sicherheitslösungen. Diese Evaluierungen haben sich als unschätzbar wertvolle Ressource für CISOs, Sicherheitsprofis und alle Anderen etabliert, die für die Sicherung der digitalen Assets ihres Arbeitgebers verantwortlich sind. MITRE ATT&CK Engenuity emuliert die Methoden der einfallsreichsten Cybersaboteure, um die Leistung der einzelnen Endpunktsicherheitslösungen auf Herz und Nieren zu testen.

Doch was genau geschieht bei diesen Evaluierungen und was können Sie den Ergebnissen entnehmen? Für jede der jährlichen Evaluierungen werden eine oder mehrere aktuell besonders umtriebige und berüchtigte Angreifergruppe(n) ausgewählt und deren Taktiken, Techniken und Prozesse (TTP) emuliert. Dann lädt das Red Team von MITRE Engenuity Anbieter von Cybersicherheitslösungen ein, sowohl im reinen Erkennungs- als auch im Präventionsmodus auf die sorgfältig choreografierten Angriffe zu reagieren. Die Ergebnisse bieten Einblicke in drei Fähigkeiten der Lösungen:

  1. Transparenz – was eine Lösung sehen kann
  2. Erkennung – welche Aktivitäten die Lösung korrekt als bösartig identifizieren kann
  3. Schutz – welche bösartigen Aktivitäten die Lösung unterbinden kann

Die erstaunlich hohe Anzahl der Teilnehmer – in diesem Jahr waren es 29 – ist vielleicht die beste Anerkennung für die viele Mühe, die MITRE Engenuity in die Zusammenstellung der anspruchsvollen und provokativen Tests investiert.

Runde 5 (Turla)

Für die diesjährige, fünfte Evaluierung hat das Red Team von MITRE Engenuity die Methoden von Turla emuliert, einer Angreifergruppe, deren Aktivitäten von den Bedrohungsforschern unserer Unit 42 bereits ausgiebig untersucht  wurden. Turla ist eine finanziell außerordentlich gut aufgestellte und technisch versierte, in Russland ansässige Hackergruppe, die bereits Ziele in über 45 Ländern infiziert hat, darunter Regierungsbehörden, militärische Einheiten, diplomatische Einrichtungen sowie Forschungs- und Medieninstitute. Die Gruppe ist insbesondere für ihre getarnten Ausschleusungstaktiken berüchtigt, für die zum Beispiel die Websites von Regierungen für Watering-Hole-Angriffe ausgenutzt, eigens Rootkits angepasst, aufwendige Command-and-Control-Netzwerke eingerichtet und durchtriebene Ablenkungsmanöver inszeniert werden. Aus Gesprächen mit Teilnehmern geht hervor, dass MITRE Engenuity sich in diesem Jahr selbst übertroffen hat, was die Raffinesse der emulierten Angriffsmethoden betrifft.

Unser Blue Team hat Cortex XDR Pro auf Endpunktagenten auf Windows- und Linux-Systemen installiert. Es wurden keine weiteren Lösungen eingesetzt und Cortex XDR wurde mit den Standardeinstellungen implementiert, mit denen das Produkt verkauft wird. Als einzige Änderungen wurden die Isolierung schädlicher Dateien und (für Linux) die Behandlung von Grayware als Malware aktiviert.

Wichtige Kennzahlen und Evaluierungskriterien

Die diesjährige Evaluierung begann mit zwei Szenarien für den reinen Erkennungsmodus, die nach berüchtigten, von Turla entwickelten und eingesetzten Tools Carbon und Snake genannt wurden. Die anschließende Evaluierung des Präventionsmodus nutzte dieselben Techniken, aber mit genug Zufallsvariationen, um sicherzustellen, dass die Tests nicht für beide Modi identisch waren. Die beiden Erkennungsszenarien bestanden aus je zehn Schritten mit mehreren Teilschritten, die im MITRE ATT&CK Framework enthaltenen Techniken entsprachen. Insgesamt gab es 143 Teilschritte, die potenziell von jedem Anbieter aufgedeckt werden konnten. Das Team von MITRE Engenuity protokollierte für jeden Teilschritt und jede Lösung, ob die Aktion erkannt wurde.

Dabei wurde auch das Niveau der Erkennung festgehalten.

MITRE Engenuity nutzt die folgenden Erkennungskategorien:

  • Nicht getestet (Not Applicable) – Der Anbieter hatte während des Tests keinen Einblick in das System. (Für Anbieter, die sich gegen eine Evaluierung auf Linux entschieden hatten.)
  • Keine (None) – Der Teilschritt wurde nicht erkannt. (Es wurden keine Telemetriedaten für die schädlichen Aktivitäten generiert.)
  • Telemetrie (Telemetry) – Die Funktion liefert minimal verarbeitete Daten, die zeigen, dass ein oder mehrere Ereignis(se) stattgefunden hatten. (Bei Erkennungen dieser Art handelt es sich meist um die einfache Protokollierung der Aktivität.)
  • Allgemein (General) – Ein anomales Ereignis wurde erkannt, aber keiner ATT&CK-Taktik (oder äquivalentem Kontext) zugeordnet. (Erkennungen dieser Art müssen von Sicherheitsanalyst/innen untersucht werden, um zu ermitteln, was vorgefallen ist und warum.)
  • Taktik (Tactic) – Ein anomales Ereignis wurde erkannt und einer ATT&CK-Taktik (oder äquivalentem Kontext) zugeordnet. (Bei Erkennungen dieser Art wird gemeldet, warum eine Aktion stattfand, aber die genaue Art der Aktion oder Angriffstechnik müssen von Sicherheitsanalyst/innen ermittelt werden.)
  • Technik (Technique) – Ein anomales Ereignis wurde erkannt und einer ATT&CK-Technik (oder äquivalentem Kontext) zugeordnet. (Bei Erkennungen dieser Art geben die Details und Kontextinformationen Auskunft darüber, warum die Angreifer eine Aktion durchgeführt haben und was genau sie getan haben, um ihr Ziel zu erreichen.)

 

Das Diagramm zeigt, was mit analysebasierter Erkennung, minimal verarbeiteten Daten und angereicherter Erkennung gemeint ist.

 

MITRE Engenuity unterscheidet im Wesentlichen zwischen zwei Arten von Abdeckung: der telemetriebasierten und der „analysebasierten“ Abdeckung. Telemetriebasierte Abdeckung wird als die Anzahl der Teilschritte definiert, für die Telemetriedaten die höchste von der Lösung erreichte Erkennungsstufe darstellen. Analysebasierte Abdeckung wird als die Anzahl der Teilschritte definiert, für die eine Erkennung der Kategorie Allgemein, Taktik oder Technik erreicht wurde.

Außerdem ist erwähnenswert, dass jede Erkennung einen oder zwei Erkennungsmodifikator(en) haben kann:

  • Konfigurationsänderungen (Configuration Changes) – Mit diesem Modifikator werden Erkennungen am vierten Testtag gekennzeichnet. An diesem Tag erhalten die Anbieter eine zweite Chance, schädliche Aktivitäten zu erkennen, die ihnen beim ersten Test entgangen waren.
  • Verzögerte Erkennungen (Delayed Detections) – Mit diesem Modifikator werden Erkennungen gekennzeichnet, bei denen die Meldung über eine schädliche Aktivität nicht zeitnah, sondern nur mit erheblicher Verzögerung auf der Konsole des Anbieters erscheint.

Für das Szenario im Schutzmodus wurden 129 Teilschritte in 13 Hauptschritten zusammengefasst. Für jeden Teilschritt wurde protokolliert, ob er unterbunden wurde oder nicht. Dabei wurden die folgenden Kategorien verwendet:

  • Geschützt (Protected) – Die schädliche Aktivität wurde blockiert.
  • Irrelevant (geschützt) [Not Applicable (protected)] – Diese Kategorie wurde genutzt, wenn der zu testende Teilschritt nicht ausgeführt werden konnte, weil die Lösung einen früheren Teilschritt blockiert und den Angriffsverlauf damit abgebrochen hatte.
  • Keine (None) – Die schädliche Aktivität wurde nicht blockiert.

Wie schnitt Cortex XDR ab?

Mit diesen Evaluierungen sollen drei Fähigkeiten geprüft werden:

  1. Transparenz – was eine Lösung sehen kann
  2. Erkennung – welche Aktivitäten die Lösung korrekt als bösartig identifizieren kann
  3. Schutz – welche bösartigen Aktivitäten die Lösung unterbinden kann

Cortex XDR war die einzige Lösung, die ohne Konfigurationsänderungen und verzögerte Erkennungen 100 % Schutz, 100 % Transparenz und 100 % analysebasierte Abdeckung (Erkennungen) erzielte.

Auch die Qualität unserer Erkennungen sucht ihresgleichen: 142 der 143 erkannten Teilschritte wurden der – höchstmöglichen – Kategorie Technik zugeordnet. Die eine verbleibende Erkennung wurde der Kategorie Taktik zugeordnet. Bei der Evaluierung im Schutzmodus blockierte Cortex XDR jeden einzelnen der 129 Teilschritte. All dies gelang ohne eine einzige „Konfigurationsänderung“ oder „verzögerte Erkennung“. Mehr noch: Wenn wir die erst nach Konfigurationsänderungen erkannten Teilschritte außer acht lassen, war Cortex XDR die einzige Lösung, bei der kein Teilschritt der Erkennungskategorie „Keine“ zugeordnet wurde. Mit anderen Worten bot nur Cortex XDR 100 % Transparenz.

Cortex Screenshot des Dashboards der MITRE Engenuity ATT&CK-Evaluierungen
Das Dashboard von Palo Alto Networks für die MITRE Engenuity ATT&CK-Evaluierungen. Gezeigt werden die Ergebnisse der Turla-Evaluierung von 2023.

Die Ergebnisse der diesjährigen Evaluierung spiegeln die enormen Anstrengungen von Palo Alto Networks sowohl bei der Bedrohungsforschung als auch bei der Weiterentwicklung unserer Endpunktsicherheitslösungen wider, die ihrerseits ein Zeichen unseres Engagements für die Sicherheit unserer Kunden in einer immer unsicheren Cyberwelt sind.

Eine Anmerkung zu 100 %

Wenn Sie die ATT&CK-Evaluierungen schon länger verfolgen, sind Sie vielleicht zu der Überzeugung gekommen, dass 100 % hier nichts Besonderes sind. Aber lassen Sie sich nicht einwickeln. Wenn andere Anbieter behaupten, bei der diesjährigen Evaluierung 100 % erzielt zu haben, dann meinen sie damit, dass sie in jedem Hauptschritt mindestens einen Teilschritt erkannt bzw. unterbunden haben. Nur Cortex hat tatsächlich alle böswilligen Aktivitäten – also alle Teilschritte – erkannt bzw. unterbunden.

100 % Erkennung und Prävention sind das Ziel, das wir alle anstreben sollten. Wie Allie Mellen von Forrester nach den Evaluierungen 2022 betonte, „... sollte die Erkennung von Angriffen bekannter Angreifergruppen das Minimum sein, das wir von Sicherheitsprodukten erwarten, nicht das Maximum.“1 Dem stimmen wir voll und ganz zu, und mit Cortex XDR legen wir die Messlatte höher.

Allerdings wies Mellen auch darauf hin, dass 100 % vielleicht nicht uneingeschränkt positiv zu bewerten sind, da Lösungen, die „jede Technik erkennen, dies möglicherweise nur durch das Generieren sehr vieler Alarme mit einem großen Anteil an False Positives erreichen.“ Auch diese Meinung teilen wir. Deshalb nutzen wir maschinelle Lernverfahren intensiv, um zu erkennen, welche Aktivitäten Teil des normalen Betriebs und welche möglicherweise schädlich sind. Im Fall von Cortex XDR kommt hinzu, dass wir zusätzliche Telemetriedaten aus vielen anderen wichtigen Datenquellen in unsere Lösung importieren, um Ihnen die Kontextinformationen an die Hand zu geben, die Sie für eine fundierte Prioritätensetzung benötigen.

Die Ergebnisse der ATT&CK-Evaluierung

Hut ab vor MITRE Engenuity für eine wesentlich anspruchsvollere Evaluierung als in den vorangegangenen Jahren. Zudem möchten wir uns für die Verbesserungen bedanken, die Lösungsanbietern wie uns die Entscheidungsfindung erleichtern. Auf der Website von MITRE Engenuity zu den ATT&CK-Evaluierungen kann man jetzt die Ergebnisse von drei Anbietern direkt miteinander vergleichen. Dazu können Sie jedes der drei Szenarien und bis zu drei Anbieter auswählen. Standardmäßig sind verzögerte und nach Konfigurationsänderungen erzielte Erkennungen in den Ergebnissen inbegriffen. Sie können sich aber auch anzeigen lassen, wie die Ergebnisse ohne diese Erkennungen aussehen.

Ergebnisse der MITRE Engenuity ATT&CK-Evaluierungen für Palo Alto Networks, Microsoft, CrowdStrike und Sentinel One.
Ergebnisse der Schutzevaluierung von der Website der MITRE Engenuity ATT&CK-Evaluierungen. Nur Cortex XDR erzielte 100 % Prävention.

Wir hören seit vielen Jahren, dass die Ergebnisse der ATT&CK-Evaluierungen schwer verständlich sind, weil es kein Tool gibt, dass die Ergebnisse aller Anbieter grafisch darstellt. Deshalb haben wir ein Tool entwickelt, um Ihnen die Interpretation der Ergebnisse dieses Jahres und der Vorjahre zu erleichtern. Mit diesem Tool können Sie sowohl die für Sie interessanten Anbieter als auch die Angreifergruppen auswählen, deren Methoden emuliert wurden. Die angezeigten Diagramme werden direkt aus den von MITRE Engenuity für jeden teilnehmenden Anbieter bereitgestellten JSON-Dateien erstellt. Stöbern Sie selbst in den Ergebnissen der ATT&CK-Evaluierungen und ermitteln Sie anhand der Daten, welche Lösung am besten zum Schutz Ihrer Geschäftsumgebung geeignet ist.

In diesem Diagramm werden für alle Anbieter die Anzahl der Erkennungen, die der Erkennungskategorie „Technik“ zugeordnet wurden, und der Anteil der blockierten Teilschritte (in Prozent) angezeigt.
Das Dashboard von Palo Alto Networks für die MITRE Engenuity ATT&CK-Evaluierungen: Ein Schnappschuss der Ergebnisse aus allen fünf Evaluierungsjahren, in dem sowohl die Anzahl der Erkennungen, die der Erkennungskategorie „Technik“ zugeordnet wurden, als auch der Anteil der blockierten Teilschritte (in Prozent) angezeigt werden.

  1. Forrester® und Allie Mellen. „Principal Analyst“. MITRE ATT&CK Evals: Getting 100% Coverage Is Not As Great As Your Vendor Says It Is, Forrester®, 2022, https://www.forrester.com/blogs/mitre-attck-evals-getting-100-coverage-is-not-as-great-as-your-vendor-says-it-is/. Letzter Zugriff am 19. September 2023.

 

 


Subscribe to the Blog!

Sign up to receive must-read articles, Playbooks of the Week, new feature announcements, and more.