Série LOGtopus – Quando eventos se encontram com a Elastic Stack, Python API e Threat Intelligence

elastic_stack_face

Caros leitores,

Com imenso prazer que iniciaremos uma série de postagens que apelidamos  de “LOGtopus – Quando eventos se encontram com a Elastic Stack, Python API e Threat Intelligence”.  LOGtopus é a mistura do nome do time de pesquisas em eventos e segurança na Clavis chamada de Octopus Labs e a palavra LOG.

octopus-v1A ideia dessa série é compartilhar o dia a dia do time de pesquisas do Octopus SIEM, onde abordaremos a Elastic Stack (Beats, Logstash, Elasticsearch e Kibana), o entendimento de diferentes tipos de fontes de dados (explicação de logs diversos) e como adicioná-los à Elastic Stack, para correlação de eventos conforme sua preferência e necessidade.  Paralelo a isso, daremos dicas e compartilharemos códigos utilizando API Python para criação de alertas e uso em conjunto com OSINT (Open Source Intelligence).

Dando início a série, faremos uma introdução sobre o que é a famosa Elastic Stack:

Antigamente a combinação era conhecida como ELK, que seria Elasticsearch / Logstash / Kibana, porém com a adição do Beats, começaram a chamar de “Elastic Stack”.

Antiga Elastic Stack (ELK)

elk

Nova Elastic Stack

the-elastic-stack-thumb

De forma resumida o funcionamento acontece da seguinte maneira: o beats e/ou logstash coletam/recebem os eventos, analisam e enviam para o Elasticsearch indexar. O analista poderá visualizar os dados via Kibana.

beats

O beats foi incorporado há pouco tempo na stack porém ele é muito poderoso, não só para coleta de eventos como também possui uma biblioteca no qual se pode desenvolver diversas funcionalidades. Entre as mais conhecidas estão o packetbeat, filebeat e winlogbeat.

logstashEsta é a parte mais importante quando falamos análise de logs, pois é que são mapeadas as informações de forma correta. Adicionamos contexto, modelamos e geramos o conteúdo indexado. Se algo nesse componente não funcionar, toda a cadeia subsequente poderá apresentar problemas. Em resumo, ela é composta por plugins de entradas, filtros e saída.

esO Elasticsearch é um banco de dados NoSQL, extremamente veloz e prático, executado em modo standalone ou em modo cluster. Um ponto importante é que se faz necessária a configuração de segurança (hardening e monitoramento/filtros).

kibanaAqui há visualizações que auxiliarão na criação de alertas, telas de monitoramentos e drilldown caso um evento ocorra. No kibana há 4 grandes funcionalidades:

1-) Discovery – opção onde é possível fazer uma análise mais detalhada dos eventos, criar filtros iniciais e a partir dessa análise inicial pensar em visualizações;

2-) Views – Baseado nas descobertas ou até mesmo idéias iniciais, podemos criar diferentes tipos de visualizações que nos ajudarão a detectar anomalias e facilitar a detecção de atividades fora do padrão;

3-) Dashboard – Nessa parte é onde colocamos o resultado do processo de entrada dos dados, juntamente com as visualizações criadas para facilitar o dia a dia dos analistas de segurança;

4-) Timelion – essa ferramenta é um coringa que veio para cobrir algumas funções meio engessadas. Com ele podemos fazer diversas funções matemáticas, trabalhar com índices diferentes para ter visualizações de info correlacionadas de fontes de dados diversas, comparar períodos utilizando offset entre diversas outras funcionalidades.

Abaixo dashboard do KIBANA e Timelion

ad

ossec1

Não podemos esquecer também a poderosa REST API que o Elastic Search proporciona, onde trabalharemos bastante na geração de ferramentas para gerar alertas com o Python API e correlacionando do fontes de ameaças, permitindo a criação de inteligência a ameaças e alertas de qualidade.

Na próxima postagem abordaremos os internals e funcionalidades do logstash e alguns exemplos de configurações e testes.

Caso tenha algum conteúdo ou alguma necessidade de postagem por favor fique a vontade para sugerir.

Happy Detection!

Time pesquisa Octopus Labs

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s