2. O que é um Evento? O que é Complex Event Processing (CEP)? Princípios do CEP: baseados em sistemas Princípios do CEP: dentro do contexto Monitorar, Analisar e Atuar com CEP CEP – Para todosEventos Porque CEP é importante, dentro do contexto SOA Adoção do CEP Onde CEP é usado? Plataformas CEP no mercado O que é APAMA CEP? Como o APAMA trabalha? Sobre APAMA Correlator ExemploRegra: Click Stream do TDC2011 Princípios da plataforma CEP APAMA Arquitetura APAMA em alto nível Quemestáenvolvidoemprojeto APAMA? AGENDA
3. Evento é um pedaço de dado querepresenta um acontecimento. Exemplo de eventoinclui: Eventos de mercadofinanceiro: “Comprar 10,000 ações da IBM por R$80,45” Eventos de Supply chain: “RFID tag 121.19.1818 foiescaneado as1:39PM no dock door 10” Eventos de segurança: “Endereço TCP/IP 128.1.32.298 foiacessado no servidor 5” O que é um EVENTO?
4. Não é Código de Endereçamento Postal CEP (Complex Event Processing) Processamento de eventos complexos (CEP) é a capacidade de gerenciar eventos, a fim de identificar e tomar medidas a partir de padrões definidos, indicando oportunidades e/ou ameaças para o negócio, onde temos uma percepção de situações, sentir e responder sempre controlando e rastreando. CEP permite que se aplique em real-time inteligência para um streaming data, exemplo: Sequência de eventos (A seguido por B, então C) com condicional (o valor de A é >100) ou restrições temporais (dentro 5 minutos) O que é Complex Event Processing (CEP)? X
12. FraudeCartãoCréditoSensibilidade e RespostanasAplicações BAM emTempo-Real Detecta padrões complexos de um stream de eventos em tempo-real, onde os dados pode ter uma janela de tempo, maximizando seu valor Atuar sobre ameaças ou oportunidade com capacidade de respostas em tempo-real Praque é usado? O que é Complex Event Processing (CEP)?
13. Princípios do CEP- baseadoemSistemas Tratarqualqueratualização do negóciocomo um “evento” Permitirqueusuáriosrapidamentedefinamregrasbaseadasemeventosparaidentificarpadrõesindicandooportunidades e tratamentopara o negócio Regrassãocarregadasemreal-time enginequeofereceanálise e resposta com baixalatência A engine é permanentementeconectadaemváriasfontes de eventose destinos Eventos podem ser capturado e guardadoem ordem para análise de padrões históricos e análise da causa raiz.
14. Princípios do CEP – dentro do Contexto Detecção de fraudeemcartões de crédito Tratarqualquertransação de cartão de créditoatualizadocomoum“evento” Permitirqueusuáriosrapidamentedefinamalgorítmosquantitativoparaidentificarum usoanormal Regrassãocarregadasdentro de um sistema de detecçãoqueofereceanálise e resposta com latência de milesegundos O sistema de detecção é permanentementeconectadaemváriossistemas de processamento de transaçãoe histórico de banco de dados Eventos podem ser capturado e guardadoem ordem para análise de padrões históricos e análise da causa raiz.
15. Monitorar, Analisar e Atuar com CEP O queaconteceu(BI/Reporting)? ProcessamentoTradicional – Atuaem dados passados“Houvealgumatransação de cartãoqueteveumaatividadeincomum?” O queestáacontecendoagora (CEP)? Event Streams Tempo 1 2 3 4 5 6 7 8 9 Complex Event Processing – Atuaemmovimento“Quando 2 oumaistransaçõesocorreremmais de 1 lugarem um período de 1 minuto, enviar um alerta.”
21. taiscomo um monitoramento de estado de umamáquinaoulocalização de um caminhão. Alternativamente, o monitoramento de um jogo de computador ou de um fluxo de cliques.
23. Taiscomomercado de açoes (bolsas), novos feeds, dados meteorológicosCEP – Para todostipos de Eventos
24. 1 - SOA promove o uso de EDA (Event Driven Architecture) incentivando a mudança de informãções 2 - Processos de negócios tendem a operar de forma orientada a eventos. 3 - Por causa das mudanças causadas pelo EDA, tendo a capacidade de processar eventos de forma inteligente o tornando fundamental. Porque CEP é importante, dentro do contexto SOA Event Driven Architecture (EDA): Padrão de arquitetura de software que promove a produção, detecção e consumo de uma reação para um EVENTO. SOA - Conecta a um serviço seguindo uma linha, sequência previsível EDA - Permite multiplos, menos previsível, eventos assíncronos acontecendo em paralelo e disparando uma simples ação.
25. Deteção Fraude Transporte & Logistica Monitoramento de Processos de Manufatura Telco Monitoramento Energy Grid Riscos real-time Pesquisa de mercado Negociação de ativos Roteamento de pedido inteligente Agregação de Mercado Preços real-time Adoção do CEP Algorithmic Trading (bolsa)
26. Onde CEP é usado? Supply Chain & Otimização das vendas Inventário automatizado / abastecimento para operações de varejo. Onde está este livro agora? Manufatura Todas as linhas da operação estão com máxima eficiência? Há um problema no percurso do carregamento em uma linha e vai ter um efeito adverso nos processos de entrega do carregamento? Posso absorver alterações de última hora na demanda?
27. Onde CEP é usado? Logística Telco Identificar sistemas de negócios de baixo desempenho para assegurar níveis de serviço e se podem ser atendidas e melhoradas Otimização do tráfego marítimo no porto para obter maior eficiência das operações portuárias e reduzir os custos de combustível
33. Como o APAMA trabalha? MANAGE/MONITOR Inicia com um evento Events Events Events Events Adapter ESB
34. O correlator é um processo no qualexpõe um número de operaçõesremotasatravés de um transportebaseadoem socket A operaçãoprimáriainclui: Enviaeventospara o correlator (input) Subscreveeventos (outodos) noscanais de chamadas (output) Injetacódigo Háumafila de entrada e uma de saída: O que é o Correlator? Fila de saída Fila de entrada Código o1 o2 o3 o5 o4 e5 e3 e2 e1 e4
35. O processo do correlatorocorrenaentrada do stream de evento Seguindo as intruçõesescritas no MonitorScript (linguagem APAMA) A performance do correlator é extremamenteeficientecomparado a queries Usandoumaestrutura de dados chamada de hypertree A saída dos stream de eventos do correlatorpara o clientes Dividi em uma série de canais com eficiência Clientessomenteusaoscanaisqueprecisarem O correlatorentregaeventoscomplexos no quaissão: Usadosinternamente Processados no mesmocaminhocomo um eventoexterno Todos os processados antes do próximo evento externo Como o correlatortrabalha?
36. Uma aplicação tradicional baseada em aplicação: Indexa cada item de um dado quando recebido Realiza uma nova consulta depois que cada item é indexado (ou executa a cada n segundos) Resultado de processos Este tipo de aplicação te um grande overhead “por evento” O correlação do evento no APAMA tira de sua cabeça essa ideia O correlator indexa queries, não dados Cada evento é passado sobre as queries Menos overhead “por evento” = Melhor performance Como o correlatortrabalha?
37.
38.
39.
40. End-userDashboards ScenarioDefinition Tools User Tools Dashboard Studio EventProcessingEngine EventAnalysis &Storage HistoricalEvent Store APIC/C++JAVA.NET Adapter Framework EnterpriseIntegration etc. DBMS Middleware Camadaapresentação Dando aos usuários visibilidade de cenários e KPIs, permite ajustes de parametros e drill-down Processando e analisando a camada engine Dados de eventos são analisados e correlacionados. Event store dá acesso históricos de informação. Alta performance e escalável ` Coleção de eventos Eventos podem estar disponíveis em multiplos stream em tempo-real como databases e outras informações de sistemas Arquitetura APAMA em alto nível
41. Quemestáenvolvidoemprojeto APAMA?Trazendo TI, Analista de negócio e usuário de negóciosjuntos Usuário final do dashboards Qualparâmetroalterarouconfigurar Monitorarexecuções e receberalertas Intervirmanualmente Monitoraraçõesautomatizadas Fornecerprobabilidade de R$ projeto LinhaNegócio Analista Negócio Traduzosrequisitospara o negócio Defini e desenhaosdashboards Defini e testa as regras de negócios Usa e definianálise de negóciosadequado Entende dos processosexistentes Usuáriochave Responsávelpelaintegração de ferramentasdentro de um ambiente Irátrabalhar com o analista de negócioemsuporte a aplicações de negócios Implementação Implementação das análises Responsávelporproblemasoperacionais TécnicoArquitetos e Desenvolvedores
46. Querem saber mais sobre CEP? Event Processing in Action by OpherEtzion & Peter Niblett The Power of Events: An Introduction to Complex Event Processing in Distributed Enterprise Systems (Hardcover) By: David Luckham (Author)
