Os comerciantes que estão ansiosos para tentar uma idéia comercial em um mercado ao vivo muitas vezes cometem o erro de confiar inteiramente nos resultados de backtesting para determinar se o sistema será lucrativo. Enquanto o backtesting pode fornecer aos comerciantes informações valiosas, muitas vezes é enganoso e é apenas uma parte do processo de avaliação. Testes fora da amostra e testes de desempenho avançado fornecem confirmação adicional quanto à eficácia de um sistema e podem mostrar as cores verdadeiras do sistema, antes que o dinheiro real esteja na linha. Uma boa correlação entre resultados de teste de backtesting, out-of-sample e forward performance é vital para determinar a viabilidade de um sistema de negociação. (Oferecemos algumas dicas sobre este processo que podem ajudar a refinar suas estratégias comerciais atuais. Para saber mais, leia Backtesting: Interpretando o passado .)

Backtesting Basics Backtesting refere-se a aplicar um sistema de negociação a dados históricos para verificar como um sistema teria realizado durante o período de tempo especificado. Muitas das plataformas de negociação atuais suportam backtesting. Os comerciantes podem testar idéias com algumas teclas e obter informações sobre a eficácia de uma idéia sem arriscar fundos em uma conta comercial. Backtesting pode avaliar idéias simples, como a forma como um crossover médio móvel seria executado em dados históricos, ou sistemas mais complexos com uma variedade de insumos e disparadores.

Enquanto uma idéia pode ser quantificada, ela pode ser testada novamente. Alguns comerciantes e investidores podem procurar a experiência de um programador qualificado para desenvolver a idéia em uma forma testável. Normalmente, isso envolve um programador que codifica a idéia na linguagem proprietária hospedada pela plataforma de negociação. O programador pode incorporar variáveis ​​de entrada definidas pelo usuário que permitem que o comerciante "ajuste" o sistema. Um exemplo disso seria no sistema de cruzamento de média móvel simples observado acima: o comerciante seria capaz de inserir (ou alterar) os comprimentos das duas médias móveis usadas no sistema. O comerciante poderia voltar a testar para determinar quais comprimentos de médias móveis teriam realizado o melhor nos dados históricos. (Obtenha mais informações no Tutorial de comércio eletrônico .)

Estudos de otimização
Muitas plataformas de negociação também permitem estudos de otimização. Isso implica entrar em um intervalo para a entrada especificada e deixar o computador "fazer a matemática" para descobrir o que a entrada teria realizado o melhor. Uma otimização multi-variável pode fazer a matemática para duas ou mais variáveis ​​combinadas para determinar quais níveis juntos teriam alcançado o melhor resultado. Por exemplo, os comerciantes podem dizer ao programa quais insumos gostariam de adicionar à sua estratégia; estes seriam então otimizados para seus pesos ideais, dado os dados históricos testados.

Backtesting pode ser emocionante em que um sistema não lucrativo muitas vezes pode ser magicamente transformado em uma máquina de fazer dinheiro com algumas otimizações. Infelizmente, ajustar um sistema para alcançar o maior nível de rentabilidade passada muitas vezes leva a um sistema que funcionará mal na negociação real. Esta sobre-otimização cria sistemas que parecem bons apenas em papel.

Curve fitting é o uso de análises de otimização para criar o maior número de negócios vencedores com o maior lucro nos dados históricos usados ​​no período de teste. Embora pareça impressionante em resultados de backtesting, o ajuste de curva leva a sistemas não confiáveis, uma vez que os resultados são essencialmente personalizados para apenas esse dado e período de tempo específicos.

Backtesting e otimização fornecem muitos benefícios para um comerciante, mas isso é apenas parte do processo ao avaliar um sistema comercial potencial. O próximo passo de um comerciante é aplicar o sistema a dados históricos que não foram utilizados na fase inicial de teste posterior. (A média móvel é fácil de calcular e, uma vez plotada em um gráfico, é uma poderosa ferramenta visual de tendências e manchas. Para obter mais informações, leia Médias móveis simples, faça as tendências se apresentarem .)

In- Amostra versus dados fora da amostra Ao testar uma idéia sobre dados históricos, é benéfico reservar um período de tempo de dados históricos para fins de teste. Os dados históricos iniciais em que a ideia é testada e otimizada são referidos como dados na amostra. O conjunto de dados que foi reservado é conhecido como dados fora da amostra. Esta configuração é uma parte importante do processo de avaliação porque fornece uma maneira de testar a idéia em dados que não foram um componente no modelo de otimização. Como resultado, a idéia não terá sido influenciada de forma alguma pelos dados fora da amostra e os comerciantes serão capazes de determinar o quão bem o sistema pode executar em novos dados; Eu. e. na negociação da vida real.

Antes de iniciar qualquer backtesting ou otimização, os comerciantes podem reservar uma porcentagem dos dados históricos a serem reservados para testes fora da amostra. Um método é dividir os dados históricos em terços e segregar um terço para uso nos testes fora da amostra. Apenas os dados na amostra devem ser usados ​​para o teste inicial e qualquer otimização. A Figura 1 mostra uma linha de tempo onde um terço dos dados históricos é reservado para testes fora da amostra e dois terços são usados ​​para o teste na amostra. Embora a Figura 1 represente os dados fora da amostra no início do teste, os procedimentos típicos teriam a porção fora da amostra imediatamente anterior ao desempenho para a frente.

Figura 1: uma linha de tempo que representa o comprimento relativo de dados na amostra e fora da amostra usados ​​no processo de teste posterior.

Uma vez que um sistema de negociação foi desenvolvido usando dados na amostra, ele está pronto para ser aplicado aos dados fora da amostra. Os comerciantes podem avaliar e comparar os resultados de desempenho entre os dados na amostra e fora da amostra.

A correlação refere-se a semelhanças entre os desempenhos e as tendências gerais dos dois conjuntos de dados.As métricas de correlação podem ser usadas na avaliação de relatórios de desempenho de estratégias criados durante o período de teste (um recurso que a maioria das plataformas de negociação fornece). Quanto mais forte for a correlação entre os dois, melhor será a probabilidade de um sistema funcionar bem no teste de desempenho direto e na negociação ao vivo. A Figura 2 ilustra dois sistemas diferentes que foram testados e otimizados em dados na amostra, depois aplicados a dados fora da amostra. O gráfico à esquerda mostra um sistema claramente ajustável para funcionar bem nos dados na amostra e falhou completamente nos dados fora da amostra. O gráfico à direita mostra um sistema que funcionou bem em dados internos e fora da amostra.

Figura 2: Duas curvas de equidade. Os dados comerciais antes de cada seta amarela representam testes na amostra. Os negócios gerados entre as setas amarelas e vermelhas indicam testes fora da amostra. Os negócios após as setas vermelhas são das fases de teste de desempenho para frente.

Se houver pouca correlação entre o teste na amostra e fora da amostra, como o gráfico esquerdo na Figura 2, é provável que o sistema tenha sido superestimado e não funcionará bem na negociação ao vivo. Se houver uma forte correlação no desempenho, como visto no gráfico certo na Figura 2, a próxima fase da avaliação envolve um tipo adicional de testes fora da amostra, conhecidos como teste de desempenho para a frente. (Para mais informações sobre a previsão, consulte Previsão financeira: Método Bayesiano .)

Princípios básicos do teste de desempenho avançado O teste de desempenho a futuro, também conhecido como troca de papel, fornece aos comerciantes outro conjunto de dados de amostra para avaliar um sistema. O teste de desempenho para frente é uma simulação de negociação real e envolve seguir a lógica do sistema em um mercado ao vivo. Também é chamado de papel comercial, uma vez que todas as negociações são executadas apenas em papel; ou seja, as inscrições comerciais e as saídas são documentadas juntamente com qualquer lucro ou perda do sistema, mas nenhuma transação real é executada. Um aspecto importante do teste de desempenho para frente é seguir exatamente a lógica do sistema; Caso contrário, torna-se difícil, se não impossível, avaliar com precisão esta etapa do processo. Os comerciantes devem ser honestos sobre quaisquer entradas e saídas de comércio e evitar comportamentos como cereais, ou não incluir um comércio em papel, racionalizando que "eu nunca teria aceitado esse comércio". Se o comércio tivesse ocorrido seguindo a lógica do sistema, ele deveria ser documentado e avaliado.

Muitos corretores oferecem uma conta de negociação simulada onde os negócios podem ser colocados e o lucro e perda correspondente calculados. O uso de uma conta de negociação simulada pode criar uma atmosfera semi-realista para praticar o comércio e avaliar ainda mais o sistema.

A Figura 2 também mostra os resultados para testes de desempenho para frente em dois sistemas. Mais uma vez, o sistema representado no gráfico à esquerda não consegue ir muito além do teste inicial em dados na amostra. O sistema mostrado no gráfico certo, no entanto, continua a funcionar bem em todas as fases, incluindo o teste de desempenho para frente.Um sistema que mostra resultados positivos com boa correlação entre os testes de desempenho na amostra, fora da amostra e para frente está pronto para ser implementado em um mercado ao vivo.

A linha inferior Backtesting é uma ferramenta valiosa disponível na maioria das plataformas de negociação. A divisão de dados históricos em conjuntos múltiplos para fornecer testes em amostra e fora da amostra pode fornecer aos comerciantes um meio prático e eficiente para avaliar uma idéia e sistema de negociação. Como a maioria dos comerciantes emprega técnicas de otimização no backtesting, é importante então avaliar o sistema em dados limpos para determinar sua viabilidade. Continuar o teste fora da amostra com teste de desempenho para frente fornece outra camada de segurança antes de colocar um sistema no mercado arriscando dinheiro real. Os resultados positivos e a boa correlação entre o teste de teste externo e fora da amostra e teste de desempenho avançado aumentam a probabilidade de um sistema funcionar bem na negociação real. (Para uma visão abrangente sobre análise técnica, veja Análise técnica: Introdução .)