O A / B testing Framework tão bom que conseguiu um nome de código

neste post vou mostrar-lhe como obter mais dos seus testes A/B.

vou mostrar que se você não tem um bom processo para testar, você está deixando dinheiro na mesa.,

você não tem que adivinhar o que funciona

da maneira que costumava ser, a opinião da pessoa mais bem paga (HiPPO) foi a primeira e última palavra quando se tratava de tomar decisões de marketing.

felizmente, vivemos numa era em que não temos de adivinhar, nem temos de aceitar cegamente opiniões injustificadas. Podemos validar decisões com dados:

• ferramentas de análise Digital podem dizer-lhe exatamente onde seus visitantes estão caindo.as ferramentas de teste e pesquisa do usuário podem dar-lhe uma visão sobre quais os problemas podem ser.,qualquer um pode facilmente implementar um teste A/B para realmente ver qual variação é melhor.

apesar de configurar um teste A / B ser fácil, o processo de criar grandes ideias de teste e priorizá-las não é. Muitas pessoas ainda estão executando uma lista de “100 Coisas para teste A/B” ou escolhendo coisas ao acaso.o que há de errado nisso? Bem, responde-me a isto: preferes que um médico te opere com base numa opinião, ou exames e testes cuidadosos?exactamente.

então como você pode otimizar o seu site se você não faz a pesquisa adequada, Medição e análise?,

cada ação que os usuários tomam em seu site pode ser medido (mesmo que 90% das configurações de análise que eu encontro são quebradas – coisas importantes ou não medidas, ou dados não confiáveis), dando-lhe uma visão sobre o seu público (o que eles querem, como eles compram e como eles gostariam de comprar).

então como você vai coletar e usar esses dados para o seu próprio negócio?de que quantidade de dados precisa? Que tipo de dados?digamos que quer atravessar a estrada., Mesmo se você tivesse uma tonelada de informação-umidade do ar, a posição exata do sol, a velocidade do vento, o número de pássaros em linhas elétricas, a cor do olho da pessoa ao seu lado – não seria útil para você. Os dados que você realmente precisa é se há um carro vindo, e quão rápido.

é o mesmo com os dados do site. Você precisa começar com um objetivo – como aumentar as vendas, obter mais testes começa ou mais pistas. Uma vez que você conheça o objetivo, comece a fazer perguntas que possam levar a insights sobre a realização desses objetivos.então, como são essas perguntas?, Eles vão variar de negócio para negócio, mas pode ser algo assim:

• De Quem é o problema que você está resolvendo?do que precisam?o que acham que querem? Por quê?como escolhem / tomam uma decisão? Por quê?o que pensam quando vêem a nossa oferta?como é que o que vendemos é claramente diferente?onde é que o local está a vazar dinheiro?qual é o problema?o que estão a fazer ou não estão a fazer no sítio Web?o que leva mais pessoas a fazer X?,

Uma vez que você começar a fazer as perguntas certas, você pode isolar os dados que você realmente precisa para tomar decisões de otimização mais inteligentes em vez de perder tempo peneirando através de dados inúteis simplesmente porque ele está disponível.

mas como você reúne e analisa os dados?você precisa de dados com os quais possa agir. Para cada pedaço de dados que você recolhe, você precisa saber exatamente como você vai usá-lo.

e lembre-se: demasiados dados podem levar à paralisia da análise. Concentre-se em dados que podem levar diretamente a insights. Insight é algo que você pode transformar em uma hipótese de teste.,ao longo de anos fazendo isso, eu desenvolvi um quadro de pesquisa de conversão, que eu usei para melhorar centenas de sites em todo o mundo. Não importa em que Indústria você está (por exemplo, eCommerce, SaaS), você pode usá-lo para orientar sua otimização e tomar decisões de teste mais inteligentes.

this framework is called ResearchXL.

6 passos para melhorar a/B test Ideas

ResearchXL é uma estrutura para identificar problemas ou problemas que o seu site tem, e transformá-los em hipóteses que você pode testar. Com ele, você usa seis tipos de dados…,análise heurística Análise Técnica Análise Digital Análise Digital Análise Digital seguimento do rato pesquisas qualitativas Teste do utilizador Teste do utilizador

Uma vez que passar por isto, terá uma compreensão clara de quais são os seus problemas reais e quão graves são cada um deles.

Let’s go through each one.

análise heurística

definimos “análise heurística” como um passo em frente de seu site. É o mais próximo que um optimizador pode dar a sua opinião.,

mas há uma diferença entre uma opinião desinformada e a de um otimizador ou designer UX que tem trabalhado em taxas de conversão por anos. É como como um negociante de arte experiente será mais provável de adivinhar o valor de uma peça de arte do que a sua média Joe… experiência importa em certa medida.ainda assim, limitamos este processo de duas maneiras:

1. Use um framework.existem muitos enquadramentos para a análise heurística. Julgamos todas as páginas da web com base no seguinte:
   • relevancia: a página satisfaz as expectativas do utilizador?,clareza: o conteúdo / oferta nesta página é tão claro quanto possível?valor
   • : a página está a comunicar o valor ao utilizador? Será que pode ser melhor?atrito: o que nesta página está causando dúvidas, hesitações e incertezas?distração: o que está na página que não está ajudando o usuário a tomar medidas?

   O que quer que escreva neste passo é meramente uma “área de interesse”. Não é a verdade absoluta.,

   Quando começar a escavar os dados das análises e a reunir os planos de testes do utilizador e outras coisas, certifique-se que investiga essas coisas com a intenção de validar ou invalidar o que quer que tenha encontrado heuristicamente.

   análise técnica

   Se você acha que o seu site funciona perfeitamente em cada versão do navegador e em cada dispositivo, você provavelmente está errado. Desculpa!

   tantos sites ignoram versões menos populares do navegador e estão perdendo muito dinheiro por causa disso., Você pode ter o site mais persuasivo do mundo, mas se ele não exibir corretamente no navegador/dispositivo que estou usando, não vai importar. Vou-me embora.

   Abra o seu Google Analytics e vá para o Público-alvo> Tecnologia> Browser & OS Relatório.

   Você verá taxa de conversão (para o objetivo de sua escolha) por navegador.

   

   ver como as taxas de conversão IE8 e IE9 estão próximas de zero, enquanto IE10 e IE11 se convertem em cerca de 9%?, Esta é uma indicação de que algo está errado, alguns possíveis problemas de cross-browser lá. Hora de investigar!

   além do teste do navegador, a velocidade do site pode ser fruto de baixa suspensão para otimização.

   Existe uma diferença entre “tempo de carga da página” e “tempo interativo da página”:

   • O tempo de carga da Página significa “segundos até que cada elemento da página seja carregado”.
   • Page interactive time means “seconds until the site is usable”.

   Page interactive time is much more important and is the metric you should be looking at., (Mesmo que uma página leve algum tempo para carregar, se for interativa mais cedo, a experiência percebida do Usuário é melhorada.)

   é claro, quanto mais rápido melhor, mas de acordo com Jakob Nielsen, os usuários podem lidar com até 10 segundos de tempo de carga. Para referência, o típico site líder de comércio eletrônico leva cerca de 4,9 segundos para carregar o conteúdo utilizável.

   To find site speed data, log into Google Analytics, and from there: Behavior – > Site Speed -> Page Timings. Ligue a ‘comparação’ para facilmente detectar páginas mais lentas.,

   

   Aqui podemos ver que as 2 páginas mais visitadas também são as mais lentas!

   Agora use o Google Pagespeed Insights (acessível através do Google Analytics), para obter um diagnóstico no seu site. Digite todos os URLs de páginas lentas e estas ferramentas irão encontrar os problemas. Conserte-os!

   analisar dados de Análise Digital

   Google Analytics é o melhor amigo de um otimizador. Se não és bom a analisar, então aprende agora. É crucial saber como configurar relatórios e analisar dados da web.,se suas habilidades de análise estão limitadas a ver quantos visitantes únicos você tem, então reveja este curso introdutório gratuito do Google.o que podemos aprender com o Google Analytics? Bem, muito. Incluindo:

   • O que as pessoas estão a fazer.
   • o impacto e desempenho de cada recurso, widget, página.onde o local está a vazar dinheiro.

   uma coisa que você não pode aprender com o Google Analytics é o “porquê”., Como em, podemos ver o que, onde, quando e quem através da análise, mas devemos usar pesquisa qualitativa e análise heurística para encontrar as razões por trás desse comportamento.

   isto é importante: antes de analisar qualquer coisa, certifique-se de que tudo está bem configurado.a sério. Quase todas as configurações de análise são confusas/quebradas. Se este for o caso, seus dados serão incompletos na melhor das hipóteses, imprecisos na pior das hipóteses.então, primeiro, comece com um exame de saúde analítico. Esta é apenas uma série de verificações de análise e instrumentação que tenta responder à pergunta: “podemos confiar nestes dados?,”

   O grande ponto aqui é que, para coletar os dados certos, tudo precisa ser configurado corretamente e você tem que ter as habilidades para configurar os relatórios certos. Aqui estão alguns grandes recursos iniciais sobre o assunto.,li>o Google Analytics 101: Como Configurar o Google Analytics Para Obter Dados Acionáveis

2. o Google Analytics 102: Como Configurar Metas, Segmentos de & Eventos no Google Analytics
3. A Guia do Iniciante Gestor de etiquetas do Google

Análise dos dados:

• 10 Relatórios do Google Analytics Que Dizer a Você Onde Seu Site está Vazando Dinheiro
• 7+ sub-Utilizado, Relatórios do Google Analytics para a Conversão Insights
• 12 o Google Analytics Relatórios Personalizados para Ajudá-Lo a Crescer mais Rápido

Como eu mencionei, o google analytics pode apenas dizer “o quê” e “onde”., Para fazer melhores testes, também queremos encontrar o “porquê”.

pesquisas qualitativas

para pesquisas qualitativas, eu gosto de começar com ferramentas de votação.

pesquisa diz que a maioria das pessoas em seu site não vai comprar nada. Uma coisa que nos ajuda a entender por que as pessoas não estão comprando é as pesquisas na página do site.

Existem duas versões disto:

1. exit surveys: acertar-lhes com um popup quando eles estão prestes a sair do seu site.inquéritos na página: peça-lhes para preencherem um inquérito, uma vez que estão a visitar uma página específica.,

Parece que todo mundo está fazendo uma ferramenta para disparado pesquisas hoje em dia, mas aqui alguns que eu usei e gostei:

• Qualaroo
• HotJar
• WebEngage
• Marketizator
• Usabilla

todos Eles são fácil e intuitiva de configurar, mas lembre-se: a ferramenta não é tão importante quanto a sua estratégia de pesquisa. Antes de enviar uma pergunta a um cliente, você deve:

• configurar as páginas onde a pesquisa deve ser feita.
• escreva suas próprias perguntas (sem pré-escrito, template bullshit).,
• determina os critérios comportamentais para quando mostrar a pesquisa.é isso. E não se preocupe muito sobre se as pesquisas são ou não pessoas irritantes – os insights que você vai ganhar valem a pena.que perguntas devem fazer os seus inquéritos?está à procura de uma visão activa. Você está tentando aumentar as conversões, então você quer dados que indiquem maneiras de fazer isso.

  comece por tentar identificar as fontes de atrito. Quais são os medos, dúvidas e incertezas do seu público enquanto em uma página específica?, Para descobrir, uma pergunta eficaz poderia ser: “há alguma coisa que o impeça de se inscrever neste momento?”*

  talvez você queira ver se a sua página é clara e tem informações suficientes. Nesse caso, eu perguntaria, ” há alguma informação que você está procurando nesta página, mas não pode encontrar?”

  no entanto você faz isso, o objetivo é descobrir pontos de estrangulamento e pontos de queda para as conversões.

  também note que, dependendo de seus objetivos específicos, há toneladas de casos de uso para pesquisas na página. Aqui está uma boa lista de perguntas da Qualaroo.,o segundo tipo de inquéritos qualitativos é os inquéritos por correio electrónico para os clientes existentes.

  as pesquisas de clientes são ligeiramente diferentes das pesquisas de página, apenas devido ao fato de que através de pesquisas de clientes você está recebendo respostas de clientes atuais/existentes. Eles podem oferecer um trove de discernimento qualitativo.o problema é que a maioria das pessoas está a estragar as pesquisas dos clientes.,

  O design da pesquisa é um tópico complexo que algumas pessoas estudaram durante anos, mas vamos resumi-lo de uma forma que será viável para você e seus esforços CRO:

  • envie uma pesquisa por e-mail para compradores recentes da primeira vez (se eles compraram muito tempo atrás, suas memórias da experiência não são confiáveis).filtrar os compradores repetidos (distorcem os resultados).
  • Tente obter cerca de 200 respostas (depois de ~200 existem retornos decrescentes no insight; as respostas começam a se repetir).não faça perguntas sim / não.,
  • evite a escolha múltipla (no entanto, estes podem ser muito benéficos para outros tipos de pesquisas de clientes, onde você está quantificando/codificando os dados).

  o ponto maior, no entanto, com qualquer coisa qualitativa, é que você deve começar com o seu objetivo e trabalhar para trás. O que quer aprender com os seus clientes? Questões de Design baseadas nos objetivos de pesquisa.

  rastreamento do Mouse, Replays de sessão e Analytics do formulário

  rastreamento do Mouse é um dos raios menos importantes do processo de pesquisa, mas ainda podemos ganhar alguns insights aqui.,

  Aqui estão alguns dos diferentes tipos de tecnologias de rastreamento do mouse (e ferramentas relacionadas):

  1. Mapas de calor de movimento do Mouse

  um’ mapa de calor ‘ normalmente se refere a uma representação gráfica de dados onde os valores individuais contidos em uma matriz são representados como cores. Vermelho é igual a muita ação, azul é igual a nenhuma ação, e há cores no meio.

  na maioria das vezes, as pessoas estão falando sobre mapas de hover quando eles falam sobre mapas de calor. Você também pode usar ferramentas algorítmicas, especialmente se você tiver menor tráfego, para gerar mapas de calor.,

  a precisão dos mapas de calor em geral é questionável, por isso não coloque muito estoque nos dados aqui.2. Clique em Maps

  assim como soa, clique em maps track onde as pessoas clicam.os visuais tornam mais fácil explicar as coisas a outros executivos e membros da equipe. Outro bom uso para eles é identificar se os usuários estão clicando em Não-links. Se você descobrir alguma coisa (imagem, frase etc.) que as pessoas querem clicar em, mas não é um link, em seguida, ou torná-lo um link ou alterar a aparência para que não se pareça com um link.

  

  3., Role os mapas

  isto mostra-lhe a profundidade-até onde as pessoas descem. Estes são muito úteis para projetar páginas de vendas ou mesmo apenas com conteúdo – você pode identificar os pontos exatos em seu design, onde as pessoas caem – tipicamente por causa do uso de fundos falsos.

  

  Se descobrir que as pessoas estão a cair mais cedo do que gostaria, pode reavaliar a importância e o posicionamento do seu conteúdo, ou adicionar melhores vias oculares e pistas visuais para direccioná-las para a página.4., Muitas ferramentas também oferecem a capacidade de gravar sessões de vídeo de seus usuários. Você pode reproduzir vídeos de usuários navegando através de seu site.

  é como testar o usuário, mas sem script ou áudio, e eles estão realmente usando seu próprio dinheiro, então você pode chegar a algumas novas ideias aqui.digamos que você tem um passo no seu funil onde muitas pessoas desistem. Por quê? Basta assistir vídeos de pessoas que passam por essa URL, e prestar atenção ao que eles fazem. Vais aprender muito.5., Formulário do google Analytics

  Não necessariamente o rastreamento do mouse, mas a maioria das ferramentas nesta categoria (como HotJar, ClickTale, Inspectlet) tem este recurso, ou pode usar uma ferramenta autônoma, como Formisimo.

  otimização da forma é uma parte chave da otimização, e é aqui que a análise da forma entra. Estas ferramentas basicamente identificam onde os usuários estão caindo, quais campos atraem hesitação, quais campos desenham a maioria das mensagens de erro, etc.

  o teste do utilizador

  o teste DO UTILIZADOR permite-lhe ver as pessoas a usar o seu site em tempo real enquanto comentam o processo.,

  A qualidade do insight que você recebe depende inteiramente da qualidade das tarefas que você dá Testadores. Aqui estão os 3 tipos de tarefas que você geralmente deve incluir:

  1. uma tarefa específica (encontrar perna reta, calças de ganga lavadas escuras no tamanho 33×32).uma tarefa ampla (encontrar um par de jeans que você gosta).acabamento do funil (compre este par de jeans).

  Ferramentas para este ramo de pesquisa incluem coisas como:

  • Usertesting.,com
  • OpenHallway

  TryMyUI

  reunindo: como priorizar os seus testes a / B

  estes seis raios do nosso modelo de pesquisa XL devem ter-lhe dado suficiente visão e questões para trabalhar.

  Agora você pode categorizá-los de uma forma que promove a eficiência. Despeje – os nos 5 baldes seguintes: ensaio

  1. . Este é o balde para as coisas com uma grande oportunidade de mudar o comportamento e aumentar conversões.instrumento., Incluir coisas que precisam de ajustes técnicos neste balde – tais como aprimorar relatórios de análise, fixar/adicionar/melhorar tag ou handlings de eventos, e quaisquer outras correções de implementação que possam ser necessárias.hipotese. Incluir coisas neste balde que, enquanto você sabe que há um problema, você não vê uma única solução clara. Então, as hipóteses do brainstorm, e impulsionadas por dados e evidências, criam planos de teste.fá – lo. Não há brainers aqui. Aqui é onde uma correção é fácil de implementar ou tão óbvio que nós apenas fazê-lo., Baixo esforço ou micro-oportunidades para aumentar as conversões imediatamente.investiga. As coisas neste balde requerem mais escavações.

  em seguida, priorize os itens em seu balde usando um sistema de pontuação de 1-5 estrelas (há muitas maneiras de priorizar tarefas, mas isso funciona bem para nós.) 1 = questão menor, 5 = criticamente importante. As duas coisas mais importantes a considerar ao dar um número a um item são:

  1. facilidade de implementação (tempo/complexidade/risco).
  2. Opportunity score (subjective opinion on how big of a lift you might get).,

  Use uma folha de cálculo à moda antiga para mapear cada edição (clique aqui para baixá-la). Prepara uma folha de cálculo de 7 colunas… deve ser parecido com isto:

  

  iniciantes em otimização estão muitas vezes preocupados com “o que testar”, que gera listículas oferecendo ‘101 Coisas para testar agora’. Curiosamente, depois de fazer pesquisa de conversão, o que testar nunca é um problema (você geralmente identifica 50-150 questões).uma vez que você priorize, você pode começar a escrever e testar hipóteses., Uma boa maneira de escrever sua hipótese é assim (crédito a Craig Sullivan):”acreditamos que fazer para as pessoas vai fazer o resultado acontecer. Saberemos isso quando virmos dados e feedback .o que se segue?

  Agora que você tem uma lista de ~100 problemas reais que o seu site tem, comece a enfrentá-los testando tratamentos ou apenas corrigindo problemas se eles são problemas óbvios de usabilidade.

  a pesquisa de conversão supera suposições educadas

  a maneira mais rápida de melhorar a sua taxa de conversão é começar a abordar os problemas específicos que o seu site tem., Existem 2 maneiras de descobrir quais são realmente os problemas:

  1. Testing.investigação.

  apenas “testar” ideias é completamente aleatório e um enorme desperdício de tempo e dinheiro de todos.

  Você precisa fazer melhor do que isso, e é aí que entra o framework ResearchXL. Ele ajuda você a identificar os problemas específicos que seu site tem, então você estará realmente testando coisas que fazem a diferença.

  para começar…

  1. Realizar análise heurística em páginas-chave. Verifique a relevância, motivação e fricção.,
  2. assegure-se de que o seu site exibe adequadamente em cada navegador e dispositivo. Também carrega depressa?
  3. apoie-se no Google Analytics, mas certifique-se de que é configurado corretamente com um exame de saúde. Recolhe o que precisas? Pode confiar nos dados que estão a ser recolhidos?
  4. entender a razão por trás dos seus dados com inquéritos qualitativos (inquéritos de saída ou inquéritos na página). Concentre-se na identificação de medos, dúvidas e incertezas.
  5. Use o rastreamento do mouse, replays de sessão e analisadores de forma para identificar problemas. As pessoas estão clicando em Não-links? Quando é que as pessoas aparecem?, Que campos de formação atraem hesitação?
  6. Assista pessoas executar uma tarefa específica, uma tarefa ampla e funil conclusão em seu site. Vais aprender muito.

  priorize os seus testes A / B com esta folha de cálculo