Pessoas comuns de qualquer lugar do país testaram seu site. E agora? Diante dos resultados de um teste de usabilidade remoto, um vídeo e um questionário por participante, a quantidade de informação e de possíveis conclusões pode ser imensa, devido a variedade de personalidades e percepções frente a cada item testado. Tentando evitar que o analista perca o foco e o objetivo maior do teste – entender os usuários -, listamos a seguir os principais pontos a serem analisados:

1. CUMPRIMENTO DAS TAREFAS PROPOSTAS AOS PARTICIPANTES

As tarefas são realizadas no site ou app e gravadas em vídeo. Ex: “Entre no site, encontre algo que poderia comprar e inclua o item no carrinho”.

a) Taxa de conclusão: proporção de participantes que conseguiu concluir cada tarefa. Essa taxa vai mostrar o grau de dificuldade da tarefa e apontar observações para facilitar a realização da tarefa.

b) Tempo médio de conclusão: todos os tempos de conclusão para a tarefa dividido pelo número de participantes que a concluiu. Esse métrica é importante, pois quanto mais difícil e demorado para cumprir uma tarefa, mais chances o usuário terá de abandonar seu sistema.

c) Passos para a conclusão: quantos e quais são os passos dados pelo participante para executar uma tarefa. Há passos que se repetem entre os participantes? Aqui o importante é detectar se o participante segue o caminho que sua equipe desenvolveu ou se chega através de outra maneira podendo identificar novas formas de utilização do produto. Você pode usar o número de cliques que o participante leva para completar a tarefa.

d) Taxa e severidade de erro: quantas vezes um determinado erro apareceu e qual a gravidade dele. O erro ocorreu com apenas um participante ou vários? O erro causou uma má impressão impossibilitando a conclusão da tarefa? Categorize os erros apresentados e priorize os mais severos.

e) Taxas de satisfação: Estão satisfeitos com o sistema, recomendariam o produto?

Essas métricas servem para evidenciar as tarefas que tiveram maior problema de usabilidade, rastrear o progresso das reformulações de design e comparar a performance do site com a concorrência.

2. COMENTÁRIOS DOS PARTICIPANTES

Os participantes tendem a comentar naturalmente enquanto realizam o teste. Falam sobre o que gostaram ou não no site, falam o que esperava acontecer, dão sugestões diversas, etc. Alguns comentários também surgem quando eles respondem ao questionário proposto, mas com menos naturalidade, por ser linguagem escrita. Ao invés de coletar apenas comentários sobre soluções, o mais recomendado é coletar aqueles que dão uma ideia sobre:

• o modelo mental deles de como uma tarefa deveria ser feita
• como o website poderia ajudá-los
• o problema que o site está tentando resolver
• comentários que se repetem entre os participantes
• melhorias imediatas
• pontos positivos

Veja exemplos de comentários dos participantes do Testaisso:

3. ORGANIZE AS INFORMAÇÕES

Agora que você coletou comentários, métricas das tarefas e conteúdo visual, é necessário que você organize essas informações para formular uma apresentação e arquivar o estudo para comparar com testes futuros. Abaixo, mostramos algumas informações para incluir na apresentação:

• Público alvo testado (ex: mulheres, 30-45, solteiras, etc), tarefas realizadas e perguntas solicitadas.
• Gráficos com as principais métricas de conversão de tarefas, tempo para execução de tarefas e resultado das perguntas fechadas (ex. quantos recomendaram o produto), métricas de sucesso (ex. sucesso se o participante demorou menos de 5 minutos para completar o teste).
• Videoclipes ou screenshots dos principais problemas encontrados.
• Comentários e sugestões mais relevantes dos participantes, principalmente os que se repetem.
• Diferentes caminhos traçados pelos usuários.
• Pontos positivos e negativos do sistema observados pelos participantes.
• Possíveis soluções e recomendações.

Alternativamente você pode começar com uma rainbow sheet simplesmente catalogando as observações levantadas e quantificando o número de participantes que passou por cada observação. Cada coluna representa 1 participante. Veja um exemplo

Você pode baixar a planilha no https://docs.google.com/spreadsheet/ccc?key=0AoYW8ZkLHhY8dGtrNVQybWoycjc5WVEzRVpyUm4wcHc e compartilhar com sua equipe solicitando soluções e melhorias.

Se você precisa elaborar um relatório muito formal com muitas estatísticas, recomendamos visitar o link: http://zing.ncsl.nist.gov/iusr/documents/diarymate_v32.htm ou http://www.measuringu.com/blog/small-n.php (inglês)

CONCLUSÃO

Os participantes não são profissionais de UX, mas são experts no que eles fazem: usar o site. Não que toda a sugestão que eles dão tenha que ser levada como a última palavra, mas certamente eles levantarão questões e pontos de melhoria que beneficiarão equipes de UX, e-commerce, marketing e atendimento. As observações mais impactantes devem ser incluídas no relatório/apresentação referente ao teste de usabilidade, como parte dos resultados, que justificarão ajustes de design, investimentos em tecnologia, validação de suposições e potencialmente resolverão conflitos internos entre stakeholders sobre o rumo que o sistema deve seguir.

Não se esqueça que o participante é uma pessoa com suas próprias maneiras de usar seu sistema. Só porque você é paciente e atencioso(a), não espere que todas sejam como você. Cada um tem uma maneira de testar. Lembre-se, você não está testando o usuário, está testando o seu sistema.