LabIUtil    useit.com    usernomics    usableweb   hcibib
Laboratório de Utilizabilidade da Informática
LabIUtil - Laboratório de Utilizabilidade  
 
Projeto UseMonitor

Conjunto de ferramentas para a análise de dados de log orientada
à tarefa e à produção de medidas de usabilidade

por Walter de Abreu Cybis
 

Você nunca se perguntou por que estudos de usabilidade baseados em dados de log são tão impopulares entre especialistas em ergonomia de sites web?

É estranho, pois afinal estes dados são vestígios das interações realizadas por usuários reais, em seu ambiente real, para completar tarefas genuínas. Não há ninguém a observá-los ou a constrangê-los quando realizam suas tarefas em seus lares e escritórios. São condições ideais para obter dados para uma análise de usabilidade.

As ferramentas atuais de análise de log fornecem informação sobre diferentes perspectivas, incluindo a técnica (erros, links quebrados), a do tráfego (quantos são, quando visitam e de onde vêm os usuários) e do ROI (Return of Investment – faturamento em vendas e publicidade). Esta informação é útil para programadores webmasters, pessoal de marketing, mas o que um ergonomista de interfaces Web pode fazer com elas? Muito pouco, além de obter elementos sobre onde focar sua atenção nos estudos. As ferramentas fornecem pouco ou nenhum indício sobre o que se passa com a usabilidade do site.

De fato, métricas de usabilidade simples como "tempo produtivo na tarefa" ou "quantidade de erros na tarefa" não são oferecidas pelas ferramentas atuais e sem uma ferramenta apropriada, a análise de dados de log é impossível.

Meu objetivo com esta comunicação é anunciar a chegada da primeira ferramenta de análise de log voltada para a produção de medidas de usabilidade: UseMonitor.

Saiba mais...

Se você quer saber mais sobre esta ferramenta, ela deriva do projeto UseMonitor que implementa a análise de dados de log segundo uma abordagem orientada a tarefas. Esta abordagem permite que uma ferramenta forneça de forma automática as medidas da eficácia e eficiência experimentadas pelos usuários durante a realização de tarefas transacionais. Eu tenho trabalhado nesta abordagem desde 2000 e nos últimos anos contei com a colaboração de Dominique Scapin do Inria/France e de Jean-Marc Robert da EPM (Escola Politécnica de Montreal). As medidas de eficácia e eficiência são calculadas segundo o modelo proposto pela norma ISO 9241 parte 11 (Guidance on usability). Esta norma propõe que a usabilidade seja especificada em termos da eficácia, eficiência e da satisfação que um usuário experimenta durante a realização de suas tarefas. Não se pode conhecer a satisfação do usuário a partir da análise de dados de log, mas esta estratégia autoriza o cálculo da eficácia e da eficiência do usuário em suas interações. Para tanto é necessário olhar os dados de log de outra forma, não como vestígios de interações, mas como vestígios de tarefas. Esta é a única maneira de analisar a produtividade do usuário por meio de dados de log.

Esta mudança de perspectiva exige que se conheça os objetivos dos usuários nas interações, o que pode ser feito pela combinação de duas estratégias: pela análise dos caminhos que os usuários estiveram percorrendo e conhecendo aquilo que eles obtiveram ao final de suas interações. Por exemplo, ao analisar os dados de log é possível constatar que um usuário fez acesso a um formulário de registro e que alguns minutos mais tarde o sistema enviou-lhe uma mensagem de confirmação. É razoável inferir que este usuário estava efetivamente buscando realizar seu registro por meio deste formulário. Este mesmo tipo de inferência é válido para outros tipos de transações com pontos de início e de conclusão claramente observáveis e diferenciáveis, como quando da compra de um produto, o pagamento de faturas ou a consulta ao saldo de uma conta.

Uma vez que o objetivo de um usuário seja conhecido, é possível identificar quando ele/ela começou e terminou sua busca, assim como os diferentes caminhos empregados para alcançá-lo. De fato, esta abordagem permite a identificação de diversos tipos de comportamentos dos usuários que são autorizados pela estrutura da interface do site web. De uma maneira geral estes estão associados ao sucesso imediato, ao sucesso com desvio, com erro, com ajuda, ao abandono, ao cancelamento (desistência depois de um erro), etc. O cálculo da freqüência e da duração dos diferentes comportamentos de sucesso permite determinar medidas da eficiência dos usuários. A incidência de comportamentos de insucesso, por outro lado, pode informar sobre a eficácia nas tarefas, mas nestes casos, será necessário assumir que as medidas não serão precisas. De fato, pela análise de dados de log haverá sempre uma dúvida sobre os comportamentos de cancelamento e abandono. Pela simples análise de logs não há como distinguir entre os usuários que o abandonaram devido a obstáculos na interface dos que estavam apenas visitando o site e o deixaram antes de comandar qualquer execução.

Assim, preciso avisar que as ferramentas UseMonitor podem fornecer uma visão bastante precisa sobre a eficiência do usuário em tarefas bem sucedidas. Entretanto a visão sobre a eficácia dos usuários nas tarefas não será tão precisa, a não ser que UseMonitor esteja associado com uma estratégia de teste a distância ou de uso induzido do site.

Ao falar das limitações e da aplicabilidade da abordagem orientada a tarefas para a análise de dados de log eu preciso salientar que os resultados fornecidos pelo conjunto de ferramentas UseMonitor correspondem tanto a valores médios e individuais. Os valores médios se referem a todos os tipos de usuários, trabalhando em todos os tipos de ambientes, tendo acesso à Internet por meio de conexões de alta e de baixa largura de banda, etc. O sistema também pode fornecer valores para cada usuário, mas nestes casos nada se sabe sobre o contexto individual deste usuário (a não ser seu sistema operacional e seu navegador). Mesmo que ambos os tipos de medidas não permitam uma segmentação elas são válidas para um ergonomista ou engenheiro de usabilidade, pois podem ser obtidas rapidamente e com baixo custo. Elas poderão ser empregues com propósitos técnicos e gerenciais, como especificar valores aceitáveis mais realistas para a usabilidade dos sites e monitorar a evolução da usabilidade na medida em que as interfaces com o usuário vão sendo alteradas (o que ocorre constantemente com sites web). Os fundamentos para este último tipo de prática é simples; (i) os componentes do contexto de uso, noção que inclui a própria interface com o usuário determinam a usabilidade em uma tarefa; (ii) com exceção da interface, os outros elementos do contexto de uso, o perfil dos usuários, dos equipamentos e das conexões à Internet, modificam-se de maneira relativamente lenta; (iii) as interfaces web são modificadas de maneira rápida e freqüente. A análise destes postulados permite supor que na maior parte das vezes, as recentes alterações em uma interface web são as principais suspeitas das recentes variações (para melhor ou para pior) nos níveis de eficiência do usuário em uma tarefa.

Em resumo, o conjunto de ferramentas UseMonitor se destina a alimentar, de maneira rápida e econômica, os especialistas em ergonomia e mesmo os webmasters, com medidas relacionadas com a eficiência de usuários em transações típicas de aplicações B2C, B2B (incluindo ERP), home banking, realizadas por meio de sites acessados via Web, celulares, tevês digitais, etc...

UseMonitor se coloca como um recurso para a popularização de uma engenharia de usabilidade baseada em medidas.

 

 
   

Contact
Email: walter.cybis@polymtl.ca

Google