Avaliação experimental e melhoria do GuideAutomator, uma ferramenta para criação de manuais de usuário

Abstract

O GuideAutomator é uma ferramenta que utiliza texto e código-fonte para, de maneira auto- matizada, documentar um sistema web através de capturas de tela. Ele foi criado para reduzir o custo de elaboração e manutenção de manuais para usuários. Para avaliar se a ferramenta proposta atende esse propósito, realizamos experimentos para analisar a eficiência e a eficácia do GuideAutomator em relação a métodos tradicionais na elaboração de documentação e na evolução dessa documentação para uma nova versão. Além disso, evoluímos o protótipo inicial da ferramenta para torná-la mais robusta e desenvolvemos uma extensão de navegador para tornar mais fácil o uso do GuideAutomator independente do conhecimento do usuário sobre web. Na análise dos resultados do experimento foi observado que o GuideAutomator obteve menos eficiência e a mesma eficácia ao longo de duas versões da documentação, contudo, foi percebido uma queda muito acentuada no tempo de execução utilizado pelo GuideAutomator de uma versão para outra e ainda foi notado que pessoas com menos conhecimento em desenvolvimento web não tiveram seu desempenho prejudicado ao utilizar o GuideAutomator.

GuideAutomator is a tool that uses text and source code to automate documenting a web system through screen captures. It was created to reduce the cost of developing and maintaining manuals for users. To evaluate if the proposed tool fulfills this purpose, we carried out experiments to analyze the efficiency and effectiveness of GuideAutomator in relation to traditional methods in the elaboration of documentation and in the evolution of this documentation to a new version. In addition, we have evolved the initial prototype of the tool to make it more robust, and we have developed a browser extension to make it easier to use the GuideAutomator independent of the user’s knowledge about web development. In the analysis of the results of the experiment it was observed that GuideAutomator obtained less efficiency and the same effectiveness throughout two versions of the documentation; however, we noticed a very sharp fall in the runtime used by the GuideAutomator from one version to another and also that people with less knowledge in web development did not have their performance impaired when using GuideAutomator.