CodeMaster – Avaliação Automatizada para Programas App Inventor e Snap!
O desenvolvimento do pensamento computacional tem se tornado um tema importante na Educação Básica. Muitas das experiências de desenvolvimento do pensamento computacional se concentram no ensino de programação usando linguagens baseadas em blocos. Como parte dessas atividades, é importante que os alunos recebam avaliações e comentários sobre seus trabalhos desenvolvidos. No entanto, na prática, pode ser difícil fornecer feedback personalizado, objetivo e consistente a cada um dos alunos. Nesse contexto, a avaliação automatizada dos trabalhos torna-se importante. Embora existam diversas ferramentas de avaliação automatizada para linguagens baseadas em texto, o suporte para linguagens de programação baseadas em bloco ainda é escasso.
O CodeMaster é uma aplicação web gratuita que, em um contexto de aprendizagem baseada em problemas, permite avaliar automaticamente projetos desenvolvidos com App Inventor e Snap! em relação a conceitos de programação, design de interface de usuário e estética visual.
Experimente o CodeMaster online!
O modelo de avaliação do pensamento computacional (ALVES, 2019), definindo uma rubrica, foi sistematicamente desenvolvido com base em currículos de referência, no framework definido por Brennan & Resnick (2012) e na rubrica para pensamento computacional móvel (Sherman e Martin, 2015) (Sherman et al., 2014). Resultados de uma avaliação em larga escala com mais de 88 mil aplicativos criados com App Inventor indicam que o modelo é confiável (Alfa de Cronbach = 0,84). O modelo de avaliação do design de interface (JUSTEN 2019) foi definido com base na teoria e guias de design visual (Material Design e WCAG 2.0), definindo uma rubrica. A confiabilidade e validade da rubrica foram avaliadas por meio de uma análise com 978 projetos da Galeria do App Inventor. Os resultados indicam que a rubrica CodeMaster UI Design pode ser considerada confiável (alfa de Cronbach α = 0,72).
As diversas dimensões são medidas analisando-se o código-fonte dos programas criados, por meio de análise estática de código, para medir o tipo e número de blocos utilizados no programa, quantificando os critérios definidos, como estruturas de controle, dados, interação, etc. Em seguida, com base nas rubricas, o projetos de programação são avaliados e uma pontuação e grau são atribuídos.
Estudantes podem utilizar a ferramenta para obter feedback, que poderá encorajá-los a melhorar as suas competências em programação.
O CodeMaster também pode ser utilizado por professores para avaliar turmas inteiras, reduzindo a sua carga de trabalho.
Avaliação automatizada do design de interface
Já está disponível online o novo módulo do CodeMaster para avaliar automaticamente o design visual de apps desenvolvidos com App Inventor.
A avaliação é baseada na CodeMaster UI Design – App Inventor Rubric, que permite analisar a conformidade do design de interface: com a teoria de design visual, com o guia Material Design e com as diretrizes WCAG 2.0. Limitamos os critérios de avaliação a recomendações básicas relevantes ao contexto do ensino de design na educação básica, assim como àqueles que são implementáveis com o App Inventor. Visando a automatização do processo de avaliação, também foram considerados somente critérios que podem ser avaliados automaticamente.
A confiabilidade e validade da rubrica foram avaliadas por meio de uma avaliação com 1.775 projetos da galeria do App Inventor. Os resultados indicam que a CodeMaster UI Design – App Inventor Rubric pode ser considerada confiável (alfa de Cronbach = 0.84). Em termos de validade de construto, há evidência de validade convergente.
Avaliação automatizada da estética visual usando Deep Learning
Appsthetics é um modelo de Deep Learning integrado ao CodeMaster para quantificar automaticamente a estética visual das interfaces de usuário de aplicativos Android, adotando uma abordagem baseada em regressão.
Utilizamos um conjunto de dados com 3.139 imagens de aplicativos Android rotulados com a pontuação estética média atribuída por avaliadores humanos para treinar uma rede neural convolucional (CNN), adotando uma abordagem supervisionada de aprendizado de máquina. O modelo Appsthetics está disponível online. Para o procedimento de teste, o valor verdade de cada tela de aplicativo Android é a pontuação média de todas as classificações recebidas pelos avaliadores humanos. Nossos resultados de avaliação demonstram que uma rede neural convolucional pode aprender a previsão da estética visual de interfaces de usuário de aplicativos móveis com base nas imagens das capturas de tela com um erro quadrático médio de 0,051369 com o conjunto de testes de 630 capturas de tela. As previsões do modelo Appsthetics estão altamente correlacionadas com as classificações humanas (coeficiente de correlação de Pearson r = 0.74, p < 2.2e-16) e a análise de Bland & Altman indica que mais de 96% deles concorda.
O CodeMaster possui Registro de Programa de Computador: BR512018051790-0 no INPI.
Quer saber mais sobre a nossa pesquisa nesta área?
Confere as nossas publicações aqui.
