Banca de DEFESA: LILIANE DE OLIVEIRA NEVES

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : LILIANE DE OLIVEIRA NEVES
DATA : 10/08/2018
HORA: 14:30
LOCAL: Campus II, Belo Horizonte, Auditório do Prédio 12.
TÍTULO:

Confiabilidade e comportamento avaliativo na prova oral do exame Celpe-Bras: um estudo longitudinal


PALAVRAS-CHAVES:

exame Celpe-Bras; confiabilidade; comportamento avaliativo.


PÁGINAS: 230
RESUMO:

As avaliações em larga escala desempenham papel importante na sociedade, pois servem para identificação de saberes de determinados grupos, (re)direcionamento de políticas públicas e tomada de decisões. Devido a isso, é necessário que apresentem resultados consistentes e que reflitam o construto que se pretende avaliar. Nesse cenário de avaliação, esta tese trata do exame que confere o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras), que é composto por duas provas, uma escrita e outra oral. A prova oral, foco deste trabalho, é uma interação face a face em que participam o examinando e dois avaliadores: o avaliador-interlocutor (AI) e o avaliador-observador (AO), sendo que ambos fazem a avaliação do desempenho oral do examinando, a partir de descritores constantes de duas grades distintas. A avaliação é feita em primeira instância (imediatamente após a aplicação da prova) e, havendo discrepância significativa entre as notas atribuídas pelos dois avaliadores, a interação é reavaliada em segunda e/ou terceira instância. O objetivo geral desta tese é analisar de que maneira a confiabilidade dos resultados do exame tem relação com o comportamento avaliativo de AI e AO. A confiabilidade é uma das qualidades desejáveis de todo teste e diz respeito à consistência da avaliação, ou seja, quanto mais os resultados forem livres de erro, mais confiáveis eles serão. Já o comportamento avaliativo é entendido na pesquisa como a maneira como os avaliadores atribuem notas ao desempenho oral dos examinandos, nas diferentes instâncias. Foi empregada uma metodologia quantitativa, a partir de um estudo longitudinal, que levou em conta dados de sete edições consecutivas do exame Celpe-Bras, envolvendo notas de 29.831 examinandos, sendo que o marco teórico considerou estudos da Psicometria (como Murphy e Davidshofer, 2005; Urbina, 2007), da Estatística (como Marôco e Garcia Marques, 2006; Marôco, 2014) e da Linguística Aplicada (como Bachman, 1990; 2004). Descrições e análise dos níveis de proficiência atribuídos aos examinandos e de informações estatísticas das notas, como medidas de tendência central e de dispersão, serviram de base para constatar a existência de variabilidade de comportamento avaliativo. A pergunta de pesquisa: o comportamento avaliativo pode ser considerado uma fonte de erro de mensuração que interfere na confiabilidade dos resultados do teste?, foi respondida com base em três técnicas para estimar a confiabilidade. São elas: (i) Análise Fatorial Exploratória, para verificar a dimensionalidade da escala de avaliação; (ii) cálculo do coeficiente Alfa de Cronbach, para verificar a consistência interna dos itens da escala e (iii) cálculo do coeficiente Kappa, para identificar o nível de concordância entre os avaliadores. Os resultados permitem responder positivamente à pergunta de pesquisa, na medida em que: (i) a escala de avaliação apresenta-se unidimensional, ou seja, avalia um único construto, na avaliação realizada em primeira instância; na segunda instância, ela é bidimensional; (ii) as sete edições apresentam valores altos do coeficiente de confiabilidade na avaliação feita em primeira instância, o que significa que os itens da escala possuem elevada consistência interna; já na avaliação realizada em segunda instância, a confiabilidade revela-se moderada e (iii) as sete edições, na avaliação em primeira instância, apresentam valores satisfatórios de concordância entre os avaliadores, ainda que baixos; a avaliação realizada em segunda instância apresenta valor pobre de concordância. Isso significa que a segunda instância, que é a responsável por dirimir os problemas avaliativos que surgem na primeira, é marcada por comportamento diferenciado dos sujeitos avaliadores, diminuindo, portanto, a confiabilidade dos resultados. Os resultados desta tese sinalizam para a necessidade de algumas ações, das quais destacamos: 1) revisão dos descritores da grade avaliativa, de forma que seja possível diminuir os níveis de subjetividade inerente à própria atividade de avaliar; 2) intensificar as capacitações dos envolvidos no processo avaliativo. Essas ações são necessárias para melhorar o grau de confiabilidade dos resultados do Celpe-Bras.


MEMBROS DA BANCA:
Presidente - JERONIMO COURA SOBRINHO - UFMG
Interno - VICENTE AGUIMAR PARREIRAS
Interno - RENATO CAIXETA DA SILVA
Interno - ANA MARIA NÁPOLES VILLELA - UFMG
Externo ao Programa - FELIPE DIAS PAIVA
Externo à Instituição - RUI BRITES - ULISBOA
Externo à Instituição - RONALDO AMORIM OZÓRIO DA MATTA LIMA - UFF
Externo à Instituição - LUIZ ANTÔNIO DOS PRAZERES - UFOP
Notícia cadastrada em: 12/06/2018 10:58
SIGAA | Diretoria de Tecnologia da Informação - DTI - (31) 3319-7000 | Copyright © 2006-2024 - UFRN - vm-sig-app-05.ditic.sgi.cefetmg.br.inst5