Banca de DEFESA: Laura Marcia Luiza Ferreira

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE : Laura Marcia Luiza Ferreira
DATA : 02/04/2018
HORA: 14:30
LOCAL: Auditório do Campus VI, Belo Horizonte
TÍTULO:

Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame
Celpe-Bras

PALAVRAS-CHAVES:

avaliação em línguas, validade, Celpe-Bras, análise fatorial, teoria de resposta ao
item, Rasch

PÁGINAS: 244
RESUMO:

Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados,
por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva de
Messick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas e
teóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo do
presente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma a
coletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oral
é uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria de
Validade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sido
definido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem as
duas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análise
fatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento uma
análise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial Credit
Model. A escala do avaliador-intelocutor é composta por um item e a escala do avaliadorobservador
contém seis itens, a saber: compreensão, competência interacional, fluência,
adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nesta
pesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao exame
na primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral seja
uma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, são
de 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13
para adequação gramatical, seguidas dos itens competência interacional, pronúncia e
compreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise de
discriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindo
bom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensão
apresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Ao
considerar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar que
uma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmo
perfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens,
discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmente
quanto ao item compreensão, bem como a necessidade de investimento na revisão dos
descritores das escalas, da tarefa e da situação de entrevista de proficiência oral.

MEMBROS DA BANCA:
Presidente - JERONIMO COURA SOBRINHO - UFMG
Interno - ANA MARIA NÁPOLES VILLELA - UFMG
Interno - RENATO CAIXETA DA SILVA
Interno - VICENTE AGUIMAR PARREIRAS
Externo à Instituição - CRISTIANO MAURO ASSIS GOMES - UFMG
Externo à Instituição - FREDERICO NEVES CONDÉ - INEP
Externo à Instituição - LUIZ ANTÔNIO DOS PRAZERES - UFOP