Banca de DEFESA: LILIANE DE OLIVEIRA NEVES

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
ÉTUDIANTS: LILIANE DE OLIVEIRA NEVES
DATE: 10/08/2018
TIME: 14:30
LOCAL: Campus II, Belo Horizonte, Auditório do Prédio 19.
TITRE:

Fiabilité et comportement évaluatif à l’épreuve orale du Celpe-Bras: une étude longitudinale


MOTS-CLÉS:

Test Celpe-Bras ; Fiabilité ; Comportement évaluatif.


PAGES: 230
GRANDE SURFACE: Lingüística, Letras e Artes
AREA: Lingüística
SOUS-ZONE: Lingüística Aplicada
RÉSUMÉ:

Les tests à grande échelle jouent un rôle important dans la société, en ce sens qu’ils servent à mesurer des savoirs de groupes d’individus déterminés, à apporter des changements dans des politiques publiques et à prendre des décisions. Pour cela, il est crucial que ces tests aboutissent à des résultats de qualité, autrement dit, consistants et qui reflètent le construit que l’on se propose de mesurer. C’est dans ce cadre que cette thèse traite du test qui octroie le Certificat d’Aptitude Linguistique en Portugais Langue Etrangère (Celpe-Bras), composé d’une épreuve écrite et une autre orale.  L’épreuve orale est une interaction face à face où l’on a un candidat et deux examinateurs qui sont l’examinateur interlocuteur (AI) et l’examinateur observateur (AO). Ces deux examinateurs évaluent la performance orale du candidat sur la base de descripteurs présents dans deux grilles distinctes. Les notes de l’épreuve orale sont attribuées sur place, juste après l’interview, ce que nous appelons « évaluation de première instance ». En cas de discrépance entre les notes attribuées par les examinateurs, la performance du candidat est réévaluée en deuxième instance et, en cas d’une nouvelle discrépance, une autre révision en troisième instance est faite. L’objectif général de cette thèse est d’analyser dans quelle mesure la fiabilité des résultats du test est liée à ce que nous avons appelé le « comportement évaluatif » des examinateurs AI et AO. La fiabilité est une des qualités les plus désirables en matière de tests et elle se rapporte à la consistance des résultats, en d’autres termes, moins il y a d’erreurs dans les résultats, plus ils sont fiables. Le comportement évaluatif est défini ici comme la façon dont les examinateurs attribuent des notes à la performance orale des candidats, au niveau des différentes instances. La méthodologie utilisée est quantitative, dans une étude longitudinale, qui a pris en compte des données de sept éditions consécutives du test Celpe-Bras, soit un échantillon de 29.831 notes de candidats. En ce qui concerne le cadre théorique, des études des domaines de la psychométrie (à savoir Murphy et Davidshofer, 2005 ; Urbina, 2007), de la statistique (comme Marôco e Garcia Marques, 2006 : Marôco, 2014) et de la linguistique appliquée (comme Bachman, 1990 ; 2004) ont été utilisées. La description et l’analyse des niveaux de compétence attribués aux candidats et des informations statistiques des notes comme des mesures de tendance centrale et de dispersion nous ont servi de base pour constater l’existence de variabilité au niveau du comportement évaluatif. La question de recherche « le comportement évaluatif peut-il être considéré une source d’erreur d’évaluation qui interfère dans la fiabilité des résultats du test ? » a été répondue sur la base de trois techniques pour estimer le niveau de fiabilité, à savoir : (i) l’analyse factorielle exploratoire, pour vérifier la dimensionnalité de l’échelle d’évaluation ; (ii) le calcul du coefficient Alpha de Cronbach, pour vérifier la consistance interne des items de l’échelle ; (iii) le calcul du coefficient Kappa, pour vérifier le degré de concordance entre examinateurs. Les résultats permettent de répondre positivement à la question de recherche étant donné que : (i) l’échelle d’évaluation se présente unidimensionnelle, autrement dit, elle n’évalue qu’un construit pendant l’évaluation réalisée en première instance ; en deuxième instance, elle est bidimensionnelle ; (ii) les sept éditions présentent des valeurs hautement fiables quant au coefficient Alfa de Cronbach pendant l’évaluation en première instance, ce qui signifie que les items de chaque échelle présentent une haute consistance interne ; quant aux évaluations réalisées en deuxième instance, cependant, le degré de fiabilité se révèle modéré ; (iii) les sept éditions présentent, en première instance, des valeurs satisfaisantes de concordance entre examinateurs, bien que basses ; les évaluations réalisées en deuxième instance présentent des valeurs faibles de concordance. Cela signifie que la deuxième instance, où les problèmes observés au niveau de l’évaluation de la première instance sont censés être réglés, est marquée par des comportements différents de la part des évaluateurs, réduisant ainsi la fiabilité des résultats. Les résultats obtenus de cette thèse indiquent la nécessité de mener certaines actions. Parmi ces actions, nous en citions: 1) une révision des descripteurs de la grille d’évaluation, dans le sens de diminuer le niveau de subjectivité inhérente à la pratique de l’évaluation ; 2) intensifier la formation des parties prenantes du système d’évaluation. Ces actions sont désirables pour augmenter le degré de fiabilité des résultats du Celpe-Bras.

 


MEMBRES DE LA BANQUE:
Presidente - 154.838.356-20 - JERONIMO COURA SOBRINHO - UFMG
Interno - 1218293 - VICENTE AGUIMAR PARREIRAS
Interno - 1218319 - RENATO CAIXETA DA SILVA
Interno - 195.988.316-04 - ANA MARIA NÁPOLES VILLELA - UFMG
Externo ao Programa - 1671067 - FELIPE DIAS PAIVA
Externo à Instituição - RUI BRITES - ULISBOA
Externo à Instituição - RONALDO AMORIM OZÓRIO DA MATTA LIMA - UFF
Externo à Instituição - LUIZ ANTÔNIO DOS PRAZERES - UFOP
Notícia cadastrada em: 12/06/2018 11:52
SIGAA | Diretoria de Tecnologia da Informação - DTI - (31) 3319-7000 | Copyright © 2006-2024 - UFRN - vm-sig-app-10.ditic.sgi.cefetmg.br.inst10