ILOB - Publications // OLBI - Publications

Permanent URI for this collectionhttps://hdl.handle.net/10393/44394

Browse

Now showing 1 - 6 of 6

Calibrating Generative AI for Second Language Writing Assessment: Combining Statistical Validation with Prompt Design
(2024-12-10) Farzi, Reza
Generative artificial intelligence (GenAI) is emerging as a powerful tool in second language writing assessment, offering the potential for rapid, consistent, and scalable evaluation. However, its value depends on whether its scoring reflects the nuanced judgments of experienced human raters. This study introduces the concept of calibration in the context of second language writing assessment, defined as the deliberate and iterative refinement of AI prompts, guided by statistical evidence, to align AI scoring with human evaluative reasoning. 60 essays produced by 30 upper intermediate learners of English were evaluated independently by an experienced human rater and by ChatGPT 3.5, using the English for Academic Purposes (EAP) Writing Assessment Rubric. Statistical analyses assessed inter rater agreement, score consistency, and systematic bias. In the initial baseline stage, ChatGPT 3.5 tended to act as a strict marker, applying the rubric literally and assigning lower scores than the human rater. Across three calibration stages, which included clarifying rubric descriptors, refining interpretive guidance, and incorporating representative scoring examples, the AI scoring moved closer to the human benchmark. Agreement improved from a Cohen’s kappa of 0.52 to 0.89, correlation from .76 to .94, and the mean score difference narrowed from -2.45 to - 0.95, the latter no longer statistically significant. Qualitative analysis showed a shift from a narrow emphasis on surface errors to a more balanced consideration of accuracy, organization, development, and communicative effectiveness. The results suggest that calibration offers a replicable and evidence-based approach to integrating generative AI into second language writing assessment, enhancing the fairness, validity, and reliability of AI assisted evaluation.
Défis de parole : fiches FLS pour l’expression orale
(2024) Saïd, Janna; Charland-Froment, Alexandra; Lalovic, Paco
Les fiches pédagogiques comprises dans cette ressource éducative libre (REL), « Défis de parole », offrent des activités de groupe et des exercices d'apprentissage autonome qui permettent de se perfectionner à l'oral en une variété de contextes ancrés dans la vie étudiante au Canada.
Exigences linguistiques à l'embauche : pièges et bonnes pratiques
(2023) Levasseur, Catherine
Les exigences linguistiques sont des critères incontournables au Canada dans le processus d'embauche et la sélection des candidatures en milieu de travail. L'article discute des enjeux que soulève la détermination des critères linguistiques dans les offres d'emploi, ainsi que la façon dont elles sont évaluées. Il mettra en lumière l'importance de définir clairement et précisément les besoins linguistiques en fonction des postes et d'évaluer les compétences linguistiques de façon transparente, dans un climat de confiance et de bienveillance envers les candidates et candidats. L'article discutera de plus des risques de pratiques d'embauche discriminatoires sous couvert d'évaluations linguistiques. Enfin, l'article présentera des pistes de réflexions et d'actions pour guider les décisions à prendre par rapport aux exigences linguistiques avant, pendant et après l'embauche de personnel.
Les freins à la prise en compte de la pluralité linguistique à l’école francophone : perspectives enseignantes.
(2025) Levasseur, Catherine; Allen, Mylan
En milieu francophone minoritaire, la pluralité linguistique n’est pas un phénomène nouveau. Depuis plus de vingt ans, la recherche invite les écoles francophones à être plus inclusives (Bouchamma, 2009 ; Dalley, 2003 ; Gérin-Lajoie, 2004 ; Jacquet et al., 2008). Or, ce qu’on observe, c’est la difficulté de mettre en place des approches didactiques qui reconnaissent, valorisent et mobilisent les répertoires plurilingues des élèves (Dagenais, 2017 ; Fleuret, 2020). Quels seraient donc les freins à la prise en compte de la pluralité linguistique ? Ancrée dans une approche systémique de l’éducation, cette analyse secondaire de données ethnographiques est tirée d’une étude doctorale réalisée dans une école de Vancouver. L’article donne la parole à 12 enseignantes et enseignants pour identifier des facteurs qui pourraient rendre possible l’atteinte des objectifs d’inclusion : les idéologies et représentations linguistiques, la formation et les ressources du personnel, ainsi que le leadership et soutien des équipes-écoles.
Adopter une lingua franca en entreprise : une bonne pratique en contexte multilingue ?
(2022) Levasseur, Catherine
Dans cet article, l'auteure discute des raisons pour lesquelles l'adoption d'une lingua franca est devenue pratique courante en entreprise, notamment pour les multinationales. L'auteure souligne que la politique de lingua franca en entreprise ne permet pas toujours d'atteindre les objectifs fixés par sa mise en oeuvre, en raison des enjeux linguistiques et relationnels qui en émergent. L'article présente des pistes de réflexion et d'action pour les gestionnaires qui considèrent l'implantation d'une telle pratique dans leur milieu.
Le bilinguisme en milieu de travail : une tâche invisible ?
(2022) Levasseur, Catherine
Dans cet article, l'auteure discute des effets négatifs possibles sur les employés lorsque les politiques linguistiques visant àsoutenir le bilinguisme ne font pas l'objet d'une saine gestion humaine, matérielle et financière. Elle présente deux cas pourillustrer cet enjeu et offre des pistes d'action pour les gestionnaires.

Browse

Recent Submissions