EvalLLM2026 : Atelier sur l'évaluation des modèles génératifs (LLM), le RAG et challenges

Nous sollicitons des propositions de communication sur tous les travaux abordant la question de l'évaluation de LLM.

Cela inclut notamment les recherches concernant :

évaluation de systèmes complets, notamment de RAG, ou de ses composants (eg. retrievers, chunkers...)
l’évaluation de modèles de fondation, fine-tunés ou de systèmes complets (RAG par exemple)
la création ou adaptation de benchmarks, pour du français ou autres langues d’intérêt, bien ou peu dotées, en domaine général ou spécialisé, ou pour des langues bruitées ou non standard (eg. réseaux sociaux, commandes vocales. . .)
l’évaluation sur des tâches de TAL (traduction, résumé, extraction d’information. . .)
l’adaptation des méthodologies d’évaluation existantes aux systèmes génératifs
les dimensions éthiques, biais, privacy, alignement culturel ou législatif
les dimensions de performance en temps de calcul, mémoire, frugalité énergétique
l’évaluation avec des utilisateurs, ergonomie, aspects cognitifs
l’évaluation de modèles multimodaux (eg. texte-image, texte-parole. . .)
. . .

Les actes de l’atelier seront publiés.

Plusieurs types d'article sont acceptés :

La taille des articles est laissée libre entre 4 pages et 10 pages, références non comprises.

Les relectures se faisant en double-aveugle, les soumissions doivent être anonymisées. La feuille de style est celle de la conférence TALN 2026

Les auteurs sont invités à se conformer aux bonnes pratiques du domaine : https://aclrollingreview.org/responsibleNLPresearch/

Les articles sont à soumettresur ce page (TBC).