Yves Gingras : “On ne peut pas considérer que les universités européennes sont à la traîne”

Touteleurope.fr : Dans le classement 2009 de Shangaï, les universités américaines (et anglaises) sont à nouveau en tête. Peut-on considérer que les universités européennes sont à la traîne ?

Yves Gingras : On ne peut pas, de façon générale et sans plus de précision, considérer que les universités européennes sont « à la traîne », car pour affirmer cela il faudrait d’abord préciser les objectifs visés par les universités et ensuite s’assurer que les indicateurs choisis en soient le reflet. Or, leurs missions sont multiples et répondent à des demandes et besoins locaux qui varient selon les régions et pays.

Donc il faut demander « à la traîne » de quoi au juste ? On oublie toujours qu’un indicateur doit être construit en fonction de ce qu’il doit mesurer. Pour la recherche scientifique par exemple il est certain que le nombre d’articles est un bon indicateur. Mais ce nombre varie selon les disciplines et le nombre de professeurs au sein de l’université. Il faut donc le diviser par le nombre de professeurs pour pouvoir vraiment comparer deux institutions. On devrait aussi tenir compte du budget dévolu à la recherche dans l’université tant il est évident que l’on ne peut faire la même chose et de la même qualité avec un million et cent millions d’euro. Pour l’enseignement il s’agit de former des diplômés avec une bonne culture et une capacité de se trouver un emploi. Cela demande évidemment d’autres mesures que les publications et les citations ! Bref, on ne peut répondre à cette question dans sa formulation générale, sans en fait accepter sans se poser de question les critères implicites au classement.

Touteleurope.fr : Quels sont les disciplines universitaires dans lesquels l’Europe s’en tire le mieux, et pourquoi ?

Y.G. : Les médias ont déjà commencé à commenter les résultats en disant par exemple qu’il y a une « légère progression des universités françaises ». Cette phrase anodine prend pour acquis que le classement permet vraiment de faire ces distinctions entre quelques rangs. Or cela n’est absolument pas le cas !

Les auteurs de telles affirmations prennent en fait une fluctuation statistique annuelle pour un changement causal significatif. Or, selon les données utilisées, des changements de 2 ou même 4 rangs résultent du bruit statistique lié à la variance naturelle des mesures et n’ont strictement aucune signification. Il faut en effet être naïf ou cynique pour affirmer que le passage de 42 à 40, ou de 73 à 70, est la « preuve d’une amélioration réelle ». Aucune université ne peut vraiment changer en une seule année et seules des tendances, croissantes ou décroissantes, régulières sur plusieurs années consécutives indiqueraient des modifications réelles.

À cet égard, les observateurs ne semblent pas avoir observé un détail crucial : après les 100 premières places, le classement de Shanghai regroupe les universités par grappes de 50 entre 200 et 300 et par groupe de 100 par la suite. C’est que les concepteurs du classement ont bien sûr réalisé que plus l’on descend l’échelle plus les fluctuations sont importantes et donc sans aucune signification. De plus, il est significatif que le nombre d’institutions ex æquo augmente après 50, d’où leur regroupement en grappes de 50 et ensuite de 100.

Pour interpréter correctement la position des universités européennes selon les disciplines, il faudrait d’abord refaire les indicateurs. Accepter d’interpréter ce classement 2009 présuppose qu’il est valide, ce que je conteste.

Touteleurope.fr : Comment est réalisé ce classement ? Quels sont ses avantages et ses défauts ?

Y.G. : Comme je l’ai montré en détail ailleurs (La Recherche, no 430, mai 2009, pp. 46-50), autant le choix des indicateurs que leur pondération sont mal fondés. Si le choix du nombre d’articles et de citations est parfaitement acceptable comme indices de la recherche, encore faudrait-il les normaliser pour tenir compte de la différence entre les disciplines et entre une université avec faculté de médecine et une autre sans faculté de médecine car il est évident que les premières publient davantage que les secondes sans être pour autant « meilleures ». Elles appartiennent à des classes différentes et ne devraient pas être amalgamées. Aussi, il faudrait non seulement tenir compte du nombre de professeurs (ce qui est fait) mais aussi du nombre de chercheurs postdoctoraux qui sont très importants en sciences biomédicales aux Etats-Unis et dont l’absence biaise les résultats.

Mais le critère le plus bizarre est bien sûr le fait d’attribuer des points à une université ou un prix Nobel a fait son baccalauréat ou sa maîtrise il y plus de 20 ans comme si cela était une mesure de la qualité de l’université en 2009 ! Ces prix reflètent en effet des travaux qui datent souvent de plusieurs décennies et ne reflètent pas la qualité actuelle des universités.

Enfin, il faut noter que le choix des poids attribués aux variables est arbitraire. Affirmer, comme le font les auteurs, que leur classement est fondé sur des critères « objectifs et facilement vérifiables » (Le Monde, 31 octobre 2009) est un sophisme. En effet, il ne s’agit pas de savoir si le nombre de prix Nobel et le fait qu’ils aient fait leur maîtrise ou leur doctorat à l’université X est objectif » ou non, mais de savoir si cet « indicateur » est bel et bien un indice de la « qualité » de l’université X en 2009. La réponse est oui si la recherche menant au Nobel a été faite dans l’institution X et qu’il s’y trouve toujours, mais plutôt non si l’université a simplement eu le lauréat comme étudiant ou qu’il a quitté et emporté avec lui son expertise unique. On ne peut en effet imputer à l’université la qualité du futur lauréat parce qu’il a fait une partie de ses études à l’université X… Enfin, certains indicateurs sont redondants : le nombre d’articles dans Nature et Science (20%) et le nombre de chercheurs hautement cités (20%) est en effet relié car les publications dans Nature et Science sont parmi les plus citées. De plus, ce nombre est déjà inclus dans le nombre total de publications qui compte aussi pour 20%. En somme, les indicateurs choisis et leur poids ne sont pas vraiment analysés et ils ne sont pas toujours adéquats à ce qui est vraiment mesuré.

La distribution des universités présentes dans le « top 100 » pour les sciences sociales montre de façon évidente que les indicateurs choisis (publications et citations tirées du Social science citation Index) sont totalement inadaptés à la réalité des sciences sociales et humaines. En effet, qui peut sérieusement croire que 8 universités canadiennes sont dans ce « top 100 » en sciences sociales et aucune université française ! Ici, le biais est flagrant et s’explique par la sous-représentation des revues francophones dans la base de données utilisée, biais qui n’est pas important en sciences de la nature et en médecine car les scientifiques publient essentiellement en anglais dans ces domaines. Le biais énorme est aussi relié au fait qu’en sciences sociales et humaines c’est encore le volume qui est important et non les articles.

Enfin, il s’explique par le fait que les citations dans ces domaines restent très nationales, les Américains par exemple ne citant à peu près jamais de travaux en langue française. Or, ce sont les publications américaines qui sont les plus représentées dans la base de données utilisée. La forte présence du Canada parmi le « top 100 » s’explique par contre par le fait que la majorité de leurs articles sont en anglais et que plusieurs sont écrits en collaboration avec des chercheurs américains. Il serait donc très mal venu et même dangereux de tirer des conclusions sur la « qualité » des universités dans le secteur des sciences sociales en utilisant le classement de Shanghai.

Touteleurope.fr : L’Union européenne pourrait mettre en place son propre classement des universités : quels critères seraient pris en compte ? En quoi seraient-ils plus pertinents que ceux de Shangaï ?

Y.G. : L’Union européenne a octroyé un contrat à un groupe de recherche qui a pour objectif de définir un classement fondé sur des critères adéquats aux universités européennes. L’exercice est important mais difficile et demande que soient d’abord définis les missions des universités et que les indicateurs retenus soient vraiment cohérents avec les missions définies. Il ne suffit de prendre le premier chiffre venu mais bien de réfléchir à sa signification, son homogénéité, sa volatilité, pour s’assurer qu’il mesure bien ce qu’il est supposé mesurer. Espérons que ce geste amènera enfin les universités à réfléchir par eux-mêmes à la question difficile de l’évaluation des institutions au lieu de se laisser définir de l’extérieur par des soi-disant « classements internationaux » que trop de média affirment s’être « imposés » alors qu’ils n’ont jamais fait l’objet d’une analyse critique de la validité de leurs indicateurs. Il faut évaluer les universités mais de façon sérieuse et cela ne peut être laissé aux firmes privées pour qui la seule mesure de réussite n’est pas la qualité de la mesure mais sa popularité, le plus souvent décrétée par les médias.

Enfin, une fois bien définis, de tels indicateurs ne devraient pas être publiés chaque année pour la simple et bonne raison que les variations ne sont significatives que sur plusieurs années. Aux États-Unis par exemple, les programmes de doctorat dans toutes les disciplines sont classés par le National Research Council chaque dix ans, car il est évident qu’un programme ne peut se détériorer vraiment en une ou deux années. Les ressources nécessaires pour de telles évaluations sont énormes et ne devraient pas être gaspillées pour rien. Les évaluations annuelles n’ont donc aucun sens économique sauf pour les journaux qui les publient car elles font monter leur niveau de vente. Il est utile de rappeler ici que le très important exercice d’évaluation britannique, le Research Assesment Exercice (RAE), effectué depuis 1986 chaque trois ou quatre ans, sera complètement révisé après le dernier exercice de 2008. Il est en effet devenu trop lourd et son utilité réelle de plus en plus douteuse.

Touteleurope.fr : Quand sera réalisé ce premier classement européen ? Quelles sont les difficultés que pose un tel classement ?

Y.G. : Selon les informations disponibles, il semble qu’un premier essai expérimental sera fait en 2010 pour certaines disciplines. Mieux vaut en effet prendre le temps de construire un classement fondé sur des indicateurs validés car sa crédibilité se construira sur sa qualité. De plus, il est nécessaire de faire des classements selon les disciplines car rares sont les universités qui peuvent se vanter d’être « excellentes » dans toutes les disciplines.

Touteleurope.fr : Pensez-vous qu’un classement des universités est important ? Pourquoi ?

Il est essentiel de se doter d’outils de mesures diversifiés qui prennent en compte les différentes missions des universités. Pour cela il ne faut pas créer un classement global qui donne un seul chiffre amalgamant des mesures hétérogènes (enseignement, recherche, pédagogie, etc) mais des classements par mission de façon à laisser aux utilisateurs faire leur choix en fonction de leurs priorités.

Ainsi, le classement britannique du Times Higher Education Supplement (THES) inclut dans sa batterie d’indicateurs la proportion d’étudiants et de professeurs étrangers. Or, ces chiffres n’ont pas de signification claire et univoque et ne sont pas vraiment des indicateurs de qualité. Ils ne tiennent pas compte des contingences historiques qui expliquent parfois la présence plus ou moins grande d’étudiants étrangers, comme le colonialisme par exemple. De même, la très grande présence de professeurs étrangers n’est parfois qu’une mesure de l’incapacité d’un pays à produire ses propres ressources humaines. C’est dire, encore une fois, qu’avant d’utiliser un indicateur il faut s’assurer qu’il signifie bien ce qu’il est sensé signifier (ici la « qualité » de l’université car il est additionné aux autres indicateurs).

En terminant, je crois qu’il faut poser une question fondamentale et urgente : comment se fait-il que des dirigeants d’université qui connaissent sûrement les rudiments de la statistique peuvent croire à la réalité de variations annuelles insignifiantes et se vanter de leur « performance » ou s’en désoler et tenter de se « réformer » pour monter de quelques rangs ? On semble ici en présence d’une forme d’aveuglement collectif consécutif à une crise de confiance et une perte des repères essentiels qui permettent de savoir ce qu’est la (ou les) mission des universités.

Paniqués face à une incapacité de définir de l’intérieur les fondements de l’idée d’université, trop de dirigeants sautent sur le premier « repère » suggéré de l’extérieur pour tenter de se définir par rapport à lui, sans se poser vraiment la question pourtant évidente : mais que mesure au juste ce « classement » ? Correspond-il aux objectifs de mon institution ? Au lieu de se livrer à cet exercice essentiel de définition de missions et de priorités en fonction des besoins locaux et nationaux, ils laissent ainsi subrepticement les « services des communications » combler le vide.

On peut en effet penser que l’importante démesurée accordée au classement de Shanghai (et pourquoi pas au THES britannique paru il y a un mois ?) des soi-disant meilleures universités mondiales reflète le fait que le « marketing » des universités est devenu plus important que la formation académique et que les « faiseurs d’image » et soi-disant experts du « branding » y ont pris de plus en plus d’importance. Or les services des communications sont toujours prêts à utiliser n’importe quelle mesure qui montre une belle image de leur institution même quand ils savent très bien que cette mesure n’a pas vraiment de sens mais qu’elle est tout de même considérée comme valable par plusieurs « clients » potentiels.

Face à un tel aveuglement difficile à comprendre, il ne reste qu’à espérer que cette mode ne fera qu’un temps, et qu’on finira par se ressaisir pour se demander d’abord qu’elle est la mission des universités pour ensuite définir des indicateurs qui mesurent réellement ces missions. Il faut en somme cesser de se laisser diriger de l’extérieur, ou même par les responsables des services de communication, et revenir à une gouverne académique fondée sur des indicateurs de qualité qui tiennent compte des propriétés inhérentes aux universités et aux missions qu’elles se sont fixées en tenant compte des besoins présents et futurs des pays dont elles incarnent la spécificité.

Yves Gingras est Professeur, titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences, Directeur scientifique de l’observatoire des sciences et des technologies (OST) à l’Université du Québec à Montréal (UQAM).

En savoir plus :

Academic Ranking of World Universities

Le projet européen de classement des universités - Commission européenne