Selon des universitaires suisses et chinois, il ne suffit pas de réaliser une moyenne des évaluations données par les internautes pour affiner les systèmes de classement. Il faut aussi évaluer la fiabilité de ceux qui les donnent.

De Amazon à IMDb, nombreux sont les sites à s’appuyer sur des classements du contenu qu’ils présentent. Celui-ci consistant à faire la moyenne de toutes les notes. Problème, les auteurs de ces notations ne sont pas toujours très fiables. Ce qui fausse certaines classifications. C’est pourquoi des chercheurs suisses et chinois des universités de Fribourg et des Sciences et Technologies de Chine ont étudié la possibilité de prendre en compte la fiabilité des votants dans l’établissement de ces classements. Et proposent de pondérer les notes en fonction du niveau de confiance des utilisateurs. Ils proposent pour cela un algorithme évaluant simultanément l’un et l’autre. Sachant que l'indice de confiance n'est pas déterminé par les autres utilisateurs, en tout cas pas directement.
Pondérer les notes en fonction de la fiabilité des votants
Pour les chercheurs, un utilisateur est considéré comme plus fiable lorsque son jugement s’approche le plus de la valeur attribuée à l’article ou au film. Celle-ci n’étant pas mesurable objectivement, les chercheurs s’appuient comme base de départ sur la moyenne des évaluations. Un votant dont les notations sont les plus proches de cette moyenne sera considéré comme étant plus fiable. L’algorithme lui attribue alors un poids plus important lors du vote et recalcule la notation. Le système va poursuivre ses calculs et affiner la note de l’article et de la fiabilité des votants jusqu’à ce qu’il obtienne un classement stable de l’un et l’autre.
D’autres applications possibles
In fine, la qualité d’un article (film, livre...) sera quantifiée par la moyenne des notes pondérées. Les chercheurs ont testé leur système sur MovieLens en prenant le classement des Oscars comme référence. A chaque fois, les films récompensés sont sortis mieux classés avec cet algorithme qu’ils ne l’étaient en considérant la moyenne initiale. Le fait d’arriver à construire un système d’évaluation des réputations pourrait avoir d’autres applications sur Internet. Les chercheurs évoquent par exemple la possibilité de proposer des recommandations personnalisées plus fiables, d’améliorer la gestion des systèmes P2P, la confiance dans les sites de e-commerce, etc.