Les chercheurs sont constamment évalués et comparés : pour avoir des postes, pour avoir des financements, pour être promus, etc. Comme lire tous les articles de quelqu'un c'est long et compliqué, et encore plus si on veut évaluer plein de gens de domaines différents, on invente plein d'indices numériques qui permettent d'évaluer à moindre effort les chercheurs. C'est bien sur plein de problèmes, comme comparer Picasso à van Gogh en fonction du nombre de tableaux peints et du prix cumulé qu'ils valent. (Voir discussions chez mysciencework, enroweb, Gaia universitas par exemples.)Fin juilet, Neil Hall de l'Université de Liverpool, a publié un article parodique (mais dans un vrai journal, Genome Biology) proposant un "index de Kardashian". Apparemment y a quelqu'un de ce nom qui est célèbre pour aucune bonne raison. L'indice est le rapport entre le nombre de citations des articles publiés par un chercheur, et son nombre de suiveurs sur Twitter. Il montre d'abord qu'il y a une corrélation entre les deux nombres :
[caption id="attachment_2413" align="aligncenter" width="393"]
figure originale du papier, avec un cercle bleu ajouté pour ma position[/caption]Ensuite il propose que ceux dont le rapport est trop élevé, donc ont trop de suiveurs Twitter par rapport à leurs citations scientifiques, sont "trop célèbres". L'indice doit être calculé en prenant son nombre de citations C qui permet de prédire un nombre de suiveurs Twitter "normal" d'après l'équation de régression de la figure ci-dessus, Fc. On fait ensuite le rapport du vrai nombre de suiveurs, Fa, sur Fc, et on obtient l'indice K. Pour moi ça donne :
| C | Fc | Fa | K index |
| 629.5 | 874 | 1.39 |
Ouf, les "Kardashian" sont définis au-dessus de 5. C'est bien sur une blague, bien que comme souvent avec l'ironie il y ait eu des réactions au premier degré.
Une meilleure réaction à mon avis a été de noter que dans la figure ci-dessus, le cercle ne correspond pas bien au critère K > 5, et donc refaire cela proprement (lien). Et puis du coup plein de gens ont proposé d'autres index farfelus sur Twitter : #AlternateScienceMetrics, comme :
The absentee PI index: (# of papers PI knew existed before submission) / (# of papers lab submits) #AlternateScienceMetrics
— Cynical Science (@CynicalScience) August 7, 2014Il y a des best of bien sur, notamment j'aime bien celui-ci (voir aussi sur Salon.com).
Tout ça c'est bien beau, mais je me considérerais vraiment célèbre quand le site parodique The Science Web mettra mon nom dans un titre : Dan Graur considers career in science (voir ce billet).
Articles
[…] Les chercheurs sont constamment évalués et comparés : pour avoir des postes, pour avoir des financements, pour être promus, etc. Comme lire tous les art […]
RépondreSupprimerJe suis toujours surpris de lire des gens qui, comme l'auteur ici, tiennent à rappeler le caractère humoristique de l'article original, comme si cela rendait le sujet impossible à aborder sérieusement et immunisait l'auteur de toute critique. Si l'humour devenait un passe-partout pour les idées les immunisant contre la critique sérieuse, on n'aurait donc qu'à enrober nos idées d'une couche d'humour pour éviter tout questionnement.
RépondreSupprimerPeu m'importe quel est le niveau d'humour dans l'article, une réponse à tous les niveaux est nécessaire. Quand Neil Hall écrit:
"We are all aware that certain people are seemingly invited as keynote speakers, not because of their contributions to the published literature but because of who they are."
et
"Social media makes it very easy for people to build a seemingly impressive persona by essentially ‘shouting louder’ than others. Having an opinion on something does not make one an expert.",
il y a là des points qui peuvent être pris au sérieux par le lecteur, indépendamment du "niveau" d'ironie, de sarcasme ou de satire que vous voulez attribuer à Neil Hall. C'est très condescendant à son endroit, en fait, d'écrire que les points que j'aborde dans mon article sont tous sujets à l'immunité par l'ironie, alors que tout ce que Neil Hall ait écrit publiquement est ce cours Tweet indiquant:
"Clearly I'm glad that people are discussing the k index. It is a joke! I don't have anything against students with few publications. The point, clearly not communicated well enough communicated. Is metrics are daft. And "popularity" is not a good measure either."
Il est clair par ce tweet que l'ensemble de l'article n'est pas une pièce ironique. La dernière phrase indique que Neil Hall en effet critique les mesures de popularité. Cela suggère que les passages cités ci-haut constituent des critiques "au premier degré", et ces critiques appellent donc une réponse au premier degré.
Une blague, oui, mais pour bien l'apprécier il faut savoir distinguer les éléments de celle-ci qui sont connectés à la réalité.
[…] Les chercheurs sont constamment évalués et comparés : pour avoir des postes, pour avoir des financements, pour être promus, etc. […]
RépondreSupprimer[…] d’autres chercheurs (dans des articles publiés dans les journaux scientifiques). MRR donne plus de détails et calcule son propre K-index sur son blog Tout se passe comme […]
RépondreSupprimerles commentaires sur le top 50 montrent à quel point cet index est mauvais car peu clair, ou simplement mal compris.
RépondreSupprimerLes commentaires parlent souvent de scientifiques populaires manquants, sans préciser si leur indice de publication est grand (un grand indice veut dire qu'ils ont le droit d'être populaires, en quelque sorte :-) ).
Et surtout tout le monde se demande si c'est "bien" ou pas. Le grand public cherche les bons et les méchants dans cette histoire... c'est humain, ça me rappelle les enfants devant un film d'adultes. Mais alors, c'est qui les méchants?
L'article original est quand même assez critique. Chouette, c'est enfin l'occasion de mettre une étiquette négative sur les thésards qui cherchent à populariser la science par les nouveau médias. Wow. Tu parles d'un super effet. :-/
L'article original est "critique" ou "critiqué" ? ;-)
RépondreSupprimer"critique".
RépondreSupprimermon commentaire n'était pas clair, je détaille :-)
Le risque c'est qu'on crée une mesure et qu'on a envie que ce soit bien ou pas.
La mesure a été créée par un article qui tend à critiquer ceux qui ont trop de tweets par rapport à leur niveau scientifique (en gros).
Or je trouve que c'est déjà éminemment contestable, comme en témoigne mon exemple de thésard cherchant à démocratiser la science.
Et je trouve que dans les commentaires du top 50 on retrouve justement cette problématique : les gens se demandent si c'est bien ou pas, cherchent les gentils et les méchants dans cette affaire. C'est humain, on cherche l'histoire, la narration, la conclusion.
Bref, ajouter une dimension de réputation usurpée à celle qui existent déjà (sexiste, raciste, corporatiste, nationaliste, politisé, tout ce qu'on reprocher à un scientifique) n'est pas forcément une idée géniale.