 |
| cliquez sur l'image |
J'ai parlé récemment de la valeur ajoutée de la curation humaine, qui permet souvent une meilleure qualité que la classification automatique. Alors je me dois de signaler une nouvelle étude, trouvée via techdirt.com, qui montre que les humains sont très mauvais pour distinguer des critiques authentiques de critiques falsifiées, mais qu'un algorithme peut y arriver très bien.
Les auteurs ont payé plein de gens une petite somme pour écrire une revue très positive d'un hôtel où ils ne sont jamais allés. D'autres personnes sont incapables de distinguer ces revues de revues authentiques. Par contre le programme écrit par les auteurs de l'étude les repère à 90%. Il semble y avoir une façon d'écrire différente (plus centrée sur les personnes pour les fausses revues, sur les lieux pour les vraies revues), qui n'est pas intuitive pour nous, mais est significative.
La conclusion de ceci est double : d'une part, ça montre qu'il vaut la peine d'essayer de trouver des solutions automatiques à des problèmes difficiles, même intuitivement impossibles ; d'autre part, les tricheurs professionnels (payés pour améliorer les revues sur Tripadvisor, Amazon, etc) vont améliorer leurs fausses revues...
PS : gag au second degré concernant la BD. L'auteur, Scott Adams, a été attrapé en train d'écrire sous de fausses identités à sa propre gloire.
PPS : une utilisation intéressante de la curation ici.
Articles
Très interessant!
RépondreSupprimerUn autre aspect utile de l'automatisation des taches est la reproductibilité des résultats. L'exemple flagrant est l'alignement multiple de protéines. Très souvent ont voit toute la procédure correctement décrite dans le matériel et méthodes des articles, puis au final : « the alignment was manually curated by hand ». La correction manuelle peut certes améliorer l'alignement (un peu), mais cela reste dans le domaine du subjectif, qui peut varier suivant tel ou tel chercheur.
Food for thought (des trucs pour faire réfléchir)...
RépondreSupprimerUn petite video pour dire combien les algos dirigent le monde...
http://www.ted.com/talks/kevin_slavin_how_algorithms_shape_our_world.html
(j'ai découvert ça hier, c'est tres TED)
L'humain est-il meilleur que la machine dans certains cas, ou jamais?
Ne serait-il pas par contre le meilleur garde-fou pour des cas pas prévus initialement?
Exemple d'un cas qui devrait être résolu par une analyse statistique mais requiert toujours une relecture humaine: l'élimination des "mots vides" (articles, propositions etc) pour une analyse du langage naturel.
http://fr.wikipedia.org/wiki/Mot_vide
On le voit, le débat algo / humain est vaste...
réponse tardive à Romain : pour les alignements, c'est un bon exemple, parce qu'il y a eu un changement progressif lors de la jeune histoire de la bioinformatique. Du temps de ClustalV, l'alignement automatique était généralement tout pourri, et c'était un gage de qualité de le vérifier manuellement. De plus il n'y avait aucun outil de vérification de la qualité de l'alignement en dehors de l'oeil humain.
RépondreSupprimerMaintenant, les alignements automatiques sont de haute qualité, et on a des métriques pour juger automatiquement de leur qualité. En utilisant ces outils, on a une bonne qualité, plus comme tu le dis la reproducibilité.