Un poisson rouge qui tourne en rond dans son aquarium et un cachalot sillonnant les profondeurs marines durant de longues traversées transocéaniques sont-ils comparables ? Non !

volunia Volunia vs. Google : quelques explications

Or c’est pourtant ce que font les critiques voulant comparer Volunia et Google, message que j’ai tenté de faire passer dans mon billet d’avant-hier.

Même chose pour les augures qui prédisent que le poisson rouge sera un jour le tueur du cachalot : ça n’a aucun sens.

Je viens d’en avoir la confirmation éclatante en lisant ce billet de Barry Schwartz, citant une interview d’Amit Singhal, le Monsieur Search de chez Google, qui explique un peu la joyeuse machine de guerre du moteur. Il n’en dit pas beaucoup, mais ça suffit pour comprendre :

We have the entire web in a sandbox that only our engineers can see, and our engineers can take their new algorithm and see it change millions of queries. If it works, we send it to testers, whom we pay, but we don’t tell them what they are testing.

If the tweaks are still deemed useful they are unleashed into the wild – but only to some users.

Then we take a tiny slice, one per cent of our users, and expose them to this change. We measure things such as where on the page they click, when they click higher – that’s good for us.

That one per cent are not told but it’s just an experimental algorithm, and the changes are potentially beneficial, so not hurting the user’s experience.

Concurrently we have approximately 100 ideas floating around that people are testing – we test thousands in a year. Last year we ran around 20,000 experiments. Clearly they don’t all make it out there but we run the process very scientifically.

Once the tests are done, a report is built by an independent statistician. « We look at that with a group of senior people who come together every week, and we decide if it’s good for users, the web ecosystem and for our systems.

J’adpate : « Chez Google, nous disposons de l’ensemble du Web dans un bac à sable, où seuls nos ingénieurs peuvent jouer : ils peuvent ainsi tester chaque nouvel algorithme et voir quel est l’effet produit sur des millions de requêtes. Si la chose marche, nous envoyons ça aux testeurs, rémunérés, mais sans leur dire ce qu’ils testent.

Puis si ces ajustements sont jugés utiles, nous les déployons sur l’ensemble du Web, mais seulement à l’intention de certains internautes, après quoi nous soumettons ces changements à environ 1% de nos utilisateurs pour voir et mesurer où ils cliquent sur la page, et plus ils cliquent dans la partie haute (above the fold), mieux c’est pour nous.

Cette masse d’internautes (1% de centaines de millions, ça fait quand même plusieurs millions…) n’est pas au courant du changement, mais puisqu’il s’agit seulement d’un algorithme expérimental, dès lors que les modifications sont potentiellement bénéfiques, elles n’influent pas négativement sur l’expérience utilisateur.

Nous avons constamment une centaine d’idées déployées en parallèle que les gens testent, et nous en testons plusieurs milliers par an, environ 20 000 juste pour l’année dernière. Toutes ne voient pas le jour, c’est évident, mais nous testons tout cela de manière très scientifique.

Puis lorsqu’un test est finalisé, un statisticien indépendant nous rédige un rapport ponctuel. Chaque semaine, nous avons un comité d’experts qui se réunit et décide si cela est bon pour l’utilisateur, pour l’écosystème du Web dans son ensemble, et pour notre propre système en particulier. »

Je vous fais grâce du reste et du téléphone traducteur qui se contente de traduire les langues pour l’instant en attendant de traduire nos pensées à l’avenir…

Donc en lisant cela, il est clair que nous sommes sur deux planètes qui gravitent à des années-lumières de distance, mais l’important c’est qu’il y ait de la place pour toutes les deux :

- Alors, toi aussi tu viens du ciel ! De quelle planète es-tu ?

Massimo Marchiori répondrait que la sienne s’appelle Volunia, et nous verrons bien combien d’internautes iront l’habiter. Comme on dit en italien, laissons du temps au temps…