Publications

Réflexions et retours d'expérience.

Simpli­fier les itéra­tions complexes pour en mesu­rer l’im­pact.

3min de lecture

Nombreux sont les projets inté­grant la complexité d’une version finale dès les premières versions. Et, dans la plupart des cas, c’est une problé­ma­tique plus qu’une néces­sité. Et ce pour une raison pure­ment mathé­ma­tique : plus il y a de variables, plus l’équa­tion est complexe. Et qui dit équa­tion complexe, dit diffi­cul­tés de réso­lu­tion. Et c’est d’au­tant plus vrai dans l’étude compor­te­men­tale des utili­sa­teurs où de nombreux éléments d’ordre incon­nus entre en jeu. Les anglo-saxons ont un prin­cipe pour répondre à ça : KISS (Keep It Simple, Stupid)


Résoudre des équa­tions du type x²=16 est quelque chose de facile (x=4 ou x=-4). En revanche, seriez-vous en mesure résoudre une équa­tion où des incon­nues tel que α, β, et γ viennent se gref­fer ?

L’ana­lyse des diffé­rentes itéra­tions fonc­tionnent sur le même prin­cipe. Déter­mi­ner l’im­pact d’une itéra­tion simple ne demande que peu d’ef­forts et tend vers une exac­ti­tude. En revanche, de multiples itéra­tions variées empêche de déter­mi­ner avec préci­sion l’im­pact qu’elles peuvent avoir.

Autant vous le dire desuite, l’exac­ti­tude ne fait pas partie des sciences humaines, à l’ins­tar de la rela­ti­vité. Il est donc impor­tant de remettre en cause un projet itéra­tion par itéra­tion plutôt que de tester plusieurs modi­fi­ca­tions en une itéra­tion unique. À titre d’exemple, voici quelques éléments pouvant entrer en consi­dé­ra­tion dans l’équa­tion de l’uti­li­sa­teur à un instant T (en sachant qu’à T+x, la valeur de ces variables aura chan­gée) :

  • les récep­teurs senso­riels (nos cinq sens), chacun pouvant engen­drer, soit une complai­sance, soit une pertur­ba­tion.
  • la mémoire, basées sur ses expé­riences à la fois récentes (mémoire de travail) et plus anciennes (mémoire à long terme).
  • la capa­cité à trai­ter l’in­for­ma­tion : la fatigue peut, par exemple, alté­rer la capa­cité à trai­ter l’in­for­ma­tion.
  • les biais cogni­tifs, qui sont la capa­cité incons­ciente à appor­ter une réponse suite au trai­te­ment partiel (comprendre incom­plet) des infor­ma­tions reçues.

Pour chacune des itéra­tions de votre projet, ces incon­nues entrent en compte. Or si vous multi­pliez le nombre de modi­fi­ca­tions par le nombre d’in­con­nues puis par le nombre d’uti­li­sa­teurs, déter­mi­ner l’im­pact d’une telle itéra­tion est statis­tique­ment bien plus complexe (les possi­bi­li­tés étant d’au­tant plus grandes).

La démarche scien­ti­fique veut que, pour chaque hypo­thèse, il y ait une expé­rience témoin (sans modi­fi­ca­tion). On retrouve ce prin­cipe dans la métho­do­lo­gie de l’A/B testing, véri­fiant des hypo­thèses tout en compa­rant les résul­tats avec une version de base. Sauf que les utili­sa­teurs ne sont pas iden­tiques (cf. les incon­nues plus haut), et la métho­do­lo­gie de l’A/B n’est, de ce fait, pas la solu­tion la plus adéquante en toute circons­tances.

Dans un test A/B déter­miné, la version C est statis­tique­ment plus impac­tante que les autres et est donc prise comme solu­tion. Mais la version B appor­tait égale­ment d’avan­tage de conver­sion que la version A (témoin). N’au­rait-il pas été inté­res­sant de déter­mi­ner quels éléments de la version B répon­daient aux objec­tifs afin de les implen­ter dans la version C et ainsi produire un test C/D/E ?

Ainsi, pour des amélio­ra­tions dont on souhaite mesu­rer l’im­pact, il est impor­tant de procé­der par petites itéra­tions et tendre vers la véri­fi­ca­tion booléenne (posi­tif/néga­tif) à défaut de faus­ser les résul­tats et d’omettre des inté­rac­tions inté­res­santes.

P.S : Je vous l’ac­corde, il n’est parfois pas possible, pour des raisons de délais ou de budget, de faire une véri­fi­ca­tion booléenne de chaque itéra­tion. L’A/B testing est alors un compro­mis inté­res­sant, mais il faut, dans la mesure du possible, limi­ter les itéra­tions complexes de manière à tendre vers l’exac­ti­tude de l’im­pact recher­ché.

Sébastien ALEXANDRE