Affichage des articles dont le libellé est measure. Afficher tous les articles
Affichage des articles dont le libellé est measure. Afficher tous les articles

mardi 16 décembre 2008

Justesse, Répétabilité, Reproductibilité : GRR pour les intimes...

Ce message est disponible sur le nouveau blog à partir de ce lien

Alors jusqu'ici j'ai fais en sorte de rendre accessible les concepts... Mais là nous commençons à rentrer dans des notions un peu plus obscures pour les managers assoiffés d'opérationnel que nous sommes... ;-)

Si je vous dis ça : c'est parce que cette étape m'est apparue, au premier abord, relativement inutile. L'exemple des Smarties, en guise de formation, ne m'aidant pas particulièrement à apprécier l'opportunité de l'outil...

Je m'en vais de ce pas vous expliquer pourquoi dans un premier temps cet outil m'est apparu inutile, puis le cheminement qui m'a conduit à le juger indispensable dans l'étape Measure du DMAIC.

Le G (Gauge = justesse) R (repeatability) & R (Reproductibility) permet de mesurer la fiabilité du système de mesure du Y.
Dans les processus transactionnels nous avons à faire la plupart du temps à des indicateurs qui sont issus du système d'information. Aussi, si dans un outil décisionnel (type BW, BO, Pentaho...etc.), je réalise deux fois la même requête (repeatability) : il y a peu de chance que l'outil me fournisse deux mesures différentes ! De la même façon pour la reproductibilité, si une autre personne que moi lançait la même requête, j'imagine mal le système me fournir une valeur différente que celle qu'il m'a sortie précédemment...! Enfin par rapport à la justesse de la mesure... Quand bien même, la mesure s'avérait partiellement erronée : quel serait mon pouvoir pour cerner d'où provient l'écart de mesure ?

Voilà pourquoi j'étais sceptique : je ne comprenais pas l'intérêt de vérifier la fiabilité des données émises par un système d'information qui est spécifiquement conçu pour fournir des indicateurs fiables.

Mais si le système est fiable, l'humain lui ne l'est pas... Et si le traitement des informations est réalisé par le système : en amont de cette chaîne de traitements nous avons un être humain qui alimente le système. Donc il est nécessaire de vérifier la variabilité des informations qui sont renseignées dans le système.

Prenons un exemple : dans un service client (hotline) nous avons des opérateurs qui enregistrent des litiges. Les litiges qui sont enregistrés sont affectés à une codification spécifique. Si, selon les opérateurs où l'humeur de l'opérateur, l'interprétation du litige et la codification qui lui est affectée change : nous allons rencontrer des problèmes. Par exemple si des litiges issus d'erreurs des VRP sont enregistrés dans les litiges issus du service client (à la saisie de commande par exemple) : lorsque nous allons travailler sur la réduction des litiges générés par le service client : nous serons bien embêtés car notre Y risque de ne pas évoluer comme nous l'avons prédit (puisqu'il inclut des erreurs des VRP (qui sont hors du projet LSS).

A présent : comment procéder ?
Autant que possible : il est préférable d'obtenir les documents papiers qui sont à l'origine du traitement. Dans notre exemple : on peut imaginer que les appels pour litiges sont suivis d'une confirmation par fax de la part du client pour la déclaration de son litige. Il faut alors recueillir un échantillon de ces déclarations et visualiser dans notre requête si ce qui relève de ce que l'on souhaites mesurer y est bien inclus. Voici un tableau qui illustre mon exemple :

Cet exemple n'illustre que la mesure de la justesse et la répétabilité... (Pour la mesure de la reproductibilité, il eu fallut que je considère que tous les opérateurs étaient amenés à traiter chaque litige...). Ici nous obtenons 80% de fiabilité de notre système de mesure. C'est suffisant ! La pratique des projet LSS a fixé à 80% le seuil de tolérance (nous considérons que si notre indicateur est fiable à 80% minimum, nous agirons sur au moins 80% des causes ce qui nous invite à penser que nos actions auront un impact significatif sur l'indicateur mesuré).

Si j'avais obtenu un taux de fiabilité inférieur à 80% il aurait fallut que je mène des actions pour repasser le test avec succès (formation du personnel, clarification des codifications, resegmentation des classifications de litiges...etc.)

Le test GR&R constitue un "passe droit" pour accéder à l'étape suivante "Analyse". Cette étape est cruciale et si le test de fiabilité du système de mesure ne passe pas alors il ne faut absolument pas avancer sur l'analyse des données. Car si j'analyse des données qui en amont sont mal codifiées : alors mon analyse sera erronée.

J'ai conscience que ce concept de fiabilité de l'indicateur n'est pas aisé à assimiler... aussi n'hésitez pas à poser des questions ou laisser des commentaires ! ;-)

mardi 2 décembre 2008

Pareto VS Benford - 3ème volet de "la guerre des indicateurs"

Ce message est disponible sur le nouveau blog à partir de ce lien

Je m'étais décidé à revenir sur les fondamentaux du LSS mais je reste définitivement passionné par cette lutte acharnée que se livrent les "Indicateurs célèbres" et les "Indicateurs de l'ombre". D'un côté nous avons les pantouflards et illusionnistes de Moyenne, Min et Max et de l'autre nous avons les besogneux et robustes Médiane, Quartiles, Ecart Type. A ce jour il paraît bien difficile de les départager... Alors, sur le ring, deux lois de distributions viennent faire le show...! ;-)

A ma droite, taillé comme un boeuf, du haut de ses 20-80 nous avons : M. Pareto...
A ma gauche, allongé comme une logarithme, à la précision aléatoire : M. Benford...

DDDDDDDRRRRRRRRrrrrrrrrrrriiiiiiiinnnnnnnnnnngggggggggg !!!

Bon...là je pense que vous êtes assez conditionnés pour rentrer dans le vif du sujet. Il a quelques années, je fus amené à mettre en place un calcul de coût de revient logistique des produits stockés sur une plateforme. J'avais donc des masses de charges à répartir sur chaque article en fonction de clés de répartition (appelées également unités d'oeuvre). Vous en conviendrez, pour les aspects logistiques comme le stockage ou les expéditions il était opportun de prendre en considération le volume des colis. Aussi la plupart de nos calcul réaffectaient les charges en fonction du volume (volume stocké, volume réceptionné, volume expédié...etc). Donc j'ai fait une jolie matrice sous excel, avec des belles macro pour mettre à jour le zinzin et après quelques jours de travail j'avais devant mes yeux les coûts de revient par produit... Oh miracle...!

Puis vint le temps de l'analyse... Et là : problème ! Je me suis retrouvé avec des articles qui génèraient des coûts faramineux... En cherchant un peu, je finis pas me rendre compte que les mesures de certains produits étaient incohérentes... :-(
J'en appela au responsable logistique et lui demanda de vérifier les produits que j'avais identifiés... Il revint avec les bonnes mesures... Alors je refis mouliner le zinzin et pareil... des articles remontaient à la surface avec des erreurs...!
Le problème c'est qu'il était impossible de demander de remesurer l'ensemble des 6000 produits stockés sur la plateforme ! J'avais donc un joli dilemme devant moi : comment faire pour être certain de la fiabilité de mes données sans avoir à mesurer l'ensemble de mes produits et à refaire des itérations à n'en plus finir sur la prise nouvelle de mesures...!?

Mon premier réflexe fut de me tourner vers la loi de Pareto. Comme chacun sait Pareto a mis en avant une loi de distribution qui est "archi-utilisée" dans les entreprises. Cette loi dit par exemple que 80% de mon CA est généré par 20% de mes clients. Je décide donc de sortir les 20% de mes articles qui génèrent 80% de mes volumes. Par ailleurs je sors les 80% de mes produits en stocks qui représentent 20% de ma valeur de stock global. Ainsi, si je croise mes deux fichiers je me retrouve avec les articles qui ont les plus forts volumes avec les valeurs les plus faibles ce qui me permet de cerner les aberrations ! Au seul détail près que je partais du principe (un peu discutable ;-) que mes articles les plus volumineux étaient forcément les plus coûteux. Et effectivement je pu cerner de nouvelles aberrations...

Alors : Je relança le zinzin... et toujours pareil... Il restait des articles avec des erreurs... Mais j'avais un problème supplémentaire : les erreurs avaient une moins grande ampleur car j'avais corrigé les 20% de mes article qui généraient 80% de mes volumes erronés (sacré Pareto va ! ;-P).

Après quelques jours la lumière s'éclaira. Si la loi de distribution de Pareto trouvait sa limite dans mon problème : alors j'allais utiliser une autre loi de distribution, celle-ci bien moins connue, mais bien plus efficace pour le problème que j'avais à résoudre : la loi de Benford.

Pour ceux qui ne le savent pas : la loi de Benford fait état d'un constat du phénomène aléatoire que nous réserve la nature. Dans une distribution numérique quelconque (le liste des prix d'une grande surface, le liste des dimension de l'ensemble des arbres du territoire, la liste salaires net des habitants d'un pays...etc) si nous prenons le premier chiffre (différent de 0) et que nous comptabilisons ces chiffres : alors nous auront systématiquement cette distribution :


Étrange non...!? Quoi que vous preniez comme distribution, si vous comptabilisez le nombre de 1 en première position, de 2 en première position...etc, vous obtiendrez toujours ce %. Plus étrange encore c'est qu'il y ait plus de 1 que de 2, de 2 que de 3...etc. Mais c'est comme ça... Si tant est que la distribution soit aléatoire celle-ci ressemblerait à cela.

Je décida donc de comparer ma distribution avec celle de Benford et voici ce que j'obtins :
Le résultat était flagrant ! J'avais beaucoup trop de 5 et pas assez de trois. Je fis donc une extraction de tous mes articles avec un 5 dans le premier caractère de mon volume et je passa en revu la liste. Je visualisa rapidement que tous les articles d'une famille (celles des chaussures) avaient la même taille. L'ingratitude de la tâche avait amené les personnes en charge des mesures de faire des copier-coller. Ils se justifièrent par le fait que toutes les boîtes à chaussures faisaient la même taille. Dans une certaine proportion peut-être mais on ne peut pas prendre la loi de Benford, en défaut, de la sorte...! Les boîtes à chaussures ne font pas la même taille lorsqu'il s'agit de chaussures de ville, de bottes de pêche ou de chaussons pour enfants...etc.

Après la mesure de chacune des références de la famille chaussure présentes dans l'entrepôt, je refis une analyse de ma nouvelle distribution et voici ce que cela donna :
Cette fois mon fichier paraissait fiable... Je remoulina le zinzin et obtins avec succès le calcul de mes coûts de revient tant espérés... ;-)

Pour les projets LSS j'aurai le loisir, dans un post à venir, de vous parler de l'outil qui test la fiabilité des données à l'enregistrement de celles-ci (le GR&R) mais bien souvent un projet démarre avec des données dores et déjà enregistrées et dans un tel cas il est nécessaire de vérifier la cohérence de ces données avant d'en fournir une quelconque analyse...!

Bravo à vous M. Benford... Vous avez gagné ce combat haut la main ! ;-P

jeudi 27 novembre 2008

Min\Max VS Ecart Type : La guerre des indicateurs (2)

Ce message est disponible sur le nouveau blog à partir de ce lien

C'est dans l'humiliation la plus totale que notre guerrière la Moyenne est repartie du champs de bataille lors du dernier combat... Celle-ci s'étant rendue compte de ses faiblesses : c'est aidée de ses deux compagnons, Minimum et Maximum, qu'elle décida de repartir au front... ;-)

Et oui... Lors de ma dernière démonstration j'ai mis en défaut l'utilisation de la moyenne pour rendre compte d'une distribution (un ensemble de données). Mais la moyenne bénéficie de deux indicateurs qui pourraient l'aider à rendre compte d'un ensemble de données : le minimum et le maximum. Alors peut-on se servir de la moyenne si celle-ci est accompagnée des indicateurs minimum et maximum...!?

Pour tenter d'y répondre je vais m'appuyer sur le souvenir d'une erreur de management qui m'a fortement marqué.
Le responsable d'un service d'approvisionnement avait à définir les objectifs de son équipe pour l'exercice à venir. L'objectif de l'année précédente était basé sur le taux de service cumulé à l'année (le taux de service illustre la fraction des commandes passées qui sont livrées). Pour notre exemple disons que le taux de service objectif de l'année précédente avait été fixé à 97% (c'est à dire qu'en moyenne : quand 100 lignes de commandes sont passées par le clients, 97 seront livrées, les 3 autres lignes non livrées correspondant à des ruptures de stock).

Voici le résultat de l'année qui venait de s'écouler...
Comme on peut le voir, il y a eu de fortes variations au cours de l'année. Et notre manager se souvenait bien de la pression qu'il avait subit, de la part des clients et de sa hiérarchie, pendant les semaines 20 à 24... Il ne souhaitait plus revivre cela, aussi il décida de fixer deux objectifs à son équipe : le premier resterait sur la moyenne annuelle (fiers de ses 97%, il resta sur cette valeur), et le deuxième porterait sur une limite de taux de service minimum à ne pas dépasser (disons 96%)...

Je voyais deux contraintes dans le choix de cet indicateur :
- D'une part : dès que le seuil minimal serait dépassé : les équipes seraient démotivées car l'objectif serait raté et la prime sur objectif avec. :-(
- D'autre part : les semaines avec une très faible activité rendraient l'indicateur plus "vulnérable" aux ruptures inévitables (problème de livraison du fournisseur) et inversement les augmentations soudaines d'activité pourraient entrainer des ruptures techniques et déboucher sur un dépassement du seuil.
En résumé le calcul n'était ni représentatif de la variation du taux de service ni motivant pour l'équipe d'approvisionneur.

Aussi je proposa de fixer un objectif basé sur l'écart type et une augmentation du taux de service comme présenté sur ce graphique :

L'objectif était de réduire l'écart type (correspond à la variation moyenne) de moitié (passé du trait orange sur le graph précédent au trait vert clair sur ce graph). Et de réévaluer l'objectif à 97,5% pour taux de service moyen annuel (en vert foncé). Sachant qu'après une courte étude, la suppression des valeurs aberrantes que constituaient les semaines 20 à 24, permettaient d'atteindre aisément ce nouveau taux. Donc la réduction de la variation moyenne résultait directement sur une amélioration du taux de service annuel.
J'y voyais deux bien fait :
- La mesure de la variation portant sur l'ensemble de l'année la motivation du personnel restait entière.
- L'amélioration du taux de service au global améliorait la satisfaction des clients, de la hiérarchie et des employés du service qui pouvait être fiers d'avoir atteint un vrai objectif.

Ce que le manager décida :
Suite à ma proposition, le manager était tenté de valider ce type de calcul dans la fixation de son objectif... seul problème : il ne maîtrisait pas le calcul...!
Et considérant qu'il était incapable de maitriser le calcul de l'indicateur il fit le raccourcit erroné qu'il était incapable de maîtriser l'indicateur et donc l'objectif de son personnel... Aussi il fixa son seuil minimum comme objectif en y ajoutant une tolérance de dépassement du seuil sur une semaine.

Épilogue : En milieu d'année la canicule arriva... Les ventes de produits à moustiques explosèrent... Les fournisseurs étaient incapables de subvenir à la demande du marché... Les approvisionneurs avait très bien fait leut travail...et n'eurent pas leur prime sur objectif... mais l'essentiel était là : ils pouvaient se l'expliquer !

Cette fois ci : le Min et le Max ont gagné la bataille car ils ont soufflé le marché à l'écart type... mais avouez que l'affaire est plutôt injuste ! n'est-ce pas !?

Faudra-t-il une dernière bataille pour les départager...!? ;-)

lundi 24 novembre 2008

Moyenne VS Médiane : La guerre des indicateurs est lancée...!

Ce message est disponible sur le nouveau blog à partir de ce lien

L'idée de ce post m'est venue suite à une réponse apportée sur un commentaire. Le commentaire, déposé par Bernard Sady (dont je vous recommande vivement la consultation de son blog pour son intérêt et sa constance dans les mises à jour) posait la question de la nécessité de l'utilisation d'indicateurs complexes comme la médiane et les quartiles...

Nous avons tous, en tête, des "idées reçues"... Ce sont ces "idées reçues", (déjà transmises à notre cerveau plusieurs fois, soit par l'écoute soit par la pratique) qui nous permettent de réfléchir plus rapidement et d'avancer dans nos raisonnements. Il n'est donc pas question de critiquer l'idée reçue en tant que telle mais de veiller à ce qu'elles ne nous fasse pas trop défaut... Car au milieu de ces milliers d'idées reçues se cachent des idées fausses...

Ainsi lorsque la question, de la complexité de l'indicateur "médiane et quartiles", m'a été posé : je fût moi-même tombé dans le piège et me suis dit...c'est vrai que la médiane est plus complexe que la moyenne mais elle est plus "robuste"... Hors tout cela est faux ! La médiane est tout aussi accessible que la moyenne...je dirai même plus accessible ! ;-P

Alors faisons-en la démonstration...

L'exemple du panier moyen.
Dans la grande distribution, le panier moyen permet de savoir, en moyenne, combien les clients achètent de marchandises lorsqu'ils passent en caisse. En résumé : c'est le chiffre d'affaires moyen par passage en caisse. J'ai souvenir, lors d'une visite de magasin d'une grande enseigne, d'avoir écouté le directeur se plaindre d'une action commerciale mise en place par la franchise. Pour 20 euros d'achat, le magasin devait offrir un cadeau. Le courroux du directeur venait du fait que les 20 euros correspondaient au panier moyen (voir même légèrement en dessous) et que de ce fait, cette action commerciale n'incitait pas les clients à acheter plus que ce qu'ils avaient l'habitude de prendre. Le raisonnement tient la route n'est-ce pas...!?
Mais après une étude très succincte d'un échantillon de tickets de caisse nous pouvons nous rendre compte que notre directeur était dans le faux...
Voici une "boîte à moustache" résultante du traitement de cet échantillon :


Une "boîte à moustache" est une représentation graphique d'un ensemble de données. Elle fait apparaître la moyenne (Mean in english)+/- l'écart type (qui correspond à la variation moyenne) ainsi que les quartiles (à savoir le découpage de la distribution en 4). Nous pouvons donc observer que la panier moyen est de 23,64 euros avec une variation moyenne de 29,60. La médiane est à 15,66 Euros ce qui signifie que la moitié des clients achètent moins de 15,66 de marchandise et qu'une autre moitié en achète pour plus de 15,66 euros. Avec le 1er et le 3ème quartile on s'aperçoit que la moitié des clients achètent entre 7,87 et 29,42 euros de marchandises. Enfin le quart des meilleurs clients achètent entre 29,42 et 1379 euros de marchandise.
Alors maintenant revenons-en à notre problématique d'action commerciale... Selon ce que l'on vient de voir 50% des clients achètent au maximum pour 15,66 euros de marchandises... donc si nous offrons un cadeau à partir de 20 euros d'achat nous incitons plus de la moitié des clients à acheter plus qu'à l'accoutumée. En conclusion cette action commerciale n'est pas si dénuée de sens que cela...! ;-)

Pour revenir sur l'idée reçue... La moyenne est très utilisée et maîtrisée de chacun. Et comme la nature humaine a horreur du changement : alors les gens préfèrent utiliser un outils qu'ils maitrisent au dépend de la justesse de leur jugement. Mais à bien y réfléchir est-ce que la médiane est plus difficile d'accès que la moyenne ? La médiane est une valeur qui fait partie de la réalité des données traitées. La médiane est la valeur qui coupe en deux données, cette valeur est donc existante, elle n'émane pas réellement d'un calcul. Alors que la moyenne n'a pas de réalité. Je crois qu'en France les femmes ont 1,8 enfants en moyenne...Ce 1,8 n'est pas "rattachable" à la réalité, alors que la médiane, elle, le serait !

Voilà, la première bataille (celle qui opposait la moyenne à la médiane) est terminée... mais la guerre continue ! Bientôt sur le champ de bataille s'opposeront le min et le max contre les écarts type... ;-)