Quoi et comment mesurer ?

4 Mesurer l’efficacité de la veille, c’est mesurer le degré d’atteinte des objectifs, comparer les résultats attendus avec les résultats effectifs. Les éléments à mesurer dépendent donc de la mission attribuée à l’activité de veille. Les praticiens considèrent généralement que l’objectif principal de leur activité est l’aide à la décision [11]. Mais, au-delà de celle-ci, les bénéfices attendus peuvent être multiples [7 ; 10] : analyser et synthétiser les développements de la concurrence, expliquer les forces en jeu dans l’environnement concurrentiel, recommander des actions, anticiper les menaces et les opportunités, etc. La veille peut également avoir des retombées sur le fonctionnement interne de l’entreprise. Ainsi, N. Lesca et M.-L. Caron-Fasan [21, p. 110] relèvent que, selon diverses études, « la pratique de la veille contribuerait également à améliorer […] la communication entre les différents niveaux hiérarchiques de l’organisation […] l’implication des employés dans le processus de décision […] la construction d’une vision partagée de l’environnement de l’entreprise, du management et de la planification ».

5 Force est de constater que les bénéfices attendus sont éminemment intangibles et représentent donc un défi de taille pour l’établissement d’un instrument de mesure. Plusieurs auteurs se sont pourtant attelés à la tâche, développant des outils plus ou moins sophistiqués que S. Buchda [4] propose de classer en trois catégories : les propositions de « measures of effectiveness », les approches ROI et les approches de type Balanced Scorecard.

Le principe des measures of effectiveness (MOE)

6 Cette approche [2] propose de mesurer l’efficacité d’un service de veille à travers quatre mesures d’efficacité (measures of effectiveness) : les économies de temps (times savings), les coûts évités (cost avoidance), les économies d’argent (cost savings) et l’augmentation des revenus (revenue enhancement). Elle s’inspire largement pour cela des mesures qui ont été développées dans le domaine des technologies de l’information (encore appelé office automation dans les années 1990). Même si ces travaux sont souvent cités dans la littérature [9 ; 3 ; 22 ; 11 ; 17], S. Buchda regrette qu’une explication plus complète sur la manière de mesurer ces MOE ne soit pas donnée [4]. A. Lönnqvist et V. Pirttimäki rappellent quant à eux que ces MOE ne résolvent pas le problème de la distinction, par exemple, entre une augmentation des revenus directement liée à l’activité de veille et celle résultant d’une autre action managériale [22].

Le calcul du retour sur investissement (ROI)

7 Le calcul du retour sur investissement (return on investment ou ROI en anglais) est la mesure phare de la performance en entreprise, ce qui en fait sa force selon D. Blenkhorn et C. Fleisher [3]. Traditionnellement, il se calcule en divisant le bénéfice d’un produit, d’un projet ou d’une activité par son coût de réalisation, ce qui n’a rien d’évident lorsqu’on l’applique à un processus de veille.

8 Dans la littérature scientifique, le concept de ROI de la veille a été développé par L. Davison [9] et D. Kilmetz et S. Bridge [20]. L. Davison s’inspire du secteur de la publicité pour développer le concept de return on competitive intelligence investment (ROCII) basé sur un modèle de mesure des activités de veille (CI measurement model - CIMM, figure 1) qui catégorise les bénéfices en tactical outputs et en strategic outputs, respectivement des bénéfices à court ou à long terme. Ce modèle relativement complexe regroupe de multiples indicateurs - mesures de facteurs de risques, d’atteintes d’objectifs, d’augmentation de valeurs et de satisfaction - qui, s’ils sont mesurables, restent extrêmement difficiles à exprimer en valeur monétaire, prérequis indispensable au calcul d’un ROI.

Figure 1

Le CIMM selon Davison

Le CIMM selon Davison

9 D. Kilmetz et S. Bridge proposent quant à eux un modèle qui tente de déterminer les économies potentielles induites par l’intégration d’une activité de veille à un projet spécifique. Concrètement, il s’agit de mesurer la différence de gains projetés entre un projet avec veille et un projet sans et de diminuer ces gains du coût de l’activité de veille et de son implémentation. Autrement dit, c’est une estimation a priori du ROI qui vise à convaincre d’inclure la veille dans un projet défini mais pas d’en mesurer son impact réel.

Le modèle du balanced scorecard et autres modèles multidimensionnels d’évaluation de la performance

10 Face à l’insuffisance des mesures traditionnelles de performance financière pour piloter et définir la stratégie des entreprises dans un environnement de plus en plus compétitif, de nombreux auteurs ont développé des systèmes de mesure alternatifs. Parmi eux, le plus célèbre et le plus largement utilisé est le balanced scorecard (BSC, tableau de bord prospectif) créé par R. Kaplan et D. Norton en 1992. Son principe est de décliner la stratégie de l’entreprise selon quatre perspectives : perspective client, perspective interne (processus), perspective d’innovation et d’apprentissage et perspective financière (figure 2).

Figure 2

Le tableau de bord prospectif ou balanced scorecard

Le tableau de bord prospectif ou balanced scorecard

« Le tableau de bord prospectif : cinq étapes pour réussir votre stratégie », Benoît Naous, Journal du Net, 13 août 2014 ;
www.journaldunet.com/management/expert/58200/le-tableau-de-bord-prospectif---cinq-etapes-pour-reussir-votre-strategie.shtml

11 Pour chacun de ces axes, des objectifs sont fixés et des indicateurs sont définis pour mesurer l’atteinte de ces objectifs [18]. L’aspect financier reste présent dans cette vision multidimensionnelle de la performance puisqu’il ne sert à rien de viser la performance au niveau opérationnel si l’entreprise ne répond pas à sa finalité de générer du profit pour ses actionnaires.

12 Le BSC est un modèle souple qui peut être adapté aux différents contextes organisationnels et présente l’avantage de s’aligner sur la stratégie de l’entreprise. Ces caractéristiques ont retenu l’attention de plusieurs auteurs qui suggèrent de l’utiliser [14 ; 7 ; 22 ; 3 ; 4] ou en font une utilisation concrète pour mesurer l’efficacité et l’impact de la veille dans le cadre d’études de cas [27 ; 25].

13 D’autres modèles multidimensionnels de mesure de la performance peuvent être utilisés pour évaluer la veille. A. Lönnqvist et V. Pirttimäki [22] proposent par exemple une déclinaison du modèle en quatre phases du performance prism créé par A. Neely, C. Adams et M Kennerley [24].

Les autres approches de la mesure de la performance et de l’impact des activités de veille

14 Selon nous, la typologie proposée par S. Buchda [4] est incomplète puisqu’elle laisse de côté la mesure de la satisfaction (pas catégorisée comme telle par Buchda alors qu’elle l’est par Cohen [7]) et les success stories qui sont souvent utilisées pour démontrer l’utilité de la veille dans la littérature professionnelle et par les praticiens [7].

15 D’autre part, plusieurs études quantitatives citées par C. Cohen [7] et C. W. Choo [6] mettent en évidence une corrélation entre la veille et la performance de l’entreprise - soit la contribution de l’activité de veille au succès de l’entreprise et donc, l’impact de la veille.

16 Enfin, la contribution de Cohen constitue à notre sens un cas à part dans la littérature que nous avons consultée et ce, pour plusieurs raisons :

• elle offre une approche complète et systémique de la question de l’évaluation de l’efficacité de la veille ;
• elle propose un outil de mesure concret, détaillé et directement utilisable ;
• elle suggère d’utiliser un BSC pour l’évaluation de l’impact uniquement ;
• elle a adopté une démarche de recherche combinant recherche quantitative, qualitative et empirique.

Recommandations issues de la littérature

17 La littérature sur l’évaluation de la veille propose peu d’instruments de mesure concrets mais plusieurs auteurs formulent des conseils pour en élaborer. Nous retenons ici les trois principales recommandations émanant de la littérature.

18 Premièrement, il semble nécessaire d’aborder la mesure de la performance et de l’impact de la veille à l’aide d’outils multidimensionnels, alliant des indicateurs quantitatifs et qualitatifs, objectifs et subjectifs, directs et indirects. Ce principe est largement admis par les auteurs [26 ; 7 ; 14] et semble avoir fait sa place dans plusieurs organisations qui veulent ainsi mesurer, comme l’appelle J. Herring [14, p. 6], leur « total performance » incluant donc ces deux aspects.

19 La deuxième recommandation est de tenir compte des attentes des différentes parties prenantes pour établir un modèle d’évaluation. N. Simon [26] préconise d’impliquer les clients et le sponsor de la veille dans l’élaboration de l’outil de mesure afin de s’assurer qu’il répond à leurs attentes. De son côté, J. Herring insiste sur le fait qu’il faut bien comprendre les attentes du management et en tenir compte pour établir son système d’évaluation : « Begin with management’s expectation » est sa première recommandation [14, p. 37]. L’approche d’A. Neely, C. Adams et M. Kennerley [24] est plus large et plus englobante. Ils font de la satisfaction des parties prenantes de l’organisation (stakeholders satisfaction) - et non simplement des clients ou du management - l’un des piliers de leur performance prism. En fait, selon eux, la mesure de la performance ne doit pas découler de la stratégie mais des attentes et besoins des parties prenantes. D. Blenkhorn et C. Fleisher soulignent également l’importance des parties prenantes pour l’élaboration d’un système d’évaluation de la performance de la veille. Ce système devrait être centré sur les clients, comporter des mesures développées de manière collaborative et obtenir l’adhésion du top management [3].

20 La troisième recommandation repose sur l’alignement des objectifs de la veille (et donc de la mesure des résultats) avec les objectifs stratégiques de l’organisation. J. Herring relève que pour qu’une veille soit efficace, il faut qu’elle soit en adéquation avec les objectifs de l’entreprise [14]. D. Blenkhorn et C. Fleisher préconisent que l’outil d’évaluation de la performance soit lié à la mission de l’organisation, à ses stratégies et à ses actions [3]. Quant à Cohen, elle affirme que « pour pouvoir mesurer un impact tangible de l’activité d’IES sur la performance, il faut aligner les objectifs d’IES sur les objectifs de l’organisation qu’elle est censée servir. » [7, p. 36].

21 Ces trois recommandations plaident pour une approche de type BSC, offrant des perspectives multiples pour la mesure de l’efficacité et de l’impact d’une activité de veille. Si la culture de l’entreprise le permet, c’est-à-dire si elle n’est pas uniquement focalisée sur la réussite financière et les indicateurs directs, tangibles et chiffrés, cette approche devrait être privilégiée.

Les entreprises sélectionnées

28 Afin de garantir l’anonymat, nous indiquons seulement dans le tableau 1 le secteur d’activité générique de chaque organisation sur la base de la nomenclature générale suisse des activités économiques (Noga). Pour les tailles des entreprises, très variées, nous nous basons sur les indications émises par l’Insee [4].

29 Le tableau 2 récapitule l’organisation de la veille (objectifs et types de mesure) dans les entreprises étudiées.

Organisation de la veille

30 Globalement, la taille du service de veille est proportionnelle à celle de l’entreprise. Quatre entreprises ont des dispositifs de veille centralisés ; trois ont des dispositifs décentralisés, avec des différences structurelles notables : A et F disposent d’un coordinateur à plein temps alors que dans C, la veille n’est pas formalisée et chaque ingénieur fait sa veille.

31 Les objectifs de la veille peuvent être multiples (B, C, E, F, G) ou uniques (A, D). On peut les regrouper dans les 3 catégories suivantes :

• aide générale à la décision (accroissement de la confiance lors des choix)
• satisfaction des besoins d’information des utilisateurs (demandes ponctuelles)
• anticipation des opportunités et des menaces.

L’évaluation de la veille et les types d’indicateurs utilisés

Situation

32 Pour les 7 entreprises analysées, il n’existe pas de mesure du degré d’atteinte des objectifs de la veille ni de processus d’évaluation formalisé.

33 Il y a cependant des interactions régulières avec les clients, qui permettent des retours informels des utilisateurs leur permettant d’évaluer la performance et l’impact de leur service (A, B, E, G en particulier). Dans le cas de l’entreprise B, le client interviewé fait des feedbacks réguliers, aussi bien pour les réponses aux demandes d’information ponctuelles que pour la veille récurrente.

Tableau 1

Secteurs d’activité des entreprises étudiées

Code Taille de l’entreprise Secteur d’activité A ETI Production et distribution d’électricité et de gaz B ETI Industrie pharmaceutique C PME Industrie des machines/équipement industriel D GE Industries alimentaires E PME Administration publique F ETI Industrie mécanique G GE Fabrication d’instruments d’horlogerie

Secteurs d’activité des entreprises étudiées

34 L’examen des décisions prises par la direction donne également des indications aux entreprises A et B sur la pertinence de leur veille.

35 Cependant, certaines organisations mesurent formellement leur veille en utilisant des indicateurs objectifs, s’apparentant à des mesures de l’output : nombre de normes mises à jour et de brevets évalués (C), nombre de rapports produits (C et F), nombre de séances de présentation (F). Celles qui disposent d’une plate-forme de veille comptabilisent le nombre de visiteurs uniques, de documents lus, etc. (D et G).

Les obstacles à l’évaluation

36 • Pour les entreprises A, B et E, la valeur de la veille doit être évidente. Une demande d’évaluation ou d’indicateurs serait perçue comme une menace pour B et, pour A, le seul indicateur valable est le maintien du budget du service d’une année à l’autre. F pense que la mesure est un risque et qu’une évaluation défavorable pourrait supprimer le service.

37 • Il y a également un problème de méthode, du fait du manque de capitalisation de l’information (C),ou du manque de feedback dans le cas d’une grande entreprise (D).

38 • Enfin, l’entreprise F, qui pratique surtout la veille marché et la veille concurrentielle, souligne la difficulté de la mesure de la veille et, en particulier, la part à attribuer à la veille dans une prise de décision, dans le gain d’un nouveau marché. En revanche, en ce qui concerne la veille technologique, l’entreprise G pense qu’il ne serait pas si difficile de mesurer les impacts de la veille technologique/brevets sur les concurrents, par exemple.

Tableau 2

Organisation, objectifs et types de mesure des dispositifs de veille interrogés

Organisation do la veille Nbre ET P3 Type de veille Types de livrables Objectifs de la veille Clients principaux Types de mesure effectuée A En réseau : 1 coordinateur /17 contri buteurs 2.7 Veille marché Veille réglementaire Veille stratégique Bulletins hebdomadaires Tableau de bord pariagé Demandes spécifiques Aide à la décision Direction générale Toute l’entreprise Retours informels B Centralisée S collaborateurs 28 Veille stratégique Veille marché Veille concurrentielle Alertes e-mail Réunion trimestrielle Demandes spécifiques Aide à la décision Anticipation des opportunités/ menaces et satisfaction des besoins Conseil de direction Chefs de services Retours informels c Non formafcsée, répartie parmi les ingénieurs 1 Veille brevet Veille concurrentielle Veille marché Veille réglementaire Rapports ponctuels Satisfaction des besoins d’information Anticipation des opportunités/ menaces Ingénieurs Mesures de loutput D Centralisée 8 collaborateurs 8 Veille concurrentielle Alertes e-mail Bulletin hebdomadaire Rapports trimestriels Rapports ponctuels Satisfaction des besoins d’information Direction générale Subordonnés directs de la DG Mesures de loutput E Centralisée 3 collaborateurs 2.5 Veille image Analyses hebdomadaires Etudes ponctuelles Satisfaction des besoins d’information Chef de département Chef de service Retours informels F En réseau : 1 coordinateur/ 20 contribuleurs 2.2 Veille stratégique Veille marché Veille concurrentielle Rapport annuel et semestriel de chaque contritouteur Réunion annuelle Anticipation des opportunités/ menaces Direction Mesures de l’output G Centralisée 7 collaborateurs 7 Veille technologique Veille brevet Veille stratégique Veille marché Veille concurrentielle Plate-forme interne Recherches à la demande Rapports à la direction Satisfaction des besoins d’information Anticipation des opportunités/ menaces Direction Responsables d’unité Toute l’entreprise Retours informels Mesures de l’outpul

Organisation, objectifs et types de mesure des dispositifs de veille interrogés

Discussion des résultats

39 Certes, on pourra nous objecter que notre échantillon d’entreprises est limité mais, en même temps, il est hétérogène, et nos résultats confirment ce que d’autres études ont montré [5].

40 Est-il vraiment pertinent de mesurer la veille ? Pour trois des sept praticiens interrogés, la valeur de leur activité doit être évidente pour les dirigeants de l’entreprise. L’importance de l’utilité perçue du service de veille par les dirigeants, première partie prenante, est confirmée dans la littérature [5 ; 7].

41 Parmi les entreprises étudiées, quatre pratiquent des mesures de l’activité de type mesures d’output, les trois autres se limitant à des retours informels de la part des utilisateurs. C’est en fait une situation assez courante et qui correspond à la pratique telle que relevée par des auteurs qui ont fait le même constat [25 à propos de Marin et Poulter [23] ; 11].

42 Malgré cette absence de pratique, tous les professionnels de la veille que nous avons interrogés ont manifesté un intérêt certain pour notre étude, ce qui signifie qu’ils voient en l’adoption d’une méthode de mesure formelle la possibilité d’une meilleure reconnaissance de leur activité, ce que confirment plusieurs auteurs [14 ; 3 ; 7 ; 22 ; 12], et cela, malgré les craintes que peut soulever l’évaluation. Plusieurs d’entre eux soulignent la nécessité de mesurer aussi bien les aspects quantitatifs que qualitatifs, et celui de l’entreprise F suggère de procéder à l’évaluation sur la base d’un cycle stratégique de 5 ans, donnée importante que nous intégrons dans le modèle présenté ci-dessous.

Définition des besoins des parties prenantes

45 Les besoins des parties prenantes que nous avons identifiés sont issus de la littérature, principalement de C. Cohen [7] puis de N. Lesca et M.-L. Caron-Fasan [21] et proviennent aussi de l’interview du client de la veille. Nous pouvons ainsi formuler 15 de ces préoccupations :

• comment être plus réactif ?
• comment mieux gérer les situations de crise ?
• comment m’adapter aux changements rapides de l’environnement ?
• où en sont mes concurrents par rapport à un nouveau produit ?
• ma connaissance du marché est-elle suffisante ?
• quelles sont les technologies qui auront une influence sur mon activité ?
• quelles sont les nouvelles technologies de mes concurrents ?
• quelles nouvelles lois et nouveaux règlements vont-ils influencer mon activité ?
• comment améliorer la communication en interne ?
• cette décision est-elle la bonne option stratégique ?
• comment améliorer l’implication des employés dans le processus de décision ?
• comment construire une vision partagée de l’environnement de l’entreprise, du management et de la planification ?
• puis-je avoir confiance en ce partenaire ?
• est-ce que je dispose d’informations fiables ?
• obtiendrai-je la bonne information dans les délais qui me conviennent ?

Définition des objectifs de la veille

46 De la même manière, nous avons identifié les principaux objectifs des services de veille en utilisant la littérature [7 ; 21] et les entretiens réalisés. Nous en avons dénombré 15 que nous avons répartis selon 4 perspectives, conformément à nos deux modèles, le balanced scorecard [18] et le référentiel Cobit 5 de l’IASCA [1] :

• finances : anticiper les menaces, évaluer la réputation de l’organisation, capter les forces en jeu dans l’environnement concurrentiel ;
• clients : favoriser le développement de nouveaux produits, capter les attentes du marché/des clients ;
• processus internes : faciliter le processus de décision, fournir une meilleure protection contre l’obsolescence des technologies, favoriser la communication entre les différents niveaux hiérarchiques de l’organisation, améliorer l’implication des employés dans le processus de décision, construire une vision partagée de l’environnement de l’entreprise, du management et de la planification ;
• innovation et apprentissage : anticiper les changements réglementaires et normatifs, anticiper les opportunités, favoriser l’innovation, anticiper les avancées technologiques, fournir une meilleure protection contre la désinformation, les actes de malveillance.

Alignement des objectifs de la veille sur les besoins des parties prenantes

47 À l’aide d’une matrice croisant les objectifs de la veille et les besoins des parties prenantes, il est possible de démontrer l’alignement des premiers sur les seconds. Ce type de matrice est directement inspiré du référentiel Cobit 5. La figure 4 en présente un extrait afin d’en comprendre la logique ; dans sa version complète, les quinze préoccupations des parties prenantes sont analysées au regard des objectifs que l’on veut atteindre.

Figure 4

Alignement des objectifs de la veille sur les préoccupations des parties prenantes

Alignement des objectifs de la veille sur les préoccupations des parties prenantes

Alignement des objectifs de la veille sur les objectifs de l’entreprise

48 De la même manière, les objectifs de la veille peuvent être alignés sur ceux de l’entreprise.

49 Pour identifier ces derniers et pour cette version non testée du modèle, nous avons reformulé les objectifs génériques de l’entreprise formulés dans Cobit 5 [1]. Ces objectifs nous semblent néanmoins être orientés dans une perspective correspondant aux préoccupations des technologies de l’information. Une recherche plus approfondie dans la littérature en gestion des entreprises devrait permettre d’affiner ces propositions. Ces objectifs sont là aussi répartis selon les 4 mêmes perspectives : finances, clients, processus internes et innovation et apprentissage.

50 La figure 5 présente un extrait de cet alignement ; dans sa version complète, les 17 objectifs de l’entreprise sont analysés au regard de ceux que la veille lui permettrait de mettre en œuvre.

Figure 5

Alignement des objectifs de la veille sur les objectifs de l’entreprise

Alignement des objectifs de la veille sur les objectifs de l’entreprise

Décliner les objectifs de la veille en indicateurs

51 Après avoir formalisé l’alignement stratégique des objectifs de la veille sur les préoccupations des parties prenantes et sur les besoins de l’entreprise, il s’agit maintenant de décliner chaque objectif de la veille en indicateurs. C’est la partie la plus délicate de cette méthodologie.

52 Plusieurs indicateurs sont nécessaires pour mesurer le degré d’atteinte de chaque objectif.

53 La veille n’apporte parfois qu’une contribution à l’indicateur et sa part exacte reste impossible à établir. Il est toutefois nécessaire, pour ces indicateurs, que les principaux clients valident le fait que les produits de la veille exercent bel et bien une influence sur l’élément mesuré. Il sera ainsi plus aisé de leur donner de la crédibilité lors de leur analyse.

54 Conformément aux recommandations de plusieurs auteurs [26 ; 7 ; 14], les exemples d’indicateurs que nous proposons sont un mélange de mesures quantitatives, qualitatives, objectives, subjectives, directes et indirectes.

55 Nous présentons dans la figure 6 un échantillon des exemples d’indicateurs que nous proposons pour les objectifs de la veille que nous avons identifiés.

Figure 6

Déclinaison des objectifs en indicateurs

Déclinaison des objectifs en indicateurs

56 Pour chacun de ces indicateurs, il conviendra d’élaborer une définition, une unité de mesure, une valeur cible à atteindre et une fréquence à laquelle les mesures seront effectuées.

Adopter un outil multidimensionnel

60 Ce travail de recherche a permis de faire ressortir plusieurs éléments intéressants pour les recherches à venir sur la question. D’abord, la littérature manque de solutions et de techniques scientifiquement éprouvées pour tenter de surmonter les grandes difficultés qui se dressent devant les praticiens qui cherchent à prouver l’impact de leur cellule de veille sur les résultats de leur organisation.

61 Ensuite, l’analyse, dans un premier temps, de la littérature et des études de cas sur la problématique, puis la rencontre avec les praticiens de la veille et l’un de leurs clients ont permis de se rendre compte que les écueils rencontrés par d’autres chercheurs se confirment bel et bien, ainsi que la nécessité d’adopter un outil multidimensionnel intégrant les besoins des parties prenantes et les objectifs de l’entreprise qui en découlent.

62 Le modèle proposé a également la particularité de pouvoir s’adapter à tout type d’environnement. Il devrait ainsi donner à des services de veille de types, de tailles et de secteurs d’activité différents la possibilité de faire valoir leur contribution aux résultats de l’entreprise auprès des dirigeants.

63 Mars 2015