Mettre en place une enquête Delphi en ligne : le logiciel Mesydel

À l’origine, la méthode de médiation bien connue sous le nom de méthode Delphi est une méthode qui se déroulait sous format papier. Cette méthode permet d’obtenir une liste de positions — voire un consensus — en interrogeant un panel d’experts d’un domaine déterminé selon un processus en plusieurs tours. Entre chaque tour, le médiateur rédige des conclusions, puis lance un nouveau tour avec des questions inspirées de ces conclusions. À la fin du processus, un rapport est établi détaillant les positions.

Dans une procédure classique, ces questions sont envoyées par courrier, fax ou e-mail. Les réponses transitent par les mêmes canaux. Très vite, le médiateur se retrouve noyé sous les réponses de sources différentes, si bien qu’il perd un temps considérable en organisation. Le fait de ne pas pouvoir avoir accès facilement aux réponses connexes rend aussi l’analyse plus fastidieuse — et produit, en définitive, un résultat peu optimal. Les contraintes se situent aussi du côté de l’expert, obligé de remplir des formulaires rébarbatifs dans la limite du temps imparti, ce qui conduit à un taux de participation relativement bas.

Le logiciel Mesydel, développé au sein de l’unité Spiral de l’Université de Liège, vient répondre à ces faiblesses. Le but d’une session Mesydel est de recueillir et d’analyser un ensemble de positions, par des consultations itératives en ligne anonymes d’un panel d’expert. Ces consultations permettent, selon l’objectif et le domaine investigué, de faire apparaître un consensus ou un dissensus sur une ou plusieurs questions, d’anticiper une tendance ou de co-construire une vision partagée (gestion/design participatif par exemple).

Mesydel est un outil qui libère l’analyste de nombreuses contraintes liées à la mise en oeuvre de la méthode : il formalise les différentes étapes de l’enquête de manière semi-séquentielle. De ce fait, il encourage le chercheur à respecter un ensemble de bonnes pratiques, tout en lui laissant une marge de manoeuvre et une grande liberté organisationnelle. Par exemple, l’outil incite à un suivi systématique des répondants ou à regrouper les questions en page thématique. En outre il donne la possibilité d’analyse à la fois par répondant et par question. Notons que Mesydel n’est pas une implémentation de la méthode Delphi sensu stricto, mais une méthodologie originale, adaptée aux besoins des recherches contemporaines en sciences humaines et sociales. Elle exploite d’une manière radicalement innovante les possibilités offertes par les nouvelles technologies de l’information (NTIC). Le fin dosage entre rigueur scientifique et flexibilité permet, comme nous allons le voir, d’aboutir plus rapidement à des résultats de meilleure qualité, tout en évitant au chercheur de tomber dans différents travers.

Application Mesydel : origine institutionnelle

En 2008, le laboratoire Spiral (Département de science politique de l’Université de Liège), s’est doté d’un outil logiciel à même de faciliter la mise en oeuvre de la méthode Delphi. Le Spiral effectuant de nombreuses recherches en sciences sociales et politiques, la méthode Delphi était déjà alors une méthode fortement sollicitée dans la mesure où elle permettait de compléter d’autres techniques de récolte des données comme les focus groups, les entretiens individuels qualitatifs ou les ateliers scénarios. La technique se déploie à distance, sur le mode de l’écrit et de l’anonymat ; une traduction sous forme Web apparaissait donc naturelle. L’originalité de l’application Mesydel tient surtout dans la volonté des chercheurs du laboratoire de se doter d’un outil qui gère de manière intégrée les différentes tâches et phases du Delphi, des fonctionnalités purement logistiques aux traitements analytiques.

Issu de besoins survenus dans le cadre d’une recherche doctorale, le premier prototype Mesydel, développé par Stéphane Rieppi et Martin Erpicum, a permis la réalisation d’une enquête Delphi sur l’opportunité de la création d’un service de Technology Assessment en Wallonie. Le succès de cette première expérience, perceptible parmi les panélistes interrogés et les chercheurs aux commandes, encouragea ces derniers à inscrire le projet dans la durée. D’une première application rudimentaire et entièrement construite sur mesure pour ce premier projet, Mesydel a évolué, et continue d’évoluer, au gré des besoins exprimés par les chercheurs ou les commanditaires d’enquête, mais également de la réflexion menée autour de l’outil par les chercheurs du Spiral. En 2017, Mesydel en est à sa troisième version logicielle, suite à l’expérience acquise auprès de plusieurs dizaines de projets pour des partenaires universitaires, publics ou privés.

Description de l’application web

Mesydel se présente donc comme une application Web intégrée susceptible d’accompagner le chercheur dans toutes les étapes d’un Delphi en ligne :

• définition et création d’une nouvelle enquête,
• gestion des profils des répondants potentiels,
• rédaction du questionnaire en ligne,
• lancement des invitations par courrier électronique,
• traitement des données collectées (ces trois dernières étapes sont répétées au fil des itérations du Delphi).

Afin de garantir la qualité et la fiabilité de la recherche, une attention toute particulière a été portée sur la réalisation d’une interface simple, rapide et efficace, tant pour le chercheur que pour le panel interrogé. Le plus souvent, ces fonctionnalités sont toutes utilisées, afin de garantir un maximum de cohérence aux recherches menées. Il est néanmoins possible d’en assurer certaines en dehors du logiciel. La souplesse assumée de l’outil permet en outre son utilisation dans la mise en œuvre d’autres méthodologies que le Delphi, tel un questionnaire classique en un seul tour (sondage, enquête de satisfaction).

Une logistique fluidifiée

Du fait qu’elle centralise les tâches logistiques et analytiques de la méthode au sein d’une plateforme unique, les avantages de cette méthode de Delphi en ligne sont nombreux.

Pour ce qui est de la logistique, la communication est plus simple et plus directe avec les participants. La sélection fine des participants permet de cibler les messages d’invitation, de rappel ou de remerciement. La mise à jour de la base de données est facilitée et centralisée, tandis que les progrès du questionnaire et des taux de réponse sont suivis en direct. Les participants ont accès en permanence au serveur et peuvent choisir de compléter leurs réponses à tout moment pendant le tour. Enfin, il est possible d’étendre les deadlines et d’en notifier les participants.

Les barrières linguistiques sont également dépassées dans Mesydel. La langue de l’interface peut être choisie selon les préférences et compétences du répondant. Il lui est également possible de répondre dans la langue qu’il désire, dans la mesure où le ou les chercheurs parlent cette langue. Les chercheurs, à leur tour, pourront utiliser les outils Mesydel dans la langue de leur choix.

Toutes ces fonctionnalités logistiques génèrent un taux de participation bien supérieur aux méthodologies classiques, car elles facilitent l’implication du répondant et simplifient le travail du modérateur. Le contenu généré est donc au final plus important et de meilleure qualité, puisque les participants ont la possibilité de se connecter, de réviser et de modifier leurs réponses de façon illimitée jusqu’à la deadline. Le taux d’attrition, c’est-à-dire les abandons de tour en tour, sont également plus faibles grâce à l’informatisation de la méthode et aux rappels personnalisés. Par ailleurs, de nombreuses enquêtes sont difficiles à mener en raison de contraintes spatiales ou temporelles. L’informatisation et la centralisation des données réduit fortement ces contraintes, puisque les participants peuvent ainsi compléter les questionnaires à différents moments de la journée, peu importe leur localisation ou leur emploi du temps. Enfin, de nombreux garde-fous ergonomiques sont mis en place pour rendre quasi impossible toute erreur de manipulation de la part du participant : en plus d’une interface de réponse volontairement dépouillée et calquée sur un outil de traitement de texte — qui donne au participant l’impression d’être en terrain connu –, un système de sauvegarde automatique rend virtuellement impossible la perte des réponses saisies.

Outils d’analyse qualitative

Attardons-nous désormais aux fonctionnalités consacrées à l’analyse des réponses collectées. En suivant les différents types possibles dans la formulation des questions, les outils d’analyse intègrent les approches qualitatives, quantitatives et mixtes. Le logiciel permet, sur l’ensemble du corpus récolté, de réaliser des tris bien utiles : affichage de toutes les réponses d’un répondant ou des répondants d’une certaine catégorie socioprofessionnelles ; affichages de toutes les réponses à une même question, répondant par répondant ; affichage de toutes les réponses qualifiées d’une certaine manière par les analystes, via l’apposition de « Tags » ou « Facettes », etc.

Les outils d’analyse des réponses qualitatives empruntent et mélangent de manière transparente des éléments du web social (« folksonomies ») (Peters, 2009) et des Computer Assisted Qualitative Data Analysis Software (CAQDAS) (Lejeune, 2010). Ces outils permettent par exemple au chercheur de noter les réponses selon l’intérêt immédiat qu’elles présentent, ou encore d’indiquer le stade actuel de leur traitement. Un champ texte permet d’annoter librement la réponse, à la manière d’un bloc-notes.

Mais aussi, et surtout, ils donnent la possibilité de définir des marqueurs (tags) pour étiqueter chaque idée ou concept qu’il décèle dans une réponse. Il est ensuite possible d’organiser ces tags en « facettes » regroupant des tags de même nature. Par exemple, dans un questionnaire sur les goûts et les couleurs, les tags rouge, vert et bleu relèveront de la facette « couleurs », tandis qu’amer, sucré et salé seront associés à la facette « goûts » (dans une situation réelle, un même tag peut se retrouver dans plusieurs facettes différentes). Les nuages de tags et les facettes produites fournissent au chercheur une structure, voire un premier squelette, de son document final. Il pourrait décider, par exemple, que chaque facette soit une section de ses conclusions, section au sein de laquelle les tags redevenus concepts intelligibles seraient discutés, dans des proportions semblable à leur présence réelle dans les réponses reçues.

Une caractéristique importante de ces outils d’analyse réside dans leur plasticité : s’ils ont été écrits pour faciliter le travail du chercheur, leur utilisation n’est pas rendue nécessaire au bon fonctionnement de l’outil Mesydel et ils ne contraignent pas le chercheur à analyser son corpus avec une méthodologie prédéterminée. Mesydel est alors susceptible de servir de support technique à la mobilisation de techniques issues de méthodes variées, telles celles issue de la théorie ancrée (Grounded theory methodology, G. Glaser, A. L. Strauss, 1967) ou de l’herméneutique collective (Molitor, 1990). Il encourage le chercheur à utiliser les différents systèmes de tri et d’annotation avec créativité, n’imposant pas à son utilisateur une manière d’utiliser le système d’analyse d’une façon prédéfinie.

De manière générale, le chercheur reste proche de ses données, les analyses émergent du contenu et non l’inverse. Le système de tags et facettes permet d’éviter deux biais très courants lors de la lecture transversale d’un grand nombre de réponses :

• Le biais de partialité : grâce au taggage, le chercheur s’efface face à la diversité des opinions. Des critères tels que les affinités personnelles avec les idées de tel expert ou la qualité ou la médiocrité de la prose de tel autre sont facilement évités, lorsque l’importance et la récurrence d’un tag donné est visualisée graphiquement.
• Le biais d’omission involontaire : il est extrêmement difficile, lors d’une lecture transversale, de capter toutes les idées qui apparaissent dans le corpus. Il n’est pas rare de voir une personne externe relire les données brutes du chercheur et trouver dans ces données des idées qui lui avaient simplement échappé. Ici encore, le « tagging » des réponses permet de faire ressortir les idées de manière beaucoup plus systématique et exhaustive.

Outils d’analyse quantitative

Les outils d’analyse quantitative de Mesydel, quant à eux, correspondent d’assez près la nature des questions. L’analyse quantitative est facilitée par la visualisation des réponses et la génération instantanée de graphiques. Les questions à choix simples ou multiples génèrent des histogrammes en barres ou des diagrammes circulaires. Les questions numériques génèrent des courbes statistiques. Toutes ces données peuvent être facilement exportées vers des programmes d’analyse statistique pour des traitements plus approfondis.

Ainsi, l’outil Mesydel autorise la récolte et l’analyse de données qualitatives et quantitatives sur un même corpus de données et dans le cadre d’un seul processus de collecte itératif. Les fonctionnalités développées pour le logiciel Mesydel fluidifient non seulement la logistique mais améliorent également la qualité des résultats et de l’analyse de l’enquête. Les outils intégrés à la plateforme — le taggage, les graphiques, les annotations ou le système d’export automatique de rapports ou de tableurs — simplifient l’analyse des réponses et font gagner un temps précieux au modérateur de l’enquête.

Plus particulièrement, la centralisation des informations et les outils de visualisation de la plateforme permettent de contextualiser les données brutes de trois façons différentes :

• En approchant l’ensemble d’une population : dans le cas d’un panel composé d’une population hétérogène, le chercheur approche les divers positionnements de façon compréhensive, en analysant la distribution des différents positionnements au sein de la population et les raisons susceptibles d’expliquer cette distribution.
• En approchant un individu spécifique : un répondant peut être analysé sous l’angle des réponses qu’il a donné au fil des questions et des itérations, de ses prises de position et de sa trajectoire. Quelle est sa propension à l’abstention ou au positionnement à la marge ? Se rallie-t-il facilement à l’avis de la majorité ? Existe-t-il chez lui un angle d’approche privilégié ? Il s’agit ici d’un questionnement typiquement qualitatif de la méthode Delphi, facilité par Mesydel.
• En décelant et en comprenant les liens entre acteurs et représentations : certains liens peuvent être tracés entre certaines sous-populations et certaines prises de positions. Il peut notamment exister des relations entre corps de métiers, hiérarchies, et prises de positions particulières. Mesydel facilite la manière dont ces liens peuvent être décrits et interprétés. La centralisation des informations met en évidence des éléments explicatifs centraux dans la manière dont ces différentes représentations et définitions se sont forgées.