Modification de Elaboration d’un questionnaire standardisé : Principes généraux

Construction d’un questionnaire

L’enjeu principal autour de la construction d’un questionnaire est la fiabilité des mesures. En effet, Kalton et Moser explique bien « qu’aucun sondage ne peut être meilleur que son questionnaire ». Chaque question correspond à une mesure devant être utilisable pour répondre à nos hypothèses premières. Pour la recherche, on dit souvent que la qualité du questionnaire est primordiale. Ainsi, une mauvaise question entrainera la récolte de mauvaises mesures.
Deux types d’erreur

    Il peut y avoir une erreur au niveau théorique
        Problème de la validité de la mesure : évaluation de la mesure au niveau théorique
        Opérationnalisation
    Erreur au niveau empirique
        Problème de fiabilité de la mesure : évaluation de la mesure au niveau empirique (idée de la consistance de la mesure)
        Fidélité, robustesse, reproductibilité
        Formulation des questions

Fiabilité des mesures

L’idée de la fiabilité est simple en théorie mais difficile à mettre en œuvre. Il y a des questions qui peuvent être comprises de manière différente que ce qu’on le croit. La reproductibilité correspond au fait qu’un même output sera produit si un même input est appliqué. C’est en lien avec la reproductibilité qu’il n’est pas toujours possible de comparer entre elles des données, devant pour ce faire avoir été produites de la même manière. C’est pourquoi les questionnaires doivent être construits de sorte à ce que les réponses données proviennent toutes d’un même input. C’est pourquoi les questions doivent être précises, simples… Afin que tous les répondants les comprennent de la même manière et se positionnent par rapport à des inputs précis. Cet exercice est d’autant plus difficile si le questionnaire doit être passé auprès d’une population hétérogène (langue, culture, religion…) différentes, les mots pouvant être socialement situés. En plus des questions devant être intelligemment conçues pour être comprises de manière uniforme au sein de la population cible, le questionnaire doit également être uniformément transmis ! En effet, les intervieweurs ne doivent pas inclure dans la question posée leur interprétation propre.

Il existe plusieurs sources de non-fiabilité des mesures. Comme nous l’avons dit, les questions peuvent être comprises différemment selon l’enquêté. Il faut encore noter que les mots peuvent changer de sens au fil du temps mais aussi dans l’espace. Cette dimension est importante à prendre en compte notamment lorsqu’il s’agit de répliquer une étude ancienne. Il faudra alors se demander si les questions doivent être traduites dans un vocabulaire plus actuel pour obtenir le même type de réponses que jadis ou ces mots avaient des connotations différentes. De plus, si la question contient deux inputs, c’est à dire si la question demande aux répondant de se positionner sur deux éléments de question à la fois, le chercheur ne pourra savoir à quel stimuli l’enquêté a répondu. Il faut également être vigilant au fait que la désirabilité sociale joue un rôle important lors de la passation de questionnaire. La désirabilité sociale est une sorte d’autocensure lorsque l’enquêté craint d’être jugé négativement s’il donne une réponse particulière à une question. Elle évolue dans le temps si bien qu’il est aujourd’hui tout à fait commun de dire être divorcer, contrairement à avant. Par contre, dire aujourd’hui que l’on est raciste est très difficile, terme fortement déprécié. Enfin, il faut s’assurer que tous les enquêteurs posent les questions de la même manière lors de la passation du questionnaire et ce, pour n’induire aucun biais de compréhension.
Source de non-fiabilité des mesures

Ce n’est pas seulement les questions en soi qui peuvent poser problèmes mais également les répondants. En plus, ce sont souvent des groupes différents qui répondent à nos questions. Ils ont des ancrages sociaux différents et des différenciations générationnelles ce qui fait qu’ils peuvent comprendre les questions différemment. De plus, il est nécessaire de prendre les contextes en compte ; cela change en fonction du temps et de l’espace. Par rapport, ce ne sont pas seulement les personnes âgées qui posent des problèmes mais tout répondant confondu lorsqu’il s’agit de questions délicates. Cela rend compte à la désirabilité sociale où les gens répondent en fonction de ce qui est perçu comme « bien » socialement ; personne n’est raciste et tout le monde participe politiquement. Finalement, les enquêteurs peuvent poser des questions différentes jusqu’au point où la compréhension de la question varie.

    Toutes ces sources nous montrent que la fiabilité se travaille au moment de l’élaboration du questionnaire. Cela ne signifie pas seulement au moment d’écrire et de penser des questions mais qu’il faut également faire des pré-tests pour identifier des biais potentiels.

Questionnaire standardisé : de quoi s’agit-il ?

On récolte des informations de manière systématique. L’idée est de passer le même questionnaire à tout l’échantillon. L’approche de cette démarche quantitative est de fermer au maximum l’espace d’expression pour l’individu. Pour la grande majorité, le questionnaire utilise des questions fermées, c’est-à-dire des questions avec des réponses déjà pré-codées. On va donc maximiser la standardisation entre le répondant avec un input et un même output. Le résultat de cette démarche est de recevoir peu d’informations sur un grand nombre de personnes pour pouvoir les analyser de manière systématique les statistiques et les covariances. L’entretien qualitatif quant à lui veut ouvrir au maximum l’espace d’expression de l’individu et on laisse simplement parler l’interviewé. Avec une approche qualitative, la logique est différente. Pour le questionnaire, il y a peu d’informations pour beaucoup de personnes tandis qu’avec une approche qualitative, on reçoit beaucoup d’informations sur peu de personnes. Puis on va analyser ces informations par une démarche interprétative.

Les deux techniques sont complémentaires et il est possible de les utiliser mais pas de les mélanger ! Il faut d’abord en réaliser une puis l’autre en suivant chronologiquement les procédures.
Difficultés

Le fait que les personnes ne comprennent pas toujours de la même manière les questions sauf qu’on peut minimiser ce problème. Un autre problème, moins évitable, est qu’on force des réponses sur des enjeux sur lesquels les personnes n’ont que peu de connaissance. La conséquence est que les gens vont répondre « on the top of the head » ; ils ne vont pas réfléchir de par eux-mêmes. Les politologues sont les experts pour poser des questions trop difficiles. Cela peut être frustrant et c’est pour cela que les sondages peuvent avoir mauvaise presse.

Il faut prendre pour ce faire les questions pour ce qu’elles sont, c’est-à-dire des approximations. Cela permet d’éviter les plus gros biais. Ce problème d’ailleurs n’est pas seulement valable pour les questionnaires mais pour toute enquête de terrain. En dépit de ces problèmes, le questionnaire reste un instrument intéressant pour les connaissances sociologiques.

Une fois les questionnaires remplis, il y a une irréversibilité de la mesure parce qu’in ne peut pas retourner auprès des répondants. Ces réponses vont nous permettre de mettre en discussion nos hypothèses et notre théorique. Avec une démarche qualitative, on peut toujours compléter nos informations.
Que mesure-t-on au moyen d’un QS ?

    Ce que les individus pensent avec leurs attitudes, leurs croyances et leurs valeurs
    Ce que les individus font : leurs comportements et leurs expériences passées
    Ce que les individus sont : leurs attributs personnels

Cette distinction est impérative car ces 3 catégories ne posent pas les mêmes difficultés dans l’élaboration des questions :


Il est important de distinguer ces trois catégories puisqu’elles sont toutes des sources potentielles de non fiabilité mais pour des raisons différentes. En effet, tout ce qui provient directement de l’esprit des individus n’est pas facile à saisir et source de non fiabilité. En effet, le contexte de passation du questionnaire, la formulation des questions… aura un grand impact sur les réponses données, bien plus que lorsque les personnes parlent de faits plus objectifs comme leur agissements (font) ou leur statut social (sont). De plus, il faut prendre en compte les efforts de cohérence individuelle dont les individus font preuve pour conter leur vie, mais aussi de problèmes de mémoire pouvant biaiser les réponses. Pour ce qui est des questions liées à « l’être» des individus, il est très fréquent de les placer en fin de questionnaire puisque ces questions, potentiellement intrusives, peuvent rebuter des répondants en début d’étude.  

Voici maintenant un exemple montrant à quel point la formulation des questions est important et influence les réponses données :


Exemple de Rugg et Cantril 1944 :

Q1 : Des gens disent que depuis que l’Allemagne est en train de battre la Russie et bientôt l’Angleterre, il est nécessaire que les USA viennent en aide à l’Angleterre, qu’en pensez-vous ?

Q2 : Des gens disent que depuis que l’Allemagne va probablement vaincre la Russie dans quelques semaines et bientôt diriger toute sa force armée contre l’Angleterre, il est plus important que jamais que les USA viennent en aide à l’Angleterre, qu’en pensez-vous ?

La différence peut être dû au fait de l’influence de la question mais aussi à l’hétérogénéité des groupes.

Exemple de Zaller 1992 :

Questions rétrospectives : Continuer à penser à la question à laquelle vous de répondre, j’aimerais que vous me dites quelles sont les idées qui vous viennent à l’esprit lorsque vous répondiez à cette question.

Questions Stop-and-think : Avant de répondre à la question, j’aimerai que vous me dites ce que vous ressentez, ce qui vous viens à l’esprit lorsque vous pensez à cette question.


    Il se trouve que lorsque les gens réfléchissent après avoir donné la réponse, on trouve moins d’ambivalence dans la réflexion que s’ils formulent la question avant.

Elaboration d’un questionnaire

Trois axes :

    Formulation des questions : parfois un travail artisanal surtout pour la construction de questions nouvelles. Dans ce processus, l’inventivité et l’ingéniosité du chercheur est importante car on n’a pas mal de liberté dans ce processus. Sauf qu’elle est limitée dans un certain nombre de pièges à éviter. Puis, il faut acquérir l’expérience qui nous permet d’éviter les mesures pour avoir une bonne fiabilité et validité des mesures.
        Peut-on y répondre (à ma question) ? Pour chaque question, on doit se demander si mes répondants ont les connaissances nécessaires pour répondre aux questions. Sauf que les gens ne vont souvent pas admettre leur ignorance. De plus, ils ne vont pas utiliser la coche « ne sait pas ». Ainsi, toutes les personnes ne peuvent pas répondre aux questions.
        Veut-on y répondre ? Il faut être sensible au fait que les gens ne veulent pas répondre à nos questions. Cela a deux incidences ; au niveau de non-réponses ou au niveau de qualité des réponses livrées. Il faut informer les répondants de notre recherche et les assurer de leur anonymat.
        Accroître la fiabilité : Pour accroitre la fiabilité et la validité des questions présentées dans un questionnaire, il est important de proscrire les leading questions, c’est à dire une question amenant un élément extérieur pouvant influencer la réponse de l’enquêté. Il s’agit, par exemple, de demander simplement : Etes-vous pour une augmentation des impôts ? Et non pas : Etes-vous pour une augmentation des impôts pour améliorer la protection sociale des citoyen-e-s ?

    Un autre moyen d’accroitre la fiabilité d’une question est d’éviter les questions aprioristiques. En effet, il s’agit de remettre dans le contexte la question pour éviter les biais ou encore d’appliquer un filtre. Un exemple de questions aprioristiques serait : Qu’avez-vous voté lors des dernières élections ? Ainsi, pour éviter tout biais, il faudrait plutôt construire la question en utilisant un filtre comme suit :

Les Biais
Désirabilité sociale

Ainsi, cette deuxième question associée permet de vérifier que la première réponse est correcte. Enfin, la désirabilité sociale peut introduire de nombreux biais dans une recherche. Il faut donc être attentif que l’acceptabilité sociale de la réponse potentiellement donnée à la question posée soit suffisamment grande pour que les individus puissent se permettre de le dire. Ainsi, les questions de type : Etes-vous raciste ? Sont évidemment à proscrire. Comme le montre cet exemple, la désirabilité sociale affecte considérablement les résultats. Pour rétablir cela, il est intéressant d’appliquer un filtre afin de trier les personnes répondant sous la pression de la désirabilité sociale.


Ainsi, on voit que sur les questions sensibles pour lesquelles les répondants ont peur d’être jugés ou mal vus par l’enquêteur, les réponses données peuvent être différentes de ce qu’il en est en réalité. Pour contrer ce biais de désirabilité sociale, plusieurs options s’offre au chercheur. Premièrement, il peut s’agir de déculpabiliser le répondant, notamment en incluant dans la question un stimuli déculpabilisant. Par exemple, pour une question portant sur le taux de participation, il s’agirait de demander non pas « avez-vous voté » mais plutôt «lors des votations, environ la moitié des personnes se rendent aux urnes. En ce qui vous concerne, avez-vous voté ? ». Une autre solution réside dans le fait de libérer la parole, ce que l’on appelle communément l’effet pommade. Il s’agit par exemple d’utiliser la sympathie pour que le répondant se sente plus à l’aise de s’exprimer sincèrement. Voici un exemple tiré d’une enquête effectuée par Mayer en 2002 qui illustre cette méthode de prévention du biais de désirabilité sociale :


Désirabilité sociale – solutions

Bradburn propose trois solutions différentes pour annihiler le plus possible les biais de désirabilité sociale, en opposition à l’approche habituelle qui consisterait à poser directement et sans détour une question. En effet, l’approche usuelle consisterait à demander au répondant : Avez-vous tué votre femme ? Mais cette question, très sensible, risque de ne produire des résultats que peu concluants. C’est pourquoi il propose trois approches plus fines, destinées à libérer la parole de l’enquêté :

    L’approche des cartes : Plusieurs cartes sont présentées au répondant qui doit rendre à l’enquêteur celle correspondant à sa réponse. Ce procédé a pour particularité de ne pas demander au sujet de verbaliser sa réponse, ce qui peut avoir être plus facile lorsque des sujets difficiles sont abordés.  
    L’approche « tout le monde » : Cette approche consiste à déculpabiliser le répondant en lui faisant sentir qu’il n’est pas le seul à penser/agir/être… ainsi. Cela permet au répondant de se sentir moins seul et isolé dans sa situation et donc de libérer sa parole.  
    L’approche « les autres » : Cette approche consiste à demander, en préambule, au répondant s’il connaît quelqu’un dans une situation peut avouable avant de lui demander si lui-même s’y trouve. Cela permet encore une fois de déculpabiliser le répondant en lui montrant qu’il n’est pas le seul dans cette situation.

C’est toujours avec le même souci d’accroitre la fiabilité des mesures que les questions rétrospectives doivent être considérées avec attention. En effet, il faut tenir compte que les individus peuvent avoir oublié ou réinterprété des évènements passés si bien que la fiabilité peut être mise à mal. De plus, la validité s’en voit aussi menacé puisque le risque est de ne pas mesurer ce que le chercheur souhaite. Voici un exemple de question rétrospective :  

[[File:./media/image35.emf]]

Comme on le voit sur cet exemple, un bon moyen de contrôler les biais que peut induire ce type de questions est de poser des repères temporels (cette année, durant le mois de…).
Formulation des questions synthèse

En résumé, lorsque l’on construit les questions d’un sondage, il faut penser :

    Si les répondants sont en mesure de répondre aux questions posées. C’est pourquoi il faut bannir les pratiques aprioristes et ne jamais postuler que les répondants savent, la connaissance n’étant pas socialement répartie de manière homogène.  
    Si les répondants vont être d’accord de répondre aux questions posées. Pour  ce faire, il faut respecter les enquêtés et établir un lien de coopération avec l’enquêteur. C’est pourquoi les questions intrusives doivent être placées en toute fin du questionnaire.  
    A la fiabilité du questionnaire, c’est à dire si le stimuli présent dans chaque question produira le même type d’output, c’est à dire si tous les enquêtés comprendront la question de la même manière et répondront en fonction de cette compréhension commune. C’est pourquoi il faut poser des questions précises, claires, accessibles et courtes, ne postulant jamais que les individus savent.  
    A la validité du questionnaire, c’est à dire si le questionnaire permet au chercheur de mesurer ce qu’il souhaite. C’est pourquoi il faut faire très attention aux « leading questions » qui peuvent influencer les réponses données.
    A prendre en compte les potentiels biais que peuvent induire chaque question. Ainsi, il faut être attentif aux biais que la désirabilité sociale peut induire dans chaque enquête en formulant finement les questions, mais aussi se méfier des questions rétrospectives faisant appel à la mémoire potentiellement approximative des répondants.  

Format des questions

Comme nous l’avons préalablement expliqué, il est très rare que des questionnaires de type quantitatifs n’intègrent de questions ouvertes. C’est pourquoi il faut également réfléchir attentivement à la formulation et au format de réponse proposés aux enquêtés. Ainsi, trois enjeux principaux sont à considérer lors de cette étape.  

    Il faut se demander si les réponses proposées permettent aux enquêtés de répondre à la question posée.

    Il faut se questionner quant à la qualité statistique désirée par le chercheur. En effet, selon les formats de réponses, le chercheur ne pourra pas effectuer les mêmes procédés statistiques sur ces données ni même recueillir le même type d’informations.

    Il faut se demander si les réponses proposées sont statistiquement discriminantes. En effet, ce que l’on cherche dans une recherche, ce ne sont pas des constantes mais bien des variations permettant une réelle analyse statistique !  

Peut-on y répondre ?

La formulation des réponses standardisées sont primordiales puisqu’elles vont permettre au répondant de répondre à la question posée d’une manière particulière. C’est un véritable enjeu pour la fiabilité du questionnaire ! En effet, se pose alors la question de proposer, ou non, aux répondants de ne pas se positionner. Il faut se demander que faire des sans-opinions ou des positions centrales qui sont des catégories particulières et problématiques. Certains chercheurs décident de ne pas proposer de telles catégories de réponse lors de leurs questionnaires, ce qui correspond à forcer les individus à répondre ! Cette considération est directement reliée au fait qu’un sondage impose une problématique aux répondants qui peuvent ne jamais avoir préalablement pensé à cette thématique. Ainsi, les sans-opinions (ou les positions centrales) sont parfois de vraies réponses pleines de sens, signifiant que la personne n’a réellement pas de préférences nettes quant au sujet traité ! Mais il faut aussi considérer la tendance humaine à choisir la position centrale lui permettant de s’économiser une réflexion couteuse en temps et en énergie (rationnel). C’est pourquoi les sans-opinions et les positions centrales posent problème lors de l’interprétation des réponses, ces catégories étant constituées de personnes n’ayant réellement pas d’opinion et d’autres ayant choisi cette modalité de réponse pour s’économiser les couts d’une réflexion approfondie. Certains chercheurs choisissent donc de considérer ces catégories de réponses comme des données manquantes, alors que d’autres attachent une grande importance à l’analyse de ces modalités. Ce graphique montre que la catégorie centrale est bien plus souvent choisie par les individus que les autres modalités de réponse. Reste à savoir si les individus ont répondu ainsi car ils se considèrent réellement au centre de l’échiquier politique ou simplement car ils ne savaient pas ou se positionner et ont choisi de s’économiser les couts de la réflexion.


Cet exemple permet d’atténuer l’effet de la catégorie centrale. En effet, cette catégorie moyenne existe mais du fait qu’on lui ait attribué un sens, elle devient plus évidente à interpréter.

De plus, la construction des modalités de réponses implique de se questionner quant à la formulation des réponses mais aussi quant à leur nombre. En effet, le chercheur peut décider d’offrir à ses répondants une modalité de réponse dichotomique (oui / non, d’accord / pas d’accord…) ou plusieurs catégories de réponses. Plus les catégories de réponses sont nombreuses, plus les informations collectées seront riches. Toutefois, elles deviennent également plus difficilement interprétables. Dans de très rare cas, le chercheur choisit d’offrir aux répondants de s’exprimer librement quant à la question posée (qualitatif). Cette modalité de réponse est choisie lorsque le chercheur ne parvient pas à constituer lui-même des catégories de réponse pertinentes relatives à la question posée (si le sujet est mal connu par exemple). Généralement, aucune question ouverte n’est présente dans les enquêtes quantitatives. Toutefois, ce tableau montre que ces deux types de réponse (ouverte ou fermée) ont chacune des avantages et des désavantages. Il est toutefois possible de mobiliser les deux types de réponses (ouverte et fermée) en les combinant entre elles. Il s’agit de demandé à l’enquêté de répondre librement à la question posée et l’enquêteur rapporte ensuite lui-même la réponse à des catégories standardisées en fonction de ce qu’aura exprimé l’enquêté. Voici un exemple de ce type hybride :


Quelle qualité statistique ?

La qualité statistique est donnée par le format de réponse choisie par le chercheur. En effet, cela dépend du type de variables pour lequel le chercheur a opté. Elles peuvent être quantitatives (variables à intervalles ou variables dichotomiques) ou qualitatives (variables nominales ou variables ordinales). Il est aussi possible de combiner entre elles différentes questions pour obtenir des échelles, c’est d’ailleurs ce qui est fréquemment fait avec les variables ordinales. Toutefois, ces échelles correspondent parfois davantage à une réalité statistique que sociale, c’est à dire qu’elles font plus sens mathématiquement que pour les répondants eux-mêmes. Comme le montre ce schéma, les différentes variables permettent chacune de prendre en compte des éléments différents. Très peu de variables permettent de considérer le point 0 dans les réponses.

Les variables nominales sont considérées comme des variables catégorielles. En effet, les choix de réponse ne sont pas chiffrés si bien que c’est au chercheur de recoder lui-même les réponses au moment de l’analyse statistique. Voici un exemple de variable nominale :


Les variables ordinales sont des variables quantitatives puisque les réponses, bien que correspondant à une définition écrite, sont des réponses chiffrées que le chercheur peut directement utiliser lors de l’analyse statistique (exemple 1). En effet, il est bien plus facile pour un répondant de se positionner sur une échelle chiffrée lorsque les chiffres sont associés à une définition faite de mot, contrairement aux échelles numériques n’indiquant qu’une gradation dans les préférences de l’individu. Comment savoir si l’on se situe plus entre le 3 ou le 4, qui ne corresponde à rien d’explicite (exemple 2) :

Exemple 1 :

Exemple 2 :

De nombreuses recherches préfèrent actuellement utiliser des variables nominales, faisant plus de sens auprès des individus, bien que cela soit plus difficile à utiliser lors des analyses statistiques. Car en effet, choisir l’un ou l’autre de ces types de réponse est un enjeu important puisque lors de l’analyse statistiques, il ne sera pas possible d’utiliser les mêmes outils analytiques !
Sont-elles discriminantes ?

Toute analyse statistique a pour but de mettre en évidence des variations. En effet, les constantes sont peu intéressantes puisque la base de tous calculs statistiques repose sur les variances ! Il est toutefois utile d’utiliser les constantes dans la phase descriptive de la recherche, mais les analyses intéressantes ne portent pas sur elles. Ainsi, le premier graphe cherche à être éviter par les chercheurs, ne pointant aucune variation alors que le deuxième est statistiquement beaucoup plus intéressant.


    Ainsi, il est important de proscrire les variables qui débouchent sur des constantes. On parle de discrimination en ce qu’il s’agit de ne considérer, pour l’analyse, que les variables donnant lieu à des variations pouvant être statistiquement analysées.

La structure du questionnaire

Une fois que les questions et les réponses ont été définies par le chercheur, il faut encore réfléchir à l’agencement de ces questions (associées à leurs réponses possibles) au sein du questionnaire. Il s’agit de définir l’ordre dans lequel les questions seront posées, la structure des sections composant le questionnaire et leur ordre entre elles mais aussi la longueur du questionnaire total. Ces considérations sont importantes car il s’agit ici d’éviter au maximum les effets de structures, c’est à dire que les questions s’influencent entre elle en ce qui concerne les réponses des répondants.
L’ordre des questions

Il est important de réfléchir à l’ordre dans lequel les questions seront présentées et ce, afin d’éviter au maximum l’interdépendance entre questions. Il est fréquent que les questions concernant un même objet soient présentées groupées dans un questionnaire. Toutefois, il faut faire attention à ce que les réponses données par les répondants ne soient pas influencées par l’ordre dans lequel les questions sont posées. Car il est vrai que l’influence entre question est bien plus grande lorsque les questions sont présentées en batterie, par rapport à un questionnaire ou elles seraient réparties dans toute sa longueur. C’est toutefois pour rendre le questionnaire plus cohérent et pratique que les batteries de questions sont fréquemment utilisées par les chercheurs. C’est donc dans le but d’éviter les distorsions que l’ordre des questions doit être réfléchi. Il faut toutefois être attentif au fait que s’il on décide de reprendre une batterie de questions d’une enquête déjà effectuée dans le but de comparer les résultats obtenus, il faut que les questions restent dans le même ordre et ce, pour ne pas créer des effets de structures différents pouvant influencer les réponses et donc induire de fausses variations. Voici un exemple d’interdépendance entre question qui pointe très clairement que le fait de répondre en premier à la question 1 influence la réponse donnée à la question 2 :


La structure des sections

L’enjeu premier de la structure des sections du questionnaire est de laisser les structures de sens des individus remonter. Ainsi, une section doit être une séquence logique permettant à l’individu se structurer progressivement sa pensée. C’est pourquoi on commence toujours avec les questions les plus faciles, demandant le moins de réflexion possible. Ensuite, on place les questions plus difficiles, le répondant pouvant s’appuyer sur ses précédentes réponses pour structurer un avis, avant de terminer par les questions les plus intrusives. En effet, il est très important de les placer à la fin et non au début, au risque de faire fuir un certains nombres de répondants.
La longueur du questionnaire

La longueur du questionnaire est aussi un enjeu important. Un questionnaire trop long risque de perdre tout une partie des répondants n’ayant pas suffisamment de temps à y consacrer. C’est pourquoi il est communément admis qu’un questionnaire ne dois pas durer plus de 30 à 45 minutes. C’est pourquoi les questions présentées au sein du questionnaire, en plus de comporter tous les précédents points discutés, doivent être efficaces et utiles. Toutefois, cela ne représente qu’un ordre de grandeur qu’il faut adapter à la population étudiée. En effet, il sera possible de questionner plus longtemps certaines populations, comme des gens intéressés par la politique, et bien moins longtemps d’autres populations, comme des personnes âgées. De plus, la longueur du questionnaire doit prendre en compte le mode de passation utilisée. Un questionnaire passé en face à face durera plus long qu’un questionnaire administré par téléphone, qui lui-même sera plus long que les questionnaires auto-administrés (internet, papier…).
Conclusion

Lorsque l’on agence un questionnaire, il faut être attentif à l’ordre des questions afin de limiter au maximum les effets de structures. De plus, réfléchir à la structure des sections au sein du questionnaire est un enjeu important puisqu’elle doit servir à faire remonter les structures de sens des répondants et ainsi, éviter les réponses « de surface » (répondre la première chose qui nous vient à l’esprit). Enfin, la longueur du questionnaire doit être adaptée à la population cible ainsi qu’à la méthode de passation et ce, afin de ne pas décourager de répondants.
Passation du questionnaire

Comme nous l’avons préalablement dit, il existe trois types d’administration de questionnaire. Choisir l’un plutôt que l’autre implique une réflexion importante puisque la manière de faire passer le questionnaire aura une influence sur les réponses récoltées. Un questionnaire peut être passé :  

    En face à face, c’est à dire que l’enquêteur et l’enquêté se retrouve lors d’un entretien au cours duquel l’enquêteur fait passer le questionnaire au répondant. Cela peut influencer les réponses de l’enquêté et ce, en fonction des propriétés sociales de l’enquêteur (femme, personnes de couleur, handicap…).  
    En face à face indirect, c’est à dire que l’enquêteur fait passer le questionnaire à l’enquêté sans être physiquement présent. C’est le cas des études par téléphone par exemple. Ce mode de passation annihile un certain nombre de biais, le répondant ne pouvant pas, de par ses propriétés sociales influencer le répondant puisque ce dernier n’a pas de contact direct avec lui.  
    Par auto-administration, c’est à dire que le répondant répond seul au questionnaire. C’est la technique la moins couteuse mais aussi la moins fiable.  

    Ainsi, le chercheur choisira l’une ou l’autre de ces méthodes de passation de questionnaire en fonction de la population cible, du taux de réponse désiré, de la longueur du questionnaire mais surtout en fonction des ressources à disposition (temps mais surtout argent). Chaque type de passation de questionnaire comporte des avantages et des inconvénients, comme le résume bien les deux tableaux suivants :  


Les pré-tests

Une fois les questions, les modalités de réponses et le questionnaire agencé dans son ensemble, les chercheurs lui font passer des pré-tests. Jamais un questionnaire n’est directement soumis à la population cible. Les pré-tests permettent de déceler tous problèmes induit pas le questionnaire. Cela permet également de détecter si certaines questions débouchent sur des variables qui sont peu pertinentes pour l’analyse statistique. Le but est de voir si les personnes participant au pré-test…

    Comprennent uniformément les questions  
    Si les catégories de réponses proposées font sens pour eux  
    Si les catégories de réponses sont exhaustives  
    Si les effets de structures ne sont pas trop grands  
    Si le questionnaire leur semble cohérent  
    Si la longueur du questionnaire n’est pas trop grande

La plupart du temps, les pré-tests se font auprès de 25 à 75 personnes au sein de la population sondée. Le nombre de pré-tests n’est préalablement pas connu puisque cela s’effectue de manière circulaire et ce, jusqu’à ce qu’un nouveau pré-test ne décèle plus aucun problème au sein du questionnaire. C’est pourquoi on peut dire qu’au minimum, deux pré-tests doivent être effectués avant la passation véridique du questionnaire.  


Conclusion

Ainsi, lorsque l’on construit les réponses proposées aux répondants, il faut tout d’abord se demander si les individus pourront, par ce biais, répondre à la question posée. La formulation des questions doit être réfléchie et ce, afin de garantir la fiabilité des mesures obtenues par ce biais. Il s’agit également de décider d’inclure, ou non, une catégorie de réponse permettant aux répondants de ne pas se prononcer sur un objet. En effet, savoir si oui ou non on force les répondants à se positionner est un réel enjeu pour l’analyse statistique. De plus, bien que les réponses dichotomiques soient très simples à analyser, elles ne permettent pas de récolter des informations riches quant aux répondants si bien que le nombre de réponses proposées aux individus doit également être réfléchi. Enfin, la forme même des questions est primordiale puisqu’elles impliquent d’analyser les données de manière particulière. Par souci d’efficacité, très peu voir aucune question ouverte n’est posée dans les enquêtes quantitatives. Pour ce qui est de la qualité statistique visée par le chercheur, elle dépend directement du type de réponses proposées. Elles peuvent être nominales, ordinales, à intervalles ou dichotomiques. Selon le type choisi, l’analyse des données s’en verra affectée. Il faut toutefois être attentif au sens sociologique de la réponse ! En effet, bien que les échelles chiffrées soient très pratique d’un point de vue statistiques, elles peuvent manquer de sens pour les répondants. Enfin, il faut se demander si les réponses sont statistiquement discriminantes. C’est toujours avec le même souci d’observer des variations que le chercheur tente de récolter par le biais de questions posées des différences entre les individus. C’est pour cela qu’avant chaque enquête, on effectue des pré-tests !


En résumé, on peut dire que l’élaboration d’un questionnaire standardisé est un travail minutieux. Chaque étape est essentielle et nécessite une réflexion approfondie pour assurer la qualité des données récoltées. C’est pourquoi l’élaboration d’un questionnaire représente une étape difficile dans la mise en place d’une recherche quantitative.