Page perso de Loïc Dayot

Comment évaluer les actions de l’espace public numérique ?

dimanche 13 mars 2011, par Loïc Dayot

La somme des énergies et compétences (des animateurs, des usagers, de la structure, du réseau) et moyens matériels mis au service du projet de l’EPN invite à en mesurer l’efficacité. En général, la première demande vient des financeurs qui souhaitent connaître le résultat de leurs efforts. Une évaluation bien menée permettra sa reconnaissance et par conséquent sa pérennité. Pour les usagers et les animateurs, ce qui importe en premier lieu, c’est de voir le service de qualité se maintenir, se développer et s’améliorer . Les attentes sont donc complémentaires suivant les acteurs, et c’est bien normal.

Les exemples ci-dessous ne sont donc pas à reprendre tous tels quels car ils sont avant tout liés à un projet spécifique.

I - Problématique

Qu’est-ce qu’évaluer ? La notion peut faire peur à qui n’a pas que des bons souvenirs passés sur les bancs de l’école. Heureusement, il s’agit là d’une définition bien restreinte de l’évaluation.

Évaluer, c’est porter un jugement de valeur. Pour autant, il ne faut pas en avoir peur, mais prendre conscience que l’évaluation est toujours une comparaison. Cette comparaison peut être plus objective s’il existe un référentiel en rapport avec un projet initial, celui de l’espace multimédia. Sans référentiel ni critères, il y a de fortes chances pour que l’évaluation ne soit que subjective, donc peu exploitable.

Un animateur peut avoir l’impression qu’il y a autant d’hommes que de femmes à venir à l’espace multimédia et que les retraités sont bien représentés. L’avis a une autre valeur lorsqu’on recueille les statistiques de fréquentation par genre et âge et ceci par type d’activités (par exemple pour constater que les jeunes participent peu aux ateliers collectifs et que les femmes viennent plus souvent mais moins longtemps que les hommes). Enfin, si le projet de la structure est d’avoir un public représentatif de la population du quartier âgé de plus de 8 ans ; on peut comparer la pyramide des âges du quartier avec celui des usagers de l’espace pondéré ou non avec l’assiduité. On a lors des éléments tangibles pour constater et agir.

La première condition d’une évaluation de l’EPN est qu’il existe un projet de structure qui serve de référence. C’est l’écart entre ce projet et la réalité qui permettra ensuite de conclure que les moyens sont ou ne sont pas adaptés pour accomplir le projet et donc à améliorer, ou que le projet devrait être modifié parce que le contexte a changé, par exemple.

À qui est destiné le résultat de l’évaluation est une des nombreuses questions préalables que nous nous proposons d’évoquer dans un premier temps. Ensuite, nous aborderons la préparation et la mise en œuvre d’évaluations courantes. Enfin, nous verrons comment exploiter et communiquer les résultats des évaluations conduites.

II - Les questions préalables

À un moment ou à un autre, avant d’engager une évaluation, quelqu’un doit se poser certaines questions pour trouver une réponses à sa question. Car rarement une évaluation est conduite sans penser son exploitation.

Voici une liste de question à notre avis incontournables avant même d’imaginer les moyens à mettre en œuvre. Un programme d’évaluation peut naturellement comporter plusieurs séries de réponses. Nous vous conseillons de détailler chacune d’entre elles.

**Quoi ? Quel est l’objet de l’évaluation ?

Et oui, c’est une question triviale, mais qui conditionne la manière d’évaluer. Sachez qu’on n’évalue pas une personne ou une structure (on ne joue pas au médecins), mais seulement des éléments à propos de ces personnes ou des actions d’une structure.

Concernant les personnes : animateurs ou les usagers, on peut évaluer :

  • les attentes, les motivations
  • les connaissances et conceptions sur le champ de l’EPN : l’informatique,l’internet, le multimédia
  • savoir-faire : c’est particulièrement pertinent dans un espace qui a en général pour objectif l’initiation des usagers, mais peut aussi s’appliquer aux compétences des animateurs en matière de pédagogie et de multimédia
  • comportements : des usagers face à la machine, vis-à-vis des autres usagers, de l’animateur face au public, etc.

Concernant l’efficacité ou la pertinence des actions :

  • le travail des animateurs
  • les méthodes, par exemple pédagogique ou de développement de projet multimédia ou encore la communication
  • les activités : accès accompagné, ateliers d’initiation, projets, accueil de groupes captifs, la délivrance d’attestations (PIM, B2I...)
  • les systèmes informatiques, logiciels, réseau

Pour qui et dans quel but ?

Nous l’avons vu en introduction, c’est sans doute une des questions les plus importantes. Heureusement, la réponse à celle-ci peut être multiple et la mise en œuvre unique. Seule la restitution sera différente suivant les demandeurs de l’évaluation.

Rappelons les différents demandeurs possibles et leurs motivations :

  • les usagers pour évaluer l’atteinte d’objectifs personnels, se situer, ajuster son projet personnel de formation ou projet multimédia
  • les animateurs pour mesurer l’atteinte d’objectifs des initiations, réguler les ateliers d’initiation et l’accès accompagné
  • la structure pour mesurer l’atteinte d’objectifs, réguler le projet éducatif ou social, adapter les moyens
  • les organismes institutionnels pour sanctionner (PIM, le B2I ou autre certificat), délivrer un diplôme, attribuer ou conserver un label à l’espace

**Qui évalue ? L’acteur de l’évaluation.

Plusieurs évaluateurs peuvent intervenir. Outre l’animateur lui-même, les usagers ont leur mot à dire, sans oublier les observateurs extérieurs, organismes publics ou autres. Il est bien évident que les modalités d’évaluation devront être adaptées à l’acteur qui la produit.

L’évaluation à partir d’une grille d’observation peut avantageusement faire l’objet de l’accueil d’un(e) stagiaire dans l’espace multimédia. Ce peut être un moyen de recueillir des informations avec un regard extérieur, et pour le/la stagiaire d’apprendre comment fonctionne l’EPN.

**Quand ?

En fonction de la motivation, de l’objet et des acteurs de l’évaluation, un moment plutôt qu’un autre sera privilégié pour conduire cette évaluation. D’un autre côté, il y a aussi la réalité qui permet ou ne permet pas de réaliser l’évaluation à certains moments.
En situation de formation ou d’initiation, l’évaluation peut se faire en début, pendant ou en fin de cycle. Souvent, plusieurs moments sont nécessaires (voir dans l’encadré ci-contre).
L’évaluation peut aussi avoir lieur en situation d’activité réelle et de production multimédia.

Voici des définitions correspondant à trois types d’évaluations des savoirs, savoir-faire et comportements.

Évaluation diagnostique : C’est ainsi qu’on appelle l’évaluation qui précède la une action de formation. Elle consiste à identifier les besoins, les attentes, les difficultés, les compétences acquises antérieurement. C’est en fonction de ce diagnostic que l’animateur peut définir des objectifs précis, mais aussi mesurer un écart avant-après.

Évaluation formative : Cette évaluation se situe pendant la formation et ne peut être conduite que par l’animateur et l’usager ensemble. Elle repose sur l’établissement d’objectifs partagés avec les apprenants et sur une évolution, un parcours. Elle permet de modifier le processus en cours, d’affiner les objectifs, bref d’ajuster la formation. (Voir plus bas l’évaluation formative.)

Évaluation sommative : Elle se situe à l’issue de la formation, dont elle est une sorte de bilan, ou être préétablie et avoir une valeur d’attestation, comme le PIM. Elle regroupe parfois plusieurs évaluations et est éventuellement susceptible d’aboutir à un classement des stagiaires. (Voir plus bas l’évaluation-sanction.)

**Comment évaluer ? Information pour l’évaluation.

Cette question est quelque fois la première et la seule qu’on se pose lorsqu’on veut évaluer. Ce n’est pas une bonne idée. C’est l’aboutissement de la réflexion qui permet ensuite de « piocher » dans la boîte à outils d’évaluation.

Il existe deux types de dispositifs d’évaluation : l’observation ou la provocation de conduites.

Les dispositifs de provocation de conduite, appelés ainsi parce qu’ils changent le comportement ou l’activité des personnes :

  • sondage (questionnaire)
  • discussion
  • interview
  • test, épreuve, examen, comme pour les évaluation sanction de type PIM, CACTI, B2I, C2I...

Les dispositifs d’observation en situation reposant sur une fiche ou un dossier de suivi individualisé :

  • en activité de simulation (mise en situation)
  • en activité réelle
  • en activité de démonstration (exercice)

III - La mise en œuvre des évaluations

Vient le moment de l’évaluation proprement dite. Voici quelques exemples types d’évaluations, définies à la fois par leur contenu et le moment de leur mise en œuvre. Les questions essentielles trouvent ici des réponses précises.

**Évaluation du public

  • Quoi : conceptions, attentes, connaissances, savoir-faire des usagers.
  • Pour qui et dans quel but : les animateurs pour adapter les ateliers.
  • Par qui : les stagiaires.
  • Quand : juste avant les ateliers ou au début de chacun.
  • Comment : un questionnaire, un tour de table, une représentation...

Évaluer les conceptions permet de mieux comprendre comment quelqu’un se représente le monde. Il n’est pas rare, par exemple, de débuter un atelier des premiers pas sur internet en demandant à ce que chacun dessine librement ce qu’est internet pour lui, ce qui peut être l’occasion ensuite d’une discussion sur les représentations de chacun. Idem pour l’intérieur d’un ordinateur avant d’en démonter un.

Les attentes des usagers, ainsi que leurs compétences sont en général à recueillir lors de leur première venue dans l’espace multimédia. C’est l’occasion d’établir avec eux un bilan de compétences, un parcours d’initiation évolutif vers un éventuel projet personnel. (Ce moment est plus détaillé dans le module « L’accueil dans un EPN ».) Un questionnaire de positionnement peut être proposé à l’usager ou encore un dialogue avec l’animateur pour évaluer ses compétences non dans son langage, mais dans celui de l’espace multimédia.

L’équipe d’animation de l’espace propose en général un éventail d’ateliers d’après ce qu’elle croit savoir des besoins du public. L’évaluation du public permettra de proposer les ateliers adaptés à chacun.

Oubliez l’évaluation du public si elle n’est pas exploité ensuite : si l’espace propose un stage complet sans offrir la possibilité d’adaptation, mieux vaut ne pas faire semblant.

**Évaluation des objectifs opérationnels

  • Quoi : acquis des usagers apprenants.
  • Pour qui et dans quel but : formateurs pour adapter si besoin est la suite du stage, apprenants pour constater les progrès ou freins.
  • Quand : durant tout le parcours d’initiation, après chaque atelier d’initiation.
  • Par qui et comment : le plus facile est de rédiger des critères d’évaluation pour chaque objectif opérationnel et que les formateurs se les posent au moments d’atteinte prévue des objectifs. On peut imaginer de nombreux autres moyens : réinvestissement, simulations...

Au cours du stage, c’est la plus intéressante des évaluations pour les formateurs. En effet, elle permet de réorienter l’initiation si besoin est, de s’adapter à tel ou tel usager, de marquer les progrès et les freins alors qu’on peut encore agir.

Objectif opérationnel : c’est un objectif formulé en manifestation observable d’une compétence. L’objectif opérationnel est normalement atteint à l’issue d’une initiation. Un exemple : Les apprenants utilisent à bon escient les références relatives et absolues dans une feuille de calculs d’un tableur.

**Évaluation formative

  • Quoi : progression au cours d’un apprentissage.
  • Pour qui et dans quel but : formateurs pour adapter si besoin est la suite du stage.
  • Par qui : les stagiaires et un formateur.
  • Quand : durant tout le stage, après les grandes séquences (objectifs intermédiaires).
  • Comment : par exemple cible et entretien ou réunion en petits groupes.

C’est une forme d’évaluation d’atteinte d’objectifs intermédiaires/opérationnels. Elle consiste en la rencontre planifiée des stagiaires et des formateurs durant le stage pour faire le point dans le but d’adapter le stage.

Le plus souvent, une cible est proposée aux stagiaires qui doivent la remplir. S’en suit une discussion en petits groupes ou le formateur est surtout à l’écoute.

**Évaluation-sanction

  • Quoi : conceptions, savoir-faire et comportements des apprenants
  • Pour qui et dans quel but : institution pour délivrer une reconnaissance de statut un certificat ou diplôme (PIM, C2I...)
  • Par qui : le responsable de la structure ou n’importe quelle personne attitré
  • Quand : elle se fait à l’issue d’un parcours d’initiation ou de formation.
  • Comment : Une grille des critères (issus d’un référentiel de compétences) d’attribution de tel ou tel brevet/attestation... est à réaliser en parallèle des objectifs de la formation. Le plus souvent, il s’agit d’observation en situation (réelle, mise en situation, démonstration...) et d’un « dossier » de suivi individuel.

Cette évaluation est extérieure au parcours d’initiations. On pourrait même imaginer qu’un usager se forme dans un EPN et aille passer le PIM dans un autre, et ça passe ou ça casse.

**Évaluation de satisfaction

  • Quoi : le ressenti par les usagers du dispositif d’initiations.
  • Pour qui et dans quel but : formateurs et structure pour faire mieux la prochaine fois.
  • Par qui : les stagiaires.
  • Quand : elle se fait à l’issue d’une initiation ou d’un parcours d’initiations et « à chaud ».
  • Comment : tour de table, questionnaire, 4 coins, Philips 6x6 ou autre chose...

Elle porte sur les points suivants :

  • appréciation globale de l’initiaiton, appréciation de l’adéquation de la formation aux besoins et aux attentes, qualité des contenus (niveau, adaptation, intérêt).
  • qualité des méthodes et supports pédagogiques et documentation remise
  • prestation de l’animateur et des intervenants
  • possibilité d’appliquer les acquis en situation réelle
  • conditions générales de déroulement de la formation (locaux, équipement, etc.).
  • suggestions pour améliorer les points précédents.

C’est le type d’évaluation qui est le plus pratiqué et c’est aussi le plus limité car il traduit essentiellement le climat relationnel du stage. Pour autant, son effet collatéral n’est pas négligeable : il augmente la satisfaction des usagers rien que parce qu’ils ont pu s’exprimer.

**Évaluation de fonctionnement et évaluations quantitatives

Bien sûr, l’évaluation dans l’EPN ne porte pas seulement sur l’initiation. Pour un bilan d’activité de la structure, on peut aussi faire des évaluations de fonctionnement :

  • accessibilité aux différents publics et aux publics différents
  • amplitude et pertinence des horaires
  • bon fonctionnement et performance des matériels
  • nombre et fréquence des ateliers, leur diversité
  • usages des publics
    et de fréquentation :
  • types de publics reçus selon les types d’activités
  • fidélité et assiduité

Mais ces évaluations sur des critères essentiellement quantitatifs ne sont pas très difficiles à élaborer, bien que quelque fois plus difficiles à mettre en œuvre.

Une mise en garde cependant : il convient de faire attention à ne pas changer les critères dans le temps. On peut en ajouter, mais pas modifier ceux pour lesquels on avait un historique, au risque de ne pas pouvoir comparer les périodes.

IV - En bref : quelques erreurs à éviter

  • Évaluer sans avoir un projet de structure.
  • Ne pas se poser toutes les questions avant d’entamer une évaluation.
  • Ne se contenter que d’évaluations sommatives.
  • Évaluer les usagers sans critères, c’est-à-dire sans une norme commune à tous : les animateurs doivent travailler ensemble en groupe à l’établissement de cette norme.
  • Ne penser qu’au quantitatif.
  • Évaluer les usagers sans leur transmettre un retour.
  • Ne pas penser au dépouillement avant de poser les questions (par exemple questions trop ouvertes).
  • Évaluer, et ne rien faire des résultats.
  • Changer les critères ou les modes de calculs régulièrement.

V - Exploitation des résultats des évaluations

L’évaluation permet de communiquer aux partenaires extérieurs de la structure, ainsi qu’aux usagers futurs et potentiels. En effet, le but d’une évaluation est aussi d’anticiper l’évolution des publics et des usages.

L’exploitation des données obtenues variera naturellement en fonction de la cible. Par exemple, pour les élus, il peut s’avérer judicieux de croiser les résultats des évaluations avec les priorités affichées de la collectivité : dispositifs d’insertion, objectifs pédagogiques, politique jeunesse...

Voyez ces deux exemples de bilans totalement différents :
– le bilan très synthétique et purement quantitatif de l’EPN de Jurançon, destiné à une communication brève : http://epnjurancon.free.fr/?rub=1
– les bilans très élaborés de l’Arobase, qui répondent à la fois à une exigence de transparence et de pédagogie : http://arobase.pierrefitte93.fr/docs/

**Des exemples inspirants :

VI - Ça a marché ailleurs

VII - Ressources

**Les outils indispensables

**Des exemples de modules d’auto-évaluation :

**Autre exemples de bilans

**Quelques sites de références

Voir en ligne : Article publié originellement sur le site des Jeudis des EPN

2011 - Jeudis des EPN – Nathalie Caclard & Loïc Dayot – CC BY-SA

Un message, un commentaire ?

modération a priori

Ce forum est modéré a priori : votre contribution n’apparaîtra qu’après avoir été validée par un administrateur du site.

Qui êtes-vous ?
Votre message

Pour créer des paragraphes, laissez simplement des lignes vides.

Mots-clés

1996 - 2024 Page perso de Loïc Dayot
Plan du site | | Contact | RSS 2.0

SPIP