ATK: Évaluer la progression

L'ATK (Analytic Toolkit for Knowledge Forum) est un outil d'analyse statistique qui permet d'obtenir de nombreuses données quantitatives à propos du travail réalisé sur le Knowledge Forum. Bien sûr, il ne fournit pas un aperçu bien détaillé de la qualité des notes écrites mais il permet néanmoins de suivre le cheminement de la communauté et de ses membres dans l'utilisation des possibilités de l'environnement virtuel.

Se brancher à l'ATK
Description et interprétation des items du menu principal
Compréhension des statistiques

Se brancher à l'ATK

1. D'abord, assurez-vous que vos groupes d'élèves ont été constitués en considérant les conseils énoncés à la section Créer les accès pour que les élèves puissent utiliser le forum. Si tel n'est pas le cas, certaines statistiques générées pourraient s'avérer inexactes.

2. Accédez à la page Web suivante: http://analysis.ikit.org/atk/atktest.html

3. Vous devez entrer un certain nombre d'informations pour que l'outil sache quelles notes utiliser pour générer les statistiques désirées.

• Database name: il s'agit du nom de la base de connaissances dans laquelle vos élèves travaillent. Son nom vous a été donné pour l'équipe de recherche-intervention. Il est important d'ajouter le suffixe .kdb au nom de la base. Par exemple: Ecoles eloignees.kdb
• Host: c'est le nom du serveur qui héberge la base de connaissances. À moins d'indication contraire, inscrivez: abc_w.fse.ulaval.ca
• Port: il s'agit du canal utilisé pour communiquer avec le serveur. À moins d'indication contraire, inscrivez: 27319
• Name: il s'agit de votre nom d'usager. Il vous a été remis par l'équipe de recherche-intervention.
• Password: il s'agit de votre mot de passe qui vous a lui aussi été remis par l'équipe de recherche-intervention.

Cliquez l'image pour l'agrandir

Une fois que toutes ces informations ont été entrées, cliquez sur "Sign On". Ne cochez pas la case "Skip Update" afin de vous assurer que l'outil considère les notes les plus récentes qui ont été écrites.

Description et interprétation des items du menu principal

Une fois que vous êtes branché, plusieurs choix de rapports s'offrent à vous. Nous présentons ici ceux qui sont susceptibles d'être le plus utilisés. Pour la plupart d'entre eux, vous pouvez sélectionner le ou les groupes d'élèves pour lesquels vous désirez obtenir des statistiques, les perspectives dans lesquelles ils ont travaillé de même que la période de temps au cours de laquelle le travail a eu lieu.

• Database overview: ce rapport fournit un aperçu général du travail accompli.
  • Nombre total de notes écrites
  • Nombre moyen de notes écrites par élève
  • Pourcentage de notes lues. Les membres se contentent-ils d'écrire ou lisent-ils aussi les contributions de leurs pairs afin d'enrichir leurs propres connaissances ?
  • Pourcentage de notes liées (élaborations)
  • Pourcentage de notes qui contiennent des mots-clés.
• Basic Knowledge Building measures: ce rapport génère les données de base suivantes pour chaque élève.
  • Nombre de notes créées
  • Pourcentage de notes liées (élaborations), c'est-à-dire l'approfondissement qui est faite d'une idée. Les membres soulèvent-ils seulement des problématiques ou prennent-ils aussi le temps de les explorer davantage pour en approfondir leur compréhension ?
  • Pourcentage de notes qui contiennent des mots-clés
  • Nombre de perspectives travaillées
  • Nombre de problèmes travaillés
  • Pourcentage de notes lues
  • Nombre de révisions apportées aux notes. Les membres améliorent-ils les notes qu'ils écrivent ? S'agit-il de productions ponctuelles ou sont-elles en développement ?
• Use of features: ce rapport génère des données à propos des fonctions plus avancées du Knowledge Forum pour chaque élève.
  • Nombre d'élaborations créées
  • Nombre de mots-clés, ce qui permet de cibler les thèmes importants d'une note pour pouvoir la retracer par le biais de la fonction de recherche.
  • Nombre de références à d'autres notes
  • Nombre de notes Élever le propos
  • Nombre de perspectives créées
  • Nombre d'échafaudages utilisés
  • Nombre d'annotations, c'est-à-dire les rétroactions plus individuelles de style Post-It jointes aux notes écrites pour laisser des commentaires qui n'ont pas nécessairement pour objet premier l'approfondissement d'une idée.
• Use of scaffold supports: ce rapport génère une utilisation détaillée des échafaudages pour chaque participant. Rappelons que les échafaudages sont des outils métacognitifs qui permettent de qualifier les propos. L'utilisation des échafaudages est-elle diversifiée ou les membres ont-ils plutôt tendance à soumettre le même type de note ? Y a-t-il des changements dans l'utilisation des échafaudages au fil du temps ?
• Single author report: ce rapport permet d'obtenir le profil détaillé d'un participant en particulier. On y retrouve les données de "Use of features", "Use of scaffold supports" de même que le titre de toutes les notes qui ont été écrites par le participant en question.
• Who's read whose notes: ce rapport permet de savoir qui lit les notes de qui. Il pourrait servir à cibler des groupes de notes qui semblent susciter un plus grand intérêt au sein de la communauté afin d'identifier des facteurs d'intérêt.
• Who's built on whom: ce rapport permet de savoir qui construit à partir des notes de qui. Il pourrait permettre d'identifier la nature des propos qui stimulent la coélaboration de connaissances.
• Note history: ce rapport permet de consulter l'historique d'une note en particulier, c'est-à-dire de savoir qui l'a créée, qui l'a modifiée et qui l'a lue. Ces données sont aussi toutes datées.
• Word trace: cette fonction, qui est davantage de nature qualitative que les autres, permet de repérer l'emploi de divers mots et d'en faire une analyse de base.
• Growth of database: cet indicateur illustre le rythme auquel les participants contribuent à l'activité de coélaboration de connaissances.

Compréhension des statistiques

Dans la plupart des rapports, vous retrouverez quatre statistiques principales. Nous expliquons ici leur signification et de quelle façon les interpréter.

• Mean (moyenne): il s'agit du résultat moyen obtenu par l'ensemble des élèves.
• SD, standard deviation (écart type): l'écart type représente la dispersion des résultats par rapport à la moyenne. Plus l'écart type est élevé, plus grande est la différence entre les résultats. Plus il est petit, plus les résultats sont homogènes.
• Median (médiane): il s'agit de la valeur centrale de l'ensemble des résultats.
• Evenness (régularité): il s'agit d'une mesure d'égalité et de cohésion entre les participants. Plus elle se rapproche de 1, plus grande est la cohésion pour l'indicateur donné.

Il est intéressant de noter que plus la mesure de l'écart type est faible et plus celle de la régularité est élevée, plus la dynamique de coélaboration de connaissances est présente pour l'indicateur donné.