lundi 18 janvier 2016

Compléter ou réussir un mooc ?



Le taux de complétion est sujet à de nombreux débats dans le monde des moocs. Différentes définitions en sont données et de là, les comparaisons entre les moocs ne sont pas toujours aisées. Certains estiment que le taux de complétion doit être calculé sur le nombre de participants actifs. D’autres, dont je suis, jugent plus pertinent de le calculer sur le nombre d’inscrits.

De deux choses l’une, soit le nombre d’inscrits a une signification, soit il n’en a pas. A partir du moment où il est habituel de communiquer sur le nombre d’inscrits pour mesurer l’audience d’un mooc, c’est que ce chiffre est signifiant. A titre d’exemple, FUN a récemment indiqué que le nombre d’inscrits à ses 175 moocs était, début 2016, de 1 373 700 inscriptions soit en moyenne 7850 par mooc (cf.ce billet).

Je retiens donc la formule suivante pour le calcul du taux de complétion 



Toutefois, le taux de complétion ne renseigne que de manière imprécise sur les bénéfices que les inscrits ont retiré de leur participation à un mooc. Pour ce faire, il est nécessaire de calculer un autre taux : le taux de réussite.

Qu'est-ce que la réussite ?

La réussite est une notion relative. Il est possible de distinguer deux types de réussites, d'une part, la réussite académique qui correspond à l’atteinte des objectifs fixés par les initiateurs du mooc, souvent sanctionnée par l'obtention de badges et/ou d'une certification, et d'autre part, la réussite personnelle qui peut être mesurée à partir des autoévaluations que les participants réalisent sur l’atteinte de leurs objectifs personnels.

Pour calculer ces taux de réussite, il est logique de ne plus prendre en compte les personnes inscrites mais qui n’ont réalisé aucune activité. En effet, ceux-ci sont des non-démarreurs et n'ont donc aucune chance, ni désir ou ni les moyens de réussir le mooc. La base de calcul n’est plus le nombre d’inscrits, comme dans le taux de complétion, mais celui du nombre de participants actifs. Dans certains moocs, les actifs sont considérés comme tels lorsqu’ils réalisent au moins 50% des activités. Pour ma part, je considére comme actif tout inscrit ayant réalisé au moins une activité d’apprentissage ou d’évaluation. En effet, la réalisation d'une activité d'apprentissage ou d'évaluation indique une volonté de l'inscrit de se former et elle implique de la part de l'équipe d'animation une responsabilité d'accompagnement. C'est souvent parce que les interventions tutorales sont insuffisantes ou non efficaces que les apprenants ayant réalisé une activité ne poursuivent pas et abandonnent. Or, le tutorat est précisément mis en place pour contrer les abandons.

Une des richesses des moocs est d’offrir la possibilité à des personnes de poursuivre de manière plus autodidacte des objectifs de formation personnels. Le corollaire de ce ceci est le recrutement de participants qui n’ont pas d’objectifs, ni académiques, ni personnels, qui viennent pour butiner de l'information mais sans s’engager dans un processus formatif défini. Cette catégorie d’inscrits ne devrait pas être pris en compte pour calculer le taux de réussite puisque les personnes qu’elle rassemble n’ont pas d’objectifs de formation.

La réussite académique

La réussite académique est assez simple à calculer. Le plus souvent, les moocs proposent des évaluations sous forme de quizz qui permettent d’obtenir un score. L’objectif pédagogique est considéré comme atteint dès lors que les participants obtiennent un score minimal. Le niveau de ce score diffère selon les moocs. Certains le fixe à 50% du score, d’autres à 60% ou même 80%. Qu’elle que soit le niveau choisi, il n’y a réussite du participant qu’à partir du moment où il l’égale ou le dépasse. Dans une perspective de certification, il peut être demandé aux participants d’avoir atteint chaque objectif académique, d’avoir atteint la moyenne voulue pour un ensemble d’objectifs pédagogiques ou pour l’ensemble de ceux-ci. Quoi qu’il en soit, les actifs qui ont réussi du point de vue académique sont facilement identifiables.

La formule du taux de réussite académique que je propose est donc la suivante



La réussite personnelle

Bien évidemment, tous les participants d’un mooc ne visent pas l’atteinte des objectifs académiques et dès lors leur prise en compte dans le calcul de la réussite académique n’est pas opportune. Il est donc nécessaire, lors de la semaine zéro ou au moment de l’inscription, de demander aux inscrits quels types d’objectifs (académiques et/ou personnels) ils poursuivent. Envers ceux qui veulent atteindre des objectifs personnels, il est souhaitable de leur demander de les formuler et d’indiquer (ou de leur proposer) des critères et des indicateurs de réussite. Lors de la dernière semaine du mooc, il leur est demandé de s’autoévaluer en fonction de ces critères et indicateurs. Sur la base des réponses fournies, il est possible de calculer la réussite personnelle en considérant qu’un objectif personnel ou un ensemble d'objectifs personnels atteint à plus de 50% correspond à une réussite.

La formule du taux de réussite personnelle que je propose est donc la suivante



La distinction entre les taux de complétion et les taux de réussite permet de déplacer le débat sans fin sur la manière de comptabiliser les abandons vers le calcul de la réussite qui reste un enjeu central qu'elle que soit la forme du dispositif de formation. Si la mise en place d'un système tutoral n'assure pas toujours une augmentation du taux de complétion, bien que ce soit généralement le cas, il a une influence importante sur les taux de réussite. Certains données tirées d'audits de moocs m'incitent à penser que c'est sur les actifs ayant des difficultés à atteindre le niveau de réussite que les effets des interventions tutorales sont les plus remarquables. Il est également à noter qu'un apprenant qui, grâce au tutorat, accumule successivement des réussites, est plus enclin à persévérer. Le tutorat répond ainsi à ses vocations premières qui est de limiter le nombre d'abandons et d'aider les apprenants à atteindre leurs objectifs de formation. 

Je reviendrai plus tard sur ces questions à la lumière de chiffres tirés de prochains moocs.

jeudi 14 janvier 2016

Le réseau t@d dans votre poche

Pour le 700e billet de ce blog, j'ai le plaisir de vous annoncer la disponibilité sur APP Store et Google Play de la toute nouvelle application Réseau t@d




Cette application vous donne accès aux  : 

  • Dernières actualités de t@d qui vous seront directement notifiées
  • Différentes espaces de t@d sur le web selon vos souhaits de consultation, de contribution ou de collaboration
  • Vidéos de t@d
  • Groupe Facebook
  • Fil twitter #blogdetad
Elle se veut également une aide à la mise en contact des personnes intéressées par le tutorat à distance. A tout moment, vous pourrez consulter la liste de celles et ceux qui ont renseigné leur profil et savoir si vous êtes géographiquement proches. 

Bon téléchargement !




lundi 11 janvier 2016

Le tutorat dans les moocs, cela fonctionne !





Dans de nombreux moocs, le tutorat reste le parent pauvre et n’est même pas toujours considéré comme utile par leurs initiateurs. Les arguments développés par ceux-ci pour ne pas mettre en place des services d’accompagnement restent pourtant assez faibles. 

Il est facile de se réfugier derrière l’autonomie présupposée des apprenants pour ne pas leur offrir des services tutoraux, surtout lorsque l’on ne prend pas la peine de définir ce qu’est un mooceur autonome. Faut-il rappeler que l'autonomie est un processus qui nécessite étayage et désétayage ? (cf. Omelette et couscous. De l'autonomie des apprenants à distance)

Il est curieux d’estimer que le taux de réussite des participants ne peut être un critère d’évaluation de la pertinence des moocs. Ainsi, ce qui est un élément de validation de n’importe quel dispositif de formation ne devrait pas s’appliquer aux moocs sous prétexte que chacun est libre de s’y inscrire. Il serait plus fécond de ne pas persister à faire l'autruche face aux taux d'échec.

Il est de calcul de court terme d’estimer que le tutorat est un coût insupportable pour des dispositifs gratuits. D’une part la gratuité est celle de l’inscription mais surement pas celle de la production du mooc. Ainsi, il apparaît normal de consacrer des budgets, parfois importants, pour la production des ressources, mais il serait impossible de prévoir un budget pour l'animation. Cela est-il autre chose que de l'inconséquence ? D’autre part, l’ignorance que le tutorat peut dégager des bénéfices est grande. Or, à partir du moment où le tutorat fait réussir davantage d’apprenants, le coût unitaire de la formation diminue d’autant. De plus, comme seuls les participants qui réussissent sont en mesure d’acheter les certifications, il est d’un intérêt évident d’en faire réussir le plus possible pour dégager de nouvelles recettes (cf. Les coûts du tutorat et Le tutorat pour améliorer le ROI du e-learning et des moocs).

Il est assez naïf de croire en la pleine autoportance des ressources, au fait qu’elles se suffisent à elles-mêmes et que le processus formatif se résume à leur consultation. Cette croyance est tenace mais ne résiste pas à l’examen des chiffres : EdX indique que « Seuls 9% des inscrits ont vu plus de la moitié du cours, et 5% l'ont validé en entier (cf. L'Etudiant). Une ressource, même la plus parfaite n'est jamais qu'une information mise à disposition  (cf. ce billet de Bruno Devauchelle). Or, le processus de construction de connaissances nécessite forcément une action permettant d'utiliser cette information. L'efficacité de l'action dépend, pour de nombreux apprenants, du soutien qui leur est apporté pour la réaliser.

Il est optimiste de penser que l’évaluation par les pairs est LA solution à l’évaluation du grand nombre et qu’il est possible de faire l’économie de personnes expérimentées en évaluation comme le sont les tuteurs. D’une part, le nombre de personnes acceptant de participer et de bénéficier de l’évaluation par les pairs ne représente qu’une faible partie des mooceurs. D’autre part, cette évaluation ne jouit pas, auprès des apprenants, de la légitimité de l’institution, à plus forte raison s'il y a un enjeu de diplomation. La rétroaction aux travaux par des tuteurs, acteurs dotés de la légitimité institutionnelle, permet à tous les apprenants de se situer et de poursuivre leur apprentissage.

Si le tutorat est si peu considéré par beaucoup d’initiateurs de moocs c’est que ceux-ci évoluent habituellement dans un contexte où la préoccupation de la réussite des apprenants n’est pas centrale : les universités. Quel centre de formation pourrait se prévaloir auprès des organismes financeurs et de sa clientèle d’un taux d’échec dépassant les 40%. En 2013, les universités françaises enregistraient un taux de 46,2% des premières années qui ne passaient pas en deuxième année (cf. etudiant.figaro.fr). Par ailleurs, les pratiques pédagogiques des universités, traditionnellement centrées sur l’enseignement et non sur l’apprentissage, ne les prédisposent pas à investir dans le soutien à l’apprentissage.

Les choses changent dès lors que les moocs deviennent des coocs car si les entreprises sont intéressées par l’impact positif sur leur image que leur procure la production d’un dispositif massif de formation, elles visent également des objectifs tout aussi importants comme le retour sur investissement, le renforcement de leur culture d’entreprise, l’amélioration des compétences de leurs collaborateurs, la détection de ceux d’entre eux ayant un fort potentiel d’évolution, bref, elles replacent la formation dans le champ des ressources humaines qu’il est toujours aventureux de déserter lorsque l'on traite de formation.

Les entreprises sont donc davantage intéressées par l’amélioration du taux de réussite dans leurs coocs et elles en prennent les moyens en mettant en place des systèmes tutoraux. Dans mes missions de conseil et d’ingénierie tutorale, j’ai l’occasion de constater que le tutorat fonctionne dans les moocs, dès lors qu’il est pensé de manière stratégique, qu’il respecte les caractéristiques de la massification des participants en ne cherchant pas à démultiplier les formules qui fonctionnent bien dans les FOAD mais en faisant preuve d’imagination et de conviction. 

J’aurai l’occasion, dans les prochains mois, de faire part plus complètement de ces expériences. Dans l’attente, je renvoie à la présentation de mon service tutmooc et à ma conférence sur l'influence du tutorat sur la persévérance des mooceurs.