教育と学習のプロセスにおける「土台」となる最後のポイントは、評価と改善です。つまり行ったことを評価し、それを改善する方法を探ることです。

11.11.1 なぜ評価が重要なのか

テニュア（終身在職権）や昇進のためには、あなたの指導が成功したという証拠を提供できるかどうかが重要です。教育に使える新しいツールやアプローチは次々に生まれています。これらを利用することで、結果が良くなるかどうかを試してみることもできますが、その場合、新しいツールやコース設計を利用することの影響力について評価する必要があるでしょう。このような評価は専門家によって行われます。評価を行う主な理由は、教えるということはゴルフをするようなものだからです。完璧を求めて努力しても、決してそうはなりません。つねに改善が可能であり、そのための最も良い方法は過去の経験を体系的に分析することなのです。

11.11.2 何を評価するか：総括的

ステップ１では、クオリティーを以下のように狭義に定義しました。

デジタル時代において学生にとって必要となる知識やスキルを上手に育成することができる指導法

この本を読むにつれて明らかになっていきますが、私はこれらの目標を達成するためには多くのコースやプログラムを設計し直すことが必要だと考えています。ですから、設計し直したコースが、従来のコースと比べて効果的かどうか確認する必要があります。

新たに設計したコースの評価方法の１つに、従来のコースとの比較があります。ただし次の条件を考慮しなければなりません。

• 少なくとも新しいコースの修了率は、従来のコースでの修了率と同じであること。
• 少なくとも新しいコースの学習成績や評価は、従来のコースでの学習成績や評価と同じであること。

これら２つの基準は数値を用いて比較的簡単に測定することができます。修了率としては少なくとも85％、つまり100人がコースを受講したら85人がコース終了時の課題に合格することを目指すべきでしょう。残念ながら現在の多くのコースはこの修了率を達成できていませんが、良い教育に重きをおくのであれば、できるだけ多くの学生が定めた基準に到達できるように努力するべきです。

２つ目の基準は成績の比較です。私たちは、より高いに越したことはありませんが、同じ水準以上を維持している新しいコースでも、少なくとも従来の教室で行なっていたコースと同じぐらいのA評価やB評価が付くことを期待しています。

しかし評価を妥当なものにするためには、デジタル時代のニーズに合致するコース内部での知識やスキルについても定義しておく必要があるでしょう。その状態で指導法がどれだけ効果的だったかを測定するのです。ゆえに３番目の基準は次のようになります。

• 新しい設計はデジタル時代のニーズに関連度の高い、別の新しい学習成果につながる。

３つ目の基準は他のものに比べると少し難しいかもしれません。なぜならコースや専攻プログラムにおいて想定されている学習目標を変えることを提案しているからです。ここでは新しいメディアを利用したコミュニケーション・スキル、授業で扱う領域における情報の発見、評価、分析、適切に応用する能力（すなわち知識管理）を評価することも含まれるでしょう。このような能力は、従来の教室内で行われてきた授業では適切に評価されていませんでした。このような評価を行うためには、どのような学習目標が最も重要であるか、質的な判断を行う必要があり、学科のカリキュラム委員会や外部認証団体による認定や援助が必要になるかもしれません。

新しい設計と学習目標の下では、すぐに一定の基準に到達するのは難しいかもしれませんが、２～３年かければ到達できるようになるでしょう。

11.11.3 何を評価するか：形成的

これら３つの基準でコースを判断したとしても、何がうまくいって何がうまくいかなかったかが分かるとは限りません。どのような要素が学生の学ぶ能力に影響を与えたかについて、さらに詳細に調べる必要があるのかもしれません。ステップ１～８ではこれらの要素のいくつかを取り上げてきましたが、以下のような問題に対する回答も知りたいと思うかもしれません。

• 学習成果や目標は学生にとって明確なものでしたか。
• 学生が最も苦労していた学習成果は何でしたか。
• 教材は明確で構成がしっかりしているものでしたか。
• 学生が必要としている学習教材やツールはいつでも容易に使えるものでしたか。
• 良いディスカッションにつながるトピック、つながらないトピックはどのようなものでしたか。
• 学生はコース上の素材をディスカッション・フォーラムや課題で適切に利用していましたか。
• 学生は、ディスカッション、課題、その他の活動において、適切な情報を見つけ、上手に利用していましたか。
• 学生が関わる活動でうまくいったもの、うまくいかなかったものは何ですか。その理由は何でしょうか。
• 提供した教材の中で学生が最も活用したもの、しなかったものはどれですか。
• 課題はコースで教えようとした知識やスキルを適切に評価していましたか。
• 学生の負担は過度なものではありませんでしたか。
• 教員としてのあなたの負担は多くなかったですか。
• もし負担が多かった場合、どのようにすればクオリティーを低下させることなく、あなたや学生の負担を減らすことができたでしょうか。
• 学生のコースに対する満足度はどうでしたか。
• あなたはコースに満足しましたか。

負担を増やすことなく、これらの問題を解消するためのいくつかの方法を次のセクションで提案します。

11.11.4 学習に貢献する、または学習を阻害する要因を判断する

判断材料はたくさんあります。実際、伝統的な対面授業よりも判断材料は多いでしょう。なぜならオンライン学習では以下のような追跡可能な証拠が残っているからです。

• 学生の成績
• 自己評価、ディスカッション・フォーラム、ポッドキャストのようなオンライン活動への個々の学生の参加率
• ディスカッション・フォーラムの質的分析。例えばディスカッションへの関与や思考の深さなどを示すコメントの質や量
• 学生のeポートフォリオ、課題、試験への解答
• 学生が記入したアンケート
• 司会を立てたグループ・ディスカッション

しかし、コースを開始する前に、前のセクションで挙げたような問題を列挙し、どのような判断材料を用いれば問題への糸口が見えてくるか、考えておくと良いでしょう。

コースの終了時には、私は学生の成績を見て、どの学生が上手に学習を進め、どの学生が苦労したかを確認するようにしています。もちろんクラスに所属する学生の数にもよりますが、人数の多いクラスでは成績ごとにサンプルとなる学生を抽出します。そしてコースの最初まで戻って、学生のオンラインでの活動をできる限り追跡します。ラーニング・アナリティクスのおかげでこのようなことを行うのは簡単になりましたが、LMS を使っていれば手作業でも行えます。その結果、例えば誰とでも交流する社交的な学生というような、学生に由来する要因もあれば、例えば学習目標や内容の説明・提示の仕方というような、コースに由来する要因もあることが分かります。このように質的に見ていくことで、次にコースを開く時には、内容を変更したり、学生との交流の仕方を変えたりしなければならないといった改善点が見えてくることがよくあります。今度は一人の学生が会話を「独り占め」してしまわないように注意深く管理しようと思うかもしれません。

多くの機関ではコース終了時に、学生が授業の内容を報告できる「標準的な」システムを持っています。しかしコースにおけるオンラインの要素を評価するという目的で、これらのシステムが役に立つことは滅多にありません。質問項目は授業の伝達様式に応じて修正しなければいけませんが、利用されるアンケート項目はコース間の比較のためのものなので、評価担当者たちはオンライン教育のための別様式のアンケートを作ろうとしないことが多いです。また、これらのアンケートはコース終了後に学生の自由意志に基づいて回答されることが多いので、ご存知のように回答率が20％以下と低くなってしまう場合がほとんどです。低い回答率は全く意味がなく、誤解さえ招きかねません。多くの場合、コースを途中放棄してしまった学生はアンケートに見向きさえしません。回答率が低いことに加えて、その回答はコースを修了した学生からのものに偏ってしまう傾向にあります。あなたが聞かなければいけないのは、コースの修了に苦労した、あるいは途中放棄した学生の声の方です。

私の経験では、アンケートよりもグループ・ディスカッションがうまく機能します。これは対面で行うか Blackboard Collaborate のような同期型ツールを利用します。途中放棄した学生からA評価の学生までさまざまな達成度の学生７～８人を慎重に選び出し、コースに関して１時間ほどのディスカッションを行います。もし参加したくない学生がいる場合、同じような成績の学生を探すようにします。時間に余裕があり、このようなグループ・ディスカッションを２回から３回行うことができれば、より信頼できるフィードバックを得ることができるでしょう。

11.11.5 改善しましょう

私は通常、設計し直したコースを最初に行なった時には、信頼できるインストラクショナル・デザイナーと一緒に、コースの終了時にたっぷり時間をかけてそのコースを評価し、次にコースを開講する時のための改善を行います。その上で、主に目指していた通りのコース修了率や成績になっているかどうかを集中的に確認します。

コースを３回目、あるいはそれ以降に行う時には、例えばeポートフォリオのパッケージのような新たなソフトウェアや、例えば学生が作ったコンテンツ、携帯電話やカメラの利用、プロジェクトに関連したデータの収集のような新たなプロセスなど、外的な要因を考慮に入れながら、どのようにコースを改善すれば良いかについて考えるようにしています。このようにすることで、コースが「新鮮」で刺激的なものになります。しかし通常は本質的な改善は１つに限定するようにしています。２つ以上になると負担が大きくなるというのもありますが、１つに限定することで改善の効果を測定するのが容易になるからです。

このような改善を行う時間は、教員にとっては実に刺激的な時間です。特にWordPress や Canvas のような教員に焦点を当てた「簡易型」LMS、オープン教育リソース、モバイル型学習、タブレットや iPad、電子出版、MOOCs のような新しい世代の Web 2.0 は、改善や実験を行うための多様な機会を提供してくれます。これらのツールを既存の LMS やコースの構成に組み込んでも良いでしょうし、さらに革新的な設計でコースを実施することもできます。第３章・第４章・第５章では、これらを用いた幅広い設計について取り上げました。

忘れてはいけないのは、あくまでも狙いは学生の学習を効果的なものにするということです。私たちは既に標準的な LMS を使えば「安全」で効果的な学習を設計できることを知っていますし、実践もしています。新しい Web 2.0 ツールの多くは中等後教育の環境ではまだきちんと評価をされていません。また、新しいツールのいくつかは、これまでオンライン学習で用いられているものほど効果的ではないということが証明されつつあります。新しいから良いわけではないのです。そこでオンライン学習を始めようとする教員には注意を促したいと思います。既に実践されている方法をまずは試しましょう。そして経験を積むにつれて、徐々に新しいツールや手法を加えていき、それらを評価するようにしましょう。

最後になりますが、コースにおいて刺激的な改善を行いたいのであれば、ここまで述べてきたような方法で適切に評価することを忘れないでください。その上で、同僚らと情報を共有し、その改善を同僚らが自身のコースにそのまま組み込んだり、独自の修正を加えたりして、さらにコースを良くするための手助けをしましょう。このようにすることで、私たちがお互いに学び合うことができるのです。

参考文献と課題図書

Gunawardena, C., Lowe, C. & Carabajal, K. (2000). Evaluating Online Learning: models and methods. In D. Willis et al. (Eds.), Proceedings of Society for Information Technology & Teacher Education International Conference 2000 (pp. 1677-1684). Chesapeake, VA: AACE.

Page-Bucci, H. (2002) Developing an Evaluation Model for a Virtual Learning Environment: accessed at http://www.hkadesigns.co.uk/websites/msc/eval/index.htm