大規模開放在線學習學生互評效果實證研究

2017-03-08 MOOC

本文由《開放教育研究》雜志授權發布

作者：羅恒、左明章、安東尼?魯賓遜

摘要

學生互評能夠有效彌補教師評閱和機器評分的局限，是適用于大規模開放在線學習情境的重要評價模式。然而，現階段對在線互評模式的準確性和有效性尚缺少基于實證的系統研究。基于此，本文通過對一門大規模開放在線課程（MOOC）的學生互評、自評和教師評分等數據的比較，得出在線互評模式的信度、效度、影響因素和學生認可度等初步結論。研究結果表明，盡管互評模式的評分者間信度并不理想，但綜合考量多個評分結果的前提下，該模式能夠為在線學習者提供較為一致可靠的最終得分。學生互評結果和教師評分結果的相關性系數高達0.619表明，該模式同時具有較好的聚合效度。此外，對課后問卷的統計分析表明，在線學習者對互評模式總體持積極態度，認可互評活動對反饋獲得、課程投入和高階思維培養等的有益影響。這些發現和結論對完善和改進面向大規模開放在線學習的評價模式有一定的指導意義。

關鍵詞：學生互評；評分者間信度；聚合效度；大規模開放在線學習

一、引言

《2015年中國互聯網年度熱點洞察報告》顯示，我國在線教育市場規模2015年達到1192億元，用戶達到7227萬人，涵蓋高等教育、中小學教育、職業培訓及學前教育等領域。然而，在線教育迅速發展的背后亦伴隨著對其教學質量的質疑。其中比較突出的一個問題是其“教-學-評”體系的不完善：現階段尚缺少針對大規模在線學習活動的合理有效的評價模式和機制（Kauza，2014；Piech et al.，2013）。以大規模開放在線課程為例，龐大的學生規模使授課教師沒有足夠時間和精力批改每份作業，而機器評分又不適用于評估復雜的學習成果，如項目設計、藝術作品及論文報告等（高地，2014；熊瑤等，2016）。在線評價機制的局限性導致大量在線課堂重教學內容而輕測評，學習活動被簡化為單向的信息接收而缺乏雙向實時的反饋與評價，嚴重影響了在線教育的教學效果和社會認可度（顧小清等，2013；康葉欽，2014；Mehaffy，2012）。

為解決在線教學規模化所帶來的評價難問題，Coursera平臺于2012年推出定標同伴評估（Calibrated Peer Review，簡寫為CPR）模式。該模式將傳統課堂內教師負責的評價活動眾包給廣大在線學習者，引導學生使用預先設定的評分標準為彼此的作業進行打分和提供反饋，旨在盡可能減少教師參與的同時最大程度地提高在線評價的準確性、有效性和及時性。然而，當前針對這一互評模式的實證研究還比較匱乏，對開放在線教學環境中學生互評活動的信度、效度和優缺點尚缺少系統論證。因此，本研究依據在Coursera平臺上的MOOC的教學經驗和收集的學習數據，考察學生從設計到實施互評活動的全過程，并分析他們的評分數據和反饋結果，系統檢驗學生互評在大規模開放在線學習中的實際效果以及相關影響因素。具體來說，本研究旨在回答以下三個問題：

1）學生互評能否為大規模開放在線學習情境提供可靠有效的評價手段？

2）哪些潛在因素影響該情境下學生互評的信度與效度？

3）學生互評為大規模開放在線學習帶來哪些潛在的益處和問題？

二、相關文獻研究

（一）學生互評概述

學生互評，也稱同伴互評，其核心是組織學習者對能力相當的其他學習者的學習作品或表現進行水平、價值或質量的考量和判定（Topping，2009）。互評結果通常是量化的評定得分，有時也以文字評價的形式呈現。在很多情況下，互評結果包括上述兩種形式，是它們的有機結合（Lu & Law，2012；Strijbos et al.，2010）。學生互評作為一種學習評價方式有著悠久的歷史，被廣泛應用于自然科學（Bilington，1997；Butcher et al.，1995）、社會科學（Falchikov，1994；Orpen，1982）、醫學（Hammond & Kern，1959；Magin，1993）、商學（Freeman，1995；Kaimann，1974）、二語習得（鄧酈鳴等，2010；韓冰，2009）和工程技術學科（Fry，1990；Oldfield & Macclpine，1995）等多個學科領域。

學生互評將教師從繁重的審閱任務中解放出來，極大地減輕了教學工作量。此外，文獻研究表明互評活動本身也能促進學習的發生，為學生帶來許多潛在的益處，如學習的主人翁精神和自治精神（Brown et al.，1995；Race，1998），更高的學習動機（Vu & Dall'Alba，2007），更強的社交存在感（Strijbos & Sluijsmans，2010）以及高階思維和兀認知能力的發展等（Mok，2011；Topping，2009；Wen et al.，2006）。然而，這些潛在益處不能完全說服師生在教學過程中將互評作為主要評價方式（Cho et al.，2006；Magin，2001；Stefani，1994），對學生能力的不自信而導致的對互評結果信效度的質疑是該模式受阻的主要原因（Falchikov & Goldfinch，2000；McGarr & Clifford，2013）。

（二）學生互評的信度與效度

學生互評模式的信度與效度文獻研究主要集中在傳統面授課堂教學，鮮有針對自主在線學習情境的探索（Cho et al.，2006；Falchikov & Goldfinch，2000；Zhang et al.，2008）。互評結果的信度一般由不同評分者對同一作業的評分一致性判定。互評結果的效度通常通過計算學生打分結果和專家打分結果的相關性系數得來，相關系數越高，證明互評結果的效度越高。一般認為，任課教師對授課內容有著深入了解，能夠對學生的表現或作業給出準確、公正的分數和評價，因而文獻中專家角色幾乎都由任課老師擔任。換言之，文獻中討論的學生互評信度和效度也可以看成學生評分者間信度以及“教師-學生”評分結果的聚合效度。

很多研究揭示了學生評分結果和教師評分結果之間具有較強的正相關性，由此可以證明學生的專業知識水平雖然不如教師，但是基于多個學生互評的最終分數具有較高的效度，因而有相當的參考價值。例如，法契科夫和戈德芬奇（Falchikov & Goldfinch，2000）曾對1959年至1999年間發表的56項關于學生互評的量化研究進行薈萃分析，發現學生評分結果和教師評分結果顯著強相關（r=0.69）。也有學者針對在線教學（Bouzidi & Jaillet，2009）和中學教育（Sadler & Good，2006）情境下的學生互評效度進行研究并得出了相同結論：學生互評在以上兩種教學情境中都有極高的效度，與教師評分的相關系數分別介于r=0.88-0.91和r=0.91-0.94之間。當然，我們也注意到少數文獻報告了學生互評模式低效度的證據，在一些教學事件中學生評分結果和教師評分結果分歧較大（Cheng & Warren，1999；Korman & Stubblefield，1971；Mowl & Pain，1995）。

與互評效度方面已有大量文獻不同，互評信度方面的研究相對匱乏，研究者很少關注互評結果背后學生打分一致性問題。對互評信度的忽視將直接影響對其效度的判定，因為一個高效度的評測方法也應該是穩定、一致與可靠的，必須同時滿足較高的聚合效度和評分者間信度兩個條件（Gay & Airasian，2003）。值得注意的是，一些研究混淆了信度和效度概念，對統計分析結果做出了錯誤解讀（Topping，2009）。根據學生互評模式中評分者數目、評分者選擇方式不同等，文獻中給出了不同的計算互評信度的統計分析方法，如采用皮爾遜相關系數(Haaga，1993）、比例方差（Marcoulides & Simkin，1995）和組間相關系數（Cho et al.，2006；Miller，2003）等。相關統計結果總體表明學生評分者在互評任務中能夠給出較為一致和可靠的分數。但如果要對學生互評的信度做出更肯定和普遍的推論還需要更多來自不同教學情境的實證研究證據。

一些學者著重考察了影響學生互評信效度的因素。例如，法契科夫和戈德芬奇（2000）研究發現，學生使用復合分數按照預先指定標準對學術作品進行互評得到的評分結果更接近教師的評分結果，進而將“分數結構”“作業類型”“評分標準”確定為影響互評信度的重要因素。此外，“評分者的數目”也是影響互評分數信效度的重要因素。趙光洙等（Cho et al.，2006）發現，每增加一個學生參與作業評分都將顯著提升評分結果的信效度。另一方面，一些通常被認為會影響學習評價的因素，如學科領域、課程難度和學生態度，則被證實對互評信效度的影響十分有限（Falchikov & Goldfinch，2000；McGarr & Clifford，2013）。

綜上所述，相關文獻研究從總體上支持學生互評的有效性和合理性，并指出一系列可能影響互評結果信效度的潛在因素。然而，我們應該看到這些研究大多基于大學面授學分制課程的教學情境，這種情境具有學生人數少、構成相對同質、教師能夠全程監控指導等特征。相關研究發現是否適用于學生人數規模化、組成成分多元化的大規模開放在線學習情境尚不可知，亟待進一步檢驗與探索。

（三）來自MOOC的證據

基于眾包概念的定標同伴評估（Calibrated Peer Review）在Coursera平臺上一經推出，就吸引了不少教師、學生、學者和媒體的注意：不少人從教師或學生角度描述了MOOC課堂中使用學生互評的教學體驗；在熱門媒體網站和個人博客上關于學生互評的有效性、優越性和局限性的討論也是持續不斷、逐步升溫（McEwen，2013；Morrison，2013；Neidlinger，2013；Rees，2013；Watters，2012）。總之，關于學生互評這種評價模式，人們的看法分歧較大。例如，里斯（Rees，2013）描述了她在一門世界歷史MOOC的學習體驗，認可為自己作業評分同學的專業與客觀，并承認自己認真努力完成的作業往往能夠獲得更高分數。奈德林格（Neidlinger，2013）則道出了很多MOOC學生對互評結果的不滿，認為有相當一部分上課的學生并不具備評判作業質量的資格，且很多人評分只憑個人喜好而沒有參考教師給出的評分標準。麥克尤恩（McEwen，2013）和沃特斯（Watters，2012）進一步指出在MOOC中使用學生互評的一些潛在問題，如反饋質量參差不齊、缺少互惠感和社區存在感，以及質量監控與調控的缺失等。當然，這些關于MOOC環境中學生互評效果的論斷很多都是主觀感受，沒有經過實證研究驗證。同時，基于實際MOOC評測數據而得出學生互評效果的研究十分匱乏。

三、研究方法

（一）研究情境

本研究收集和分析的數據來自于Coursera平臺上的MOOC“地圖與地理空間革命”（www.coursera.org/course/maps）。該課程是美國賓夕法尼亞州立大學2013年開設的一門為期五周的地圖繪制和地理空間分析入門課程。本文第三作者安東尼?魯賓遜是該課程的主講老師，第一作者羅恒參與了課程設計和實施過程。48984名學生注冊這門課程，但最后一周仍活躍的學生只有8707人。根據7551名學生在課程結束之后填報的人口特征數據顯示：選修該課程的大部分是男生，女生只占30%左右；約61%的學生是全職工作時間之余學習課程；學生平均年齡是36.5歲；超過80%的學生有本科或以上學歷，其中最高學歷為本科的占33.8%，研究生占39.1%，博士生占8%；30%左右的學生來自美國，其余學生來自世界各國，以歐洲和東南亞地區居多。3064名學生通過了該課程考核，其中1211人獲優秀。

課程教師只在最后一周布置一次開放性作業，相應只有一次學生互評活動。期末作業要求每個學生自選一種地圖繪制的工具或平臺（如ArcGIS Online、QGIS、和GRASS），任選一個話題并設計和繪制一幅地圖講訴一個和生活切身相關的故事。主題可以是最近的一次旅行路線、家鄉最棒餐館的分布圖或者某區域數年來經濟文化的演變等。作業成績占課程總分的20%，學生將根據教師撰寫的評價量規從四個維度對上交的地圖作品進行評分，包括展示清晰度、故事可信度、制圖水平（如顏色、符號的使用和布局等）和設計美觀度，每個維度得分從低到高為0分到3分。互評作業的總分為四個維度得分的總合，即在0分和12分之間。課程要求每位學生至少評價三份其他同學上交的作業。這些作業由Coursera平臺隨機分配給不同學生評分者。同時，每位學生也需對自己上交的作業進行自評。值得注意的是，Coursera平臺為了應對極值分數，選擇使用學生評分結果的中值（median）而不是平均值（mean）作為最終的互評分數。

（二）數據收集

本研究共收集了三類數據。第一類數據是MOOC學生針對開放性作業的互評和自評數據。該數據儲存在Coursera平臺后臺數據庫的submission_metadata部分：作業編號和最終互評分數存儲在overall_evaluation_metadata中，單個學生評分者的評分結果儲存在evaluation_metadata中，學生的自評分數存儲在self_grading_metadata中。Coursera平臺設置最多的評分者人數是5人。本研究中共1825份作業獲得了5位評分者的評分，從而被選中進行后續的信效度分析。缺失評分數據的作業共有919份，這些作業被排除在數據分析之外。關于作業的最終互評分數，除了使用Coursera平臺提供的基于中值的判定，本研究同時將各個學生評分的平均值作為最終結果。

第二類數據是教師對開放性作業的評分數據。考慮到教師評分工作量，本研究從1825份作業中隨機選擇了5%（N=93）并請課程主講教師進行批改。通過作業的編號，教師可以在后臺數據庫中訪問學生提交的作業原件，并按照相同的評價量規進行評分，包括作業的總分和四項標準的得分。因此，每份作業包含以下評價數據：5位學生評分者的評分結果、基于中值的最終互評分數、基于平均值的最終互評分數、教師評分結果和自評結果（見圖1）。

第三類數據是學生對互評活動的態度。學生在課程結束后填寫了MOOC學習體驗自我評價問卷，其中有7道題是關于課程中的互評活動的，收集學生對互評活動的公正性、有效性和潛在益處的看法。考慮到從Coursera后臺數據庫提取問卷數據的復雜性，本研究沒有采用平臺自帶的問卷工具，而是使用第三方問卷收集工具——Qualtrics，通過學生編號將Coursera平臺上學生的學習數據和相應的學生問卷數據聯結起來。

（三）數據分析

本研究中學生互評信度本質上是評分者間信度，測量的是不同學生評分者對同一評價任務評分結果的總體一致性。因為作業是隨機分配給特定學生總體中的五位評分者，針對該評分機制，本研究選擇了第一類組內相關系數（Case 1 Intraclass Correlation Coefficient，簡稱ICC[1]）作為評分者間信度的估算方法。在該估算方法中，學生評分的差異及其交互作用被判定為測量誤差。在SPSS統計分析軟件中，ICC[1]的計算通過可靠性分析模塊中的單項隨機組內相關系數計算功能實現。

學生互評效度的測量采用的是聚合效度，由學生互評得分和教師評分的相似度來判定，在統計分析中通過皮爾遜積矩相關系數（Pearson product-moment correlation coefficient）估算，通過SPSS統計分析軟件中的皮爾遜雙側檢驗相關系數計算功能實現。本研究同時計算了基于中值和平均值的兩種互評分數結果與教師評分結果的相關系數，由此比較不同互評分數統分計算方法的優劣。

本研究將學生的問卷數據從Qualtrics問卷平臺下載后輸入SPSS軟件進行描述性分析，通過對7道問題得分的均值、頻率和百分比的統計分析，可以從總體上把握學生對大規模開放在線學習環境中互評活動的態度，檢驗他們對互評活動潛在益處，如學習動機、社交存在感和高階思維培養的認可度。

四、研究結果

（一）在線互評總分具備較高信度

本研究通過計算學生評分的第一類組內相關系數（ICC[1]）測定在線互評得分的評分者間信度，相應的統計分析結果如表一所示。單個測量的ICC[1]系數反映了五個隨機選擇學生評分者對同一作業的評分一致性。該系數值為0.262，表明單個學生對同一作業評分結果波動較大，評分者間信度較低，評分不可靠。但相對于單個測量，平均測量的ICC[1]系數達到了0.64，具備了較高的評測信度。該結果表明，如果互評分數不使用單個學生評分而是綜合考量五個評分數據，如采用五個學生評分的均值，互評結果的可靠性將得到顯著提升。通過針對5位評分者和4個評分標準的嵌套交叉隨機情景分析，我們發現互評結果的概化系數（generalizability coefficient）維持0.64不變，測量標準誤差僅發生了細微改變（從0.272變到0.276）。該結果表明，互評誤差來源主要來自評分者本身，通過修改評價量表和評分標準并不能進一步提高評分的信度。

本研究分別計算了使用2至5位學生評分者得到的互評結果的ICC[1]系數（見表二），旨在探究評分者人數對互評分數信度的影響，并確定最佳評分者人數。這一結果與趙光洙等（Cho et al.，2006）的研究發現一致，評分者人數對互評結果的平均測量ICC[1]系數有較大影響，評分者人數的增加能大幅提升互評結果的可靠性。ICC[1]系數在0.4-0.7之間通常被認為具備了中等評分者間信度（Dancey & Reidy，2002），因此根據表二結果可以推斷出，要使互評結果具備可接受的信度，至少需要三個學生評分者（ICC[1]>0.4），而僅僅基于兩個評分者判分的互評結果相對不可靠。

（二）在線互評效度令人滿意

Coursera平臺給出的基于中值的學生互評分數與教師評分有較強的正相關性（r=0.619）（見表三）。該數據證明，Coursera平臺的學生互評模式能夠提供接近于教師評閱準確度的評分結果。同時我們發現，如果不使用中值而使用平均值作為學生互評的最終得分，學生互評得分與教師得分的相關性反而會得到小幅提高，盡管提高的程度十分輕微（r=0.669）。事實上，基于中值和基于平均值的互評分數本身十分相似，具有極高的相關性（r=0.952）。

與學生互評相比，學生自評分數與教師評分的相關度較低（r=0.341），表明學生對自己作業的評價與教師的專業評判出入較大。因此，我們認為學生自評結果聚合效度較低，不能成為合格的教師評分替代者。本研究同時考察了不同評分結果的均值，研究發現學生自評分數的均值最高（10.02），教師評分分數的均值最低（8.68），學生互評分數的均值居中（中值分為9.19，平均值分為9.1）。該結果表明學生傾向給自己的作業更高分數，而相比學生評分者，教師的評分標準總體上更加嚴苛。

（三）參與互評活動能提升在線學習體驗

表四總結了學生參與MOOC課程互評活動的態度和看法。總體來說，學生對于互評活動態度積極，63%的學生認為參加互評活動有助于實現課程教學目標，即對空間思維能力的培養，70%的學生推薦后續課程繼續保留互評作業環節。學生總體上認可互評分數的公平性（占62%）和他人反饋的價值（占61%）。大部分學生認為參與互評活動提升了自己對課程的投入度（占63%），并發展了自己的高階思維能力，如審視與反思（占72%），這一結果與已有研究發現一致。互評活動對社交存在感的影響在7個選項中得分最低，僅57%的學生認為參與互評活動增強了自己在線學習與其他同學的聯系。當然，我們也注意到沒有任何一個關于互評的問卷項獲得了超過80%的積極評價，證明相當比例的學生對在線互評的效果持保留或否定態度。

五、討論與反思

（一）學生互評能為大規模開放在線學習提供可靠有效的學習評價

盡管單個學生評分者的評分結果并不可靠，具有較低的評分者間信度（單個測量ICC[1]=0.262），然而如果一項作業的最終互評分數是多個評分者評分的復合計算結果（如中值或均值），學生互評模式的信度較令人滿意（平均測量ICC[1]=0.64）。因此，Coursera平臺使用學生互評分數中值的做法值得借鑒，能夠有效減少單個評分結果一致性低帶來的影響，大幅提升最終評分結果的可靠性。學生互評分數與教師評分超過0.6的相關性系數證明了互評模式能夠提供接近教師評閱準確度的評分結果，能為大規模開放在線學習活動提供相對準確有效的評價手段。相比之下，學生自評結果的效度不能令人滿意，與教師評分的差別較大，分數相對偏高。考慮到學生在完成作業時往往已經有意或無意的檢查過自己的作業，因此再次自評的環節并無必要。

當然，本研究對于學生互評信效度的支持證據基于“地圖與地理空間革命”MOOC。該課程的學生受教育水平相對較高，80%以上的學生都具備本科以上學歷。考慮到互評作業在課程最后一周才發布，此時還活躍在課程學習中的學生已不到注冊人數的5%，屬于學習投入度高、在線學習能力強的學習者（Waldrop，2013；袁松鶴等，2014），基于該學生人群得出的關于互評信效度的結論有一定的局限性。相關結論能否適用于知識水平、學習能力和學習動機差異較大的大規模在線學生群體有待進一步研究驗證。

（二）影響學生互評信效度的決定因素是評分者本身

和現有互評文獻的結論一致，本研究也揭示了評分者人數是影響互評信度的重要因素，通過增加評分者人數就能夠大幅提升互評結果的可靠性。而要使在線互評具備最基本的可靠性，至少要配備三名以上學生評分者。本研究同時也探索了統分方法對互評效度的影響，結果顯示使用個體評分的中值和平均值作為最終分數對互評效度的影響不大。造成該現象的可能原因是學生評分的極值情況較少，即極少出現全部打最高分或最低分的評分者。從統計分析角度，可以使用中值的方法減少極值的不利影響，但更有效的方法可能還是從學生評分者本身入手，教育他們認真完成互評任務，同時建立相應的抽檢、追責和獎懲制度。

本研究通過隨機情景分析探索了評測誤差的成因，結果顯示誤差來源主要是評分者本身而不是評價量規或標準。因此，對學生評分者進行互評培訓和評分校驗尤為重要。Coursera平臺的定標同行評估模式為學生提供了一種培訓和校驗的方式：學生在接受基本的培訓后對數道樣題進行評分，系統根據樣題評分的準確性為每位學生設置權重，該權重決定了該學生在后續評分結果中所占的價值比重。然而，出于對時間、精力和可操作性的考慮，本研究沒有在MOOC中安排相應的培訓和校驗步驟，該步驟對互評信效度的影響有待后續研究。

（三）學生總體上認可在線互評的評價模式

盡管不少學習者在新聞媒體和社交網站上表達了對大規模開放在線學習情境中使用學生互評手段的不滿，并指出對其準確性、公平性和有效性的擔憂（McEwen，2013；Morrison，2013；Neidlinger，2013；Watters，2012），本研究提供了與媒體輿論相悖的證據。問卷結果顯示，60%以上的MOOC學習者認為他們獲得了公正的分數和有效的評價反饋，而持反對觀點的學生不到10%。事實上大部分學習者（70%）希望在后續課程中保留學生互評的任務，僅11%的學生希望將其移除。對于該現象的一個可能解釋是獲得了糟糕互評體驗的學生更傾向在媒體上表達自己的不滿，而他們的觀點并不能代表整個在線學習者群體。我們也發現互評模式最被廣泛認可的益處是對高階思維能力，如審視和反思能力的培養。這一發現印證了布魯姆（Bloom，1956）對認知領域學習目標的分類理論。學生互評在認知目標分類中屬于較高層次的認知活動，能夠有效促進在線情境中有意義學習的發生。

綜合來看，本研究基于一門MOOC中互評、自評和教師評分相關數據，對學生互評模式的信度、效度和相關影響因素和學生認可度進行探索與分析。研究結果表明傳統面授課堂中廣泛使用的學生互評模式也適用于大規模開放在線學習情境：在綜合考量多名評分者評分結果的前提下，學生互評模式能夠為學習者提供一個較為一致和可靠的最終得分。學生互評和教師評分結果的較高相關性也表明在線互評模式具備類似教師評閱的準確性。另一方面，學習者對參與互評活動總體上也持積極的態度，認可互評活動對獲得反饋、課程投入度和高階思維培養等方面的有益影響。值得注意的是，因為研究情境和評價數據的單一性，本研究對在線互評模式信效度的相關推論具有一定的局限性，對于影響互評效果因素的探索也不夠深入，這些有待進一步探索。

基金項目：2016年度教育部人文社會科學青年基金項目“面向大規模在線教育的眾包評測模型研究”（16YJC880054）。

作者簡介：羅恒，博士，講師，華中師范大學教育信息技術學院，研究方向：在線教育、技術整合教學、學習評價；左明章，博士，教授，華中師范大學教育信息技術學院，研究方向：教育數字媒體、教育技術理論；安東尼?魯賓遜（Anthony Robinson），博士，助理教授，賓夕法尼亞州立大學主校區地理系，研究方向：地理信息系統、MOOC教學。

轉載自：《開放教育研究》第23卷第1期 2017年2月

排版、插圖來自公眾號：MOOC（微信號：openonline）

慕編組成員：大葉子

產權及免責聲明

本文系“MOOC”公號轉載、編輯的文章，編輯后增加的插圖均來自于互聯網，對文中觀點保持中立，對所包含內容的準確性、可靠性或者完整性不提供任何明示或暗示的保證，不對文章觀點負責，僅作分享之用，文章版權及插圖屬于原作者。如果分享內容侵犯您的版權或者非授權發布，請及時與我們聯系，我們會及時內審核處理。

了解在線教育，

把握MOOC國際發展前沿，請關注:

微信公號：openonline

公號昵稱：MOOC