基于寫作自動評估的

教師反饋素養研究

秦文娟 周季鳴

復旦大學外國語言文學學院

摘要

外語寫作教師需要具備一定反饋素養，才能充分發揮寫作自動評估系統的優勢。本文通過梳理寫作自動評估相關的教師反饋素養理論和研究成果，構建了基于寫作自動評估的教師反饋素養模型。該模型強調寫作反饋的過程屬性，主要包含教師認知、情緒態度和能力三個維度，旨在促進寫作自動評估系統有效融入外語寫作教學。

關鍵詞：寫作反饋;寫作自動評估;教師反饋素養;外語寫作教學

引言

外語寫作教學過程中，教師對學生習作給予準確、高效的評估與反饋是提升學生寫作能力乃至整體語言能力的關鍵環節。然而，評估寫作與提供反饋具有一定主觀性，且需要教師付出大量時間和精力成本，是外語教學中頗具難度的教學任務。近年來，隨著自然語言處理等技術的快速發展，國內外涌現出一批寫作自動評估系統(automatic writing evaluation, AWE),改變了由教師、同伴以書面或口頭形式進行反饋的傳統教學模式，被廣泛應用于英語作為母語或外語的寫作教學(Fuet al. 2022;Jiang & Yu 2022;王勃然等 2015;楊曉瓊，戴運財 2015)。寫作自動評估系統融入教學豐富了寫作反饋來源的維度，增加了反饋的速度和頻次，提升了大型班級中采用定量可視化系統對學生習作進行過程性評估的可能性，也對寫作教師的反饋素養提出了新的要求。

本文在回顧教師反饋素養理論和寫作自動評估系統使用相關實證研究的基礎上，提煉寫作教師使用自動評估系統的認知和實踐經驗，構建基于寫作自動評估的教師反饋素養模型，為數字化轉型時代外語教師反饋素養提升提供理論依據和實踐啟示。

寫作自動評估系統

與教師反饋素養相關研究

2.1 國內外寫作自動評估系統述評

寫作自動評估是一項新興教育技術，它利用自然語言處理、潛在語義分析等計算機技術對寫作文本的內容、語言進行自動檢測和分析，并反饋質量評價和修改建議(Shermiset al. 2013;Wanget al. 2013;Shermis 2020)。寫作自動評估系統的早期研發有兩大目標：一是在大規模教育測試或日常寫作教學中節省人工評估的時間和精力成本，二是創建一種克服人為主觀性、相對客觀公正的評價模式(Stevenson & Phakiti 2019)。通過梳理近二十年來國內外具有代表性的寫作自動評估系統，筆者總結了寫作自動評估系統的反饋對象、反饋內容、優勢和不足(見表1)。整體來看，寫作自動評估系統呈現出的主要發展趨勢為：從針對固定文本、固定話題的寫作反饋逐漸過渡到針對開放話題、多種體裁的寫作反饋，從針對語言特征(如語法、拼寫)的機械化、微觀評價逐漸過渡到針對語篇結構和語言風格的宏觀評價，從僅面向大規模考試型寫作的結果性評分逐漸過渡到服務于寫作課堂的過程性反饋。

相比傳統的人工反饋模式，寫作自動評估系統具有多重優勢。第一，大部分寫作自動評估系統都能針對語法、拼寫、格式等基本語言特征提供較為準確客觀的反饋。小部分基于固定文本和話題的評估系統(如E-rater, Summary Street)也可通過源文本核心詞匯的使用情況、文本內容的語義吻合度等指標對寫作內容進行評價。這些功能可使教師無須在基礎語言問題上花費過多批改時間，將關注點更多放在觀點表達、論據使用、修辭風格等高層次質量評估和反饋上(唐錦蘭 2014)。自動評估還能克服人工評分過程中的主觀性及因評分者身心疲勞、外界干擾等因素造成的打分誤差，使學生獲得更為公正的評價結果(Weigle 2013)。第二，自動評估系統的反饋效率優于人工反饋。傳統評估模式中，學生提交習作之后通常需要等待較長時間才能獲得反饋，而寫作自動評估系統的反饋時效性大為提升(Cotos 2014)。有些自動評估系統允許學生通過多次修改和提交來提高寫作質量，提升了學生的寫作動力和練習頻次。自動評估過程中學生無須與教師面對面交流，能夠緩解寫作焦慮情緒，以更積極的心態面對寫作和修改過程(Grimes & Warschauer 2010)。第三，自動評估系統有助于教師依據數據全面認知學生的寫作水平。教師能夠通過橫向比較系統給出的標準化評分了解學生群體的寫作水平及在不同質量維度的優劣勢，或者縱向比較同一學生的多次自動評估結果，勾勒其寫作水平發展曲線，適時給予鼓勵和指導(Cotos 2014;Jacovina & McNamara 2016)。

寫作自動評估系統也存在不足之處。第一，在評價準確度方面，寫作自動評估系統對于高階語言能力維度的評價準確性有待提升。例如，自動評估系統在評價“句法復雜度”指標時，常常使用較為機械化的測量標準(如平均句子長度、從句比例等),給出的評價可能并不準確，會造成學生對于某些語言特征乃至文體風格的認知偏差(Qin & Zhang 2022)。第二，自動評估系統多依賴機器學習技術，即研發者先請專業評估者對大量范文進行人工評分，再以此為參照標準訓練計算機學習人工評分與作文文本特征的內在相關性，使計算機最大程度上復制人工評分結果。在此過程中，人工評分的部分誤差也可能被復制，從而影響最終評分的絕對客觀性(張荔，盛越 2015)。第三，在評價維度方面，某些自動評估系統(如IntelliMetric, Summary Street)僅能根據固定文本或者話題的寫作任務進行評價，盡管評價準確度相對較高，但體裁和內容評價難免趨于單一。另一些基于開放話題的自動評估系統(如Grammarly)不受話題和體裁限制，但僅能從文本語言維度進行評價，缺乏對內容維度的考量(Jacovina & McNamara 2016)。第四，寫作自動評估系統難以兼顧寫作活動的社會屬性。計算機較難根據作者和讀者共享的背景知識或假設對作文的修辭手法(如諷刺、隱喻)作出恰當判斷，因而在評價的全面性方面存在不足。此外，具體評估實踐還面臨系統費用高昂、學生設備不足、教師計算機技術素養欠缺等諸多挑戰。

2.2 教師反饋素養的內涵與維度

教育評估活動中，反饋是評價學業表現、學習過程和策略的“信息”(Hattie & Timperley 2007),也是師生對話和共同參與的“過程”(Wang &Lee 2021),后者強調學習者在評價活動過程中對反饋信息的接收、分析和使用(Carless & Boud 2018)。為了更好地發揮反饋的促學作用，學生應能認識反饋價值并理解其在學習過程中的積極作用，能對自己或同伴的作品和反饋給出合理評價，能適時調控對于負面反饋的感受、情緒和態度，并能積極使用反饋提升學業成效或學習策略(Carless & Boud 2018)。

為了設計和實施有效反饋活動，教師應具備特定的反饋素養。Carless & Winstone(2023)認為教師反饋素養應包含認知、情緒態度和能力三方面。認知是指對反饋原理和實踐的理解。情緒態度指能夠面對困難提高學生反饋素養的決心和堅持。能力指設計和實施符合自身專業特點的反饋活動的技能。具備良好反饋素養的教師在評估設計、互動交流和具體實施三個維度都應展現出相應的認知、情緒態度和能力(Carless & Winstone 2023)。

在英語教育領域，Lee(2021)梳理了形成性評估、社會文化理論和語言教師能力三重理論視角下寫作教師反饋素養相關研究成果，提出了寫作教師反饋素養的教學應用框架。具備較高反饋素養的寫作教師首先應持有將反饋視為“過程”和“師生共同責任”的價值觀、態度與目標，確信反饋的有效使用能夠增強學生的寫作積極性和動力，幫助他們成為更好的寫作者。其次，教師應在反饋設計和實施過程中展現出專業反饋素養，包括反饋前的設計(如設計活動和寫作評分表)、反饋實施(如激發學生主觀能動性、照顧學生情緒、鼓勵學生使用反饋)和反饋后的反思(如何使用反饋規劃下一步教學)。最后，教師共同體能夠催化和促進教師反饋素養發展。

教師有效使用

自動評估系統的實踐特征

寫作自動評估系統輸出的是作為“信息”的寫作反饋，而教師的責任和作用體現在作為“過程”的反饋活動設計和實施之中。當自動評估系統成為學生習作的主要反饋來源之一，教師在設計和實施評估時的責任更大，教學過程對教師反饋素養要求更高。認識和把握教師有效使用寫作自動評估系統的實踐特征對于教師反饋素養培養和提升具有切實的作用。

3.1 充分了解自動評估系統和學生實際

為發揮寫作自動評估系統的優勢，教師應對系統較為熟悉，了解系統適合寫作評價的維度。Wade-Stein & Kintsch(2004)指出，使用“Summary Street”系統進行總結性寫作的學生能夠產出內容更準確、語言更嚴謹的文本，因為該系統通過互動式批注引導學生關注源文本的關鍵信息，學習如何精練語言以表達合適語義。一般來說，教師對系統的熟悉程度越高，使用系統的頻率和滿意度也越高(Linket al. 2014;Li 2021)。Li(2021)在美國中西部某大學的研究中發現，兩位教師由于自身研究或學習的經歷，對自動評估系統“Criterion”的使用持更積極的態度；另一位教師沒有“Criterion”的使用經驗，更傾向將系統作為節省自身勞力的工具，沒有深入思考如何指導學生使用自動評估反饋。

教師使用寫作自動評估系統時，也應具體分析學生情況，設計合適的評價任務來提升學生使用自動評估反饋時的投入度。Ngoet al.(2022)的系統文獻綜述發現，寫作自動評估系統對外語學生寫作水平的提高效果大于對二語學生的促學效果，對中等外語水平學生的寫作水平具有更顯著的提升效果。然而，何種寫作評價活動的設計能最大程度發揮寫作自動評估系統的作用，不同場景中對這一問題的答案并不相同。Li(2021)在美國大學的研究中發現，自動評估系統的最低分數設定增加了學生修改并提交習作的次數。但是，Jiang & Yu(2022)對中國學生的研究指出，規定最低分數對一些學生來說是促使他們根據反饋不斷修改文章的動力，而對投入度不高的學生來說，最低分數的規定反而挫傷了他們提高文章質量的積極性。由此，教師應分析學生英語水平和學習動機水平，將其與寫作自動評估系統的功能特征相匹配。

3.2 科學認識和以開放態度對待自動評估系統

雖然自動評估系統在評價準確度、維度全面性、社會性等方面存在不足，但是教師的寫作活動設計和對反饋的科學認識往往能將技術的缺陷轉化為教學機會。多項研究表明，教師科學認識寫作評估活動的過程性本質，將機評系統富有策略地應用于寫作教學，能使學生的寫作質量、態度乃至整體學業水平得到顯著提升(Grahamet al. 2015;Nuneset al. 2022;唐錦蘭，吳一安 2012;胡學文 2015)。Linket al.(2014)采訪了美國中西部某大學五位學術英語教師，發現教師們將“Criterion”系統視作設計課堂活動的“工具箱”、提升學生元語言技能的“助手”或減輕教師作業評改工作量的“語法檢查器”,對寫作自動評估系統的表現總體滿意。他們認為雖然系統提供的反饋較為模棱兩可或程式化，但也為學生提供了學習機會，并且系統給學生習作提供的整體分數是學生學習動力的激發因素。

教師對寫作自動評估系統的態度影響學生的態度，也影響寫作課程中自動評估系統的使用頻次，而這些因素往往決定了寫作自動評估系統的效用能否得到最大程度的發揮。Chen & Cheng(2008)調研了中國臺灣地區三位大學英語寫作教師，其中一位教師對“MY Access!”系統的看法非常負面，在學期開始六周之后便停止使用該系統，學生受其影響對寫作自動評估系統的看法較之其他教師的學生也更加消極。Jianget al.(2020)采訪了中國大陸高校11位教師，其中有兩位教師認為“Pigai”系統打分不可靠，增加了教師跟進評價學生有無誤用系統反饋的工作量，因而他們對“Pigai”持抵觸態度，在學期初使用系統布置過兩次作文作業后就放棄使用。然而，根據Ngoet al.(2022)的元分析研究結果，多于兩周的寫作自動評估系統使用經歷對提高學生寫作水平的效果大于不用自動評估系統，但是如果系統使用時間小于或等于兩周，促學效果小于不用自動評估系統。

3.3 圍繞自動評估反饋開展有效互動

融合自動評估系統的寫作活動設計之中，如果任由系統完全取代教師的反饋工作，自動評估技術的使用不僅不能促進教學效果提升，反而可能導致反饋內容流于表面、學生無法進行深度學習、師生關系疏離等不利影響(Kellogg 2008)。如果視自動評估系統為反饋來源的重要補充，將系統反饋的某些缺點視作學生的學習機會，則有可能彌補不足(Linket al. 2014)。針對系統的分數或具體反饋，教師應設計相應的后續活動，讓師生和生生之間有機會圍繞自動評估反饋進行協商和探討(Jianget al. 2020)。M?rchet al.(2017)指出，將“EssayCritic”系統用于議論文合作寫作教學時，學生之間能就文本內容進行更自信、更高效的溝通，而教師的適時引導能有效提升討論效率和寫作產出質量。Ngoet al.(2022)發現與同伴共同分析和使用寫作自動評估系統提供的反饋，對學生寫作水平的提升效果最大。

基于寫作自動評估的教師反饋素養模型

基于寫作自動評估的

教師反饋素養模型

在對相關文獻梳理和總結的基礎上，筆者提出基于寫作自動評估系統的教師反饋素養模型(見圖1)。這一模型強調寫作反饋的過程屬性，將發展教師反饋素養貫穿寫作課前設計、課中實施、課后反思過程。教師幫助學生選擇寫作自動評估系統工具、使用機評批注和解讀機評反饋，教師認知、情緒態度和能力三個維度的素養是將寫作自動評估系統有機融入寫作教學的核心元素。

課前設計環節，教師應能分析各類寫作自動評估系統的優勢與不足，選擇適合教學目標與教學要求的自動評估系統。教師需要深入了解各個系統適用的學生背景、語言水平、寫作體裁、寫作話題等特征，設計相應的寫作任務和教學活動。不同系統在評估維度上各有側重，例如“E-rater”側重評估詞句多樣性，“EssayCritic”重點評估內容，“Grammarly”能夠評估語言風格。教師在設計寫作任務的評分量表時應充分融合所選系統的相關維度，并通過人工評估彌補其不足維度。教師應能充分調動學生的主觀能動性，鼓勵學生主動閱讀和使用反饋。這要求在課程設計之初，師生通過協商明確相關責任，具體可通過口頭溝通訂立契約(Rudolphet al. 2014),或者調整學生在線修改次數上限，在布置任務之前就讓學生明示希望獲得的教師反饋類型等(Winstone & Carless 2019)。學生可以通過自動評估系統甄別語言和語法錯誤，而教師可以聚焦寫作內容、風格等高階能力給予反饋。

課中實施環節，教師應能考慮師生和生生之間的情感聯結。寫作是一項社會性活動，將寫作自動評估系統引入課堂，應使其服務于更加高效的人際交流，而非取代教師或者同伴的反饋工作。寫作課堂中，教師可圍繞機評反饋組織師生對話和同伴討論。根據課前明確的相關責任，學生通過自主檢查修改基本語言錯誤，通過同伴互動拓展寫作思路和增強讀者意識，通過教師實時引導提升寫作內容的深度、修辭手法的多樣性等。教師還應及時關注學生面對機評分數和反饋產生的沮喪、憤怒或自滿等情緒(Zhouet al. 2020)。作為學生心目中權威反饋的來源，教師圍繞反饋結果的討論能很好地化解學生的負面情緒，促使他們更有效地使用反饋(韓曄，許悅婷 2020)。這種解讀也會讓學生感受到教師對個體的關注，提升他們參與寫作評價活動的動力。再者，對于自動評估系統無法準確評價的維度，如寫作內容的深度和廣度、特殊修辭手法的運用，教師應能充分調用寫作知識和策略，即時進行補充評價，使學生認識到寫作并非只是復雜詞句的堆砌，也應關注內容表達的思想深度和社會屬性。

課后反思環節，教師應能從寫作過程和產出結果兩方面進行反思。通過回溯寫作過程，教師可總結寫作自動評估系統在不同教學環節的功能與缺陷，并在后續教學設計中不斷優化評估系統的使用模式。通過解讀評估系統提供的各個寫作質量維度的評分，教師能更全面了解學生水平，也能比較自動評分和人工評分之間的共性與差異，引導學生理性解讀機評分數和批注。長期來看，寫作自動評估系統使得數據驅動學習更加可行。教師應提高追蹤學生寫作能力發展過程的意識，依托自動評估系統對寫作數據的儲存和可視化分析為學生建立寫作課程電子檔案袋。學生習作不僅是描摹每一名學生寫作發展軌跡的寶貴數據，也能用于寫作自動評估系統新的算法訓練。

整體而言，課前、課中和課后階段都應重視教師在寫作自動評估和反饋方面的認知、情緒態度和能力發展。教師認知方面，應通過培訓或學習共同體內的交流幫助教師熟悉寫作自動評估系統，了解系統的優缺點，并通過評估知識培訓、教學反思等方式使教師更好地理解評估和反饋活動知識性、互動性的本質。情緒態度方面，教師學習共同體中優秀評估案例的分享有助于培養教師對寫作自動評估系統開放包容的態度，以此對學生產生積極影響，提高師生使用寫作自動評估系統時的投入度。教師能力方面，對于將自動評估系統和學生特點相匹配、將師評和機評反饋相結合等高度場景化的評估實踐能力，需要通過學校組織評估經驗交流分享、研究者開展更多相關實證研究得以提高。

結語

在人工智能技術蓬勃發展、教育信息化轉型的時代背景下，寫作自動評估能在外語寫作教學課堂中發揮越來越重要的作用。本文梳理了國內外經典的寫作自動評估系統的反饋特點、優勢與不足，在厘清教師反饋素養內涵和總結教師自動評估系統實踐特征的基礎上，提出了基于寫作自動評估的教師反饋素養模型。未來研究可對該模型的科學性和有效性進行實證檢驗，設計教學實驗項目，開發教師反饋素養評價量表，將教育技術和反饋理論切實轉化為實際教學成果，促進教師反饋素養提升和學生寫作能力發展。

文章來源：外語界