好書推薦！《動(dòng)物行為實(shí)驗(yàn)指南》電子版pdf，網(wǎng)盤發(fā)貨

《動(dòng)物行為實(shí)驗(yàn)指南》共674頁，涵蓋了常見的實(shí)驗(yàn)動(dòng)物，如小鼠、大鼠和斑馬魚，詳細(xì)描述了每一種行為測(cè)試的實(shí)驗(yàn)設(shè)計(jì)、測(cè)試設(shè)備、實(shí)驗(yàn)流程、評(píng)估指標(biāo)、預(yù)期結(jié)果、常見問題及解決方法、數(shù)據(jù)分析、模型應(yīng)用與局限性等各個(gè)方面。它通過快速引導(dǎo)，幫助研究人員高效地掌握實(shí)驗(yàn)的每個(gè)階段，減少了查閱文獻(xiàn)和尋找方法的時(shí)間，成為各類科研人員的重要參考資料。 《動(dòng)物行為實(shí)驗(yàn)指南》共計(jì)收錄了16種動(dòng)物行為類型，包括焦慮抑郁、學(xué)習(xí)記憶、痛覺、運(yùn)動(dòng)、恐懼、社交、癲癇、操作、成癮、視覺、癢覺、味覺、嗅覺、睡眠、斑馬魚行為以及常見動(dòng)物模型等內(nèi)容。每一類動(dòng)物行為下，都詳細(xì)介紹了多個(gè)經(jīng)典的實(shí)驗(yàn)范式，涵蓋了超過100種實(shí)驗(yàn)方法。 www.behaviewer.com

動(dòng)物的選擇行為表現(xiàn)出兩種主要傾向：采取曾帶來獎(jiǎng)勵(lì)的行為以及重復(fù)過去的行為。理論認(rèn)為，這些策略可能由不同類型的多巴胺能信號(hào)所強(qiáng)化：獎(jiǎng)勵(lì)預(yù)測(cè)誤差用于強(qiáng)化基于價(jià)值的關(guān)聯(lián)，而基于動(dòng)作的預(yù)測(cè)誤差則用于強(qiáng)化無價(jià)值的重復(fù)性關(guān)聯(lián)。

基于此，2025年5月14日，英國倫敦大學(xué)Marcus Stephenson-Jones研究團(tuán)隊(duì)在Nature雜志發(fā)表了“Dopaminergic action prediction errors serve as a value-free teaching signal”揭示了多巴胺能的動(dòng)作預(yù)測(cè)誤差作為一種無價(jià)值的學(xué)習(xí)信號(hào)。

在本文中，作者使用小鼠的聽覺辨別任務(wù)，發(fā)現(xiàn)尾部紋狀體與運(yùn)動(dòng)相關(guān)的多巴胺活動(dòng)編碼了動(dòng)作預(yù)測(cè)誤差信號(hào)。因果操控實(shí)驗(yàn)表明，這種預(yù)測(cè)誤差作為一種無價(jià)值的教學(xué)信號(hào)，通過加強(qiáng)重復(fù)性的關(guān)聯(lián)來支持學(xué)習(xí)。計(jì)算建模和實(shí)驗(yàn)結(jié)果表明，僅靠動(dòng)作預(yù)測(cè)誤差無法支持以獎(jiǎng)勵(lì)為導(dǎo)向的學(xué)習(xí)；但當(dāng)其與獎(jiǎng)勵(lì)預(yù)測(cè)誤差系統(tǒng)結(jié)合時(shí)，能夠以無價(jià)值的方式鞏固穩(wěn)定的聲音–動(dòng)作關(guān)聯(lián)。總體而言，作者的研究顯示存在兩種類型的多巴胺能預(yù)測(cè)誤差信號(hào)，它們協(xié)同工作以支持學(xué)習(xí)過程，分別在紋狀體的不同區(qū)域強(qiáng)化不同類型的行為關(guān)聯(lián)。

圖一 TS對(duì)促進(jìn)學(xué)習(xí)和完成聽覺辨別任務(wù)的執(zhí)行是必要的

在COT任務(wù)（自發(fā)起始的雙選一抉擇范式）中，小鼠通過將鼻子探入中央端口來啟動(dòng)試驗(yàn)從而觸發(fā)由一系列重疊的純音組成的聽覺刺激。它們根據(jù)刺激中主要包含的是低頻（5–10千赫）還是高頻（20–40千赫）聲音，選擇左側(cè)或右側(cè)的獎(jiǎng)勵(lì)端口。與先前的研究結(jié)果一致，在訓(xùn)練有素的小鼠中，使用蠅蕈醇對(duì)尾部紋狀體進(jìn)行雙側(cè)失活會(huì)損害任務(wù)表現(xiàn)。在尾部紋狀體，對(duì)其中任一類型的紋狀體投射神經(jīng)元進(jìn)行單側(cè)光遺傳學(xué)失活，也會(huì)對(duì)小鼠的選擇產(chǎn)生相反且顯著的影響。這些結(jié)果表明，尾部紋狀體對(duì)于執(zhí)行已學(xué)會(huì)的行為是必要的，并且兩類投射神經(jīng)元對(duì)聽覺引導(dǎo)的選擇產(chǎn)生了相反的作用。為了測(cè)試尾部紋狀體是否也參與任務(wù)的學(xué)習(xí)過程，作者在訓(xùn)練前對(duì)尾部紋狀體進(jìn)行了損毀，尾部紋狀體的損傷導(dǎo)致了學(xué)習(xí)能力的下降，降低了學(xué)習(xí)速度和最終達(dá)到的表現(xiàn)水平。為了探究學(xué)習(xí)缺陷并非由于小鼠無法依據(jù)已建立的聲音–動(dòng)作關(guān)聯(lián)采取行動(dòng)，向尾部紋狀體注射了一種 NMDA 受體拮抗劑，在訓(xùn)練期間注射時(shí)則顯著損害了學(xué)習(xí)能力。此外，損毀投射到尾部紋狀體的多巴胺神經(jīng)元也重現(xiàn)了尾部紋狀體整體損傷的效果。尾部紋狀體多巴胺缺失的小鼠在學(xué)習(xí)過程中表現(xiàn)出缺陷，但它們從中央端口移動(dòng)到選擇端口所花的時(shí)間，以及兩次試驗(yàn)之間的時(shí)間均未受到影響。總體而言，尾部紋狀體及其多巴胺能輸入對(duì)于促進(jìn)學(xué)習(xí)和執(zhí)行聽覺辨別任務(wù)都是必需的。

圖二 TS多巴胺釋放與對(duì)側(cè)運(yùn)動(dòng)相關(guān)

為了理解TS中多巴胺在任務(wù)中的作用，作者使用多巴胺sensor對(duì)其動(dòng)態(tài)進(jìn)行了監(jiān)測(cè)。TS中的多巴胺反應(yīng)在時(shí)間上與從中央端口出發(fā)的對(duì)側(cè)運(yùn)動(dòng)相關(guān)，這與腹側(cè)紋狀體（VS）中獎(jiǎng)勵(lì)反應(yīng)形成對(duì)比。為了區(qū)分與重疊行為事件相關(guān)的多巴胺反應(yīng)，將線性回歸模型應(yīng)用于訓(xùn)練早期獲得的光度測(cè)量數(shù)據(jù)。該模型包括三種事件類型：提示（進(jìn)入中央端口）、選擇（離開中央端口）和結(jié)果（進(jìn)入側(cè)端口）。VS的反應(yīng)最能被“結(jié)果”內(nèi)核解釋，反映了對(duì)獎(jiǎng)勵(lì)的強(qiáng)烈反應(yīng)以及在未獲得獎(jiǎng)勵(lì)試驗(yàn)中的信號(hào)下降。相比之下，TS表現(xiàn)出極小的結(jié)果相關(guān)多巴胺活動(dòng)。與其他研究一致，在背外側(cè)紋狀體后部（pDLS）記錄到了多巴胺能的獎(jiǎng)勵(lì)反應(yīng)，該區(qū)域位于TS前方，且不明顯接受初級(jí)聽皮層的神經(jīng)支配。TS中最強(qiáng)的多巴胺反應(yīng)是與對(duì)側(cè)運(yùn)動(dòng)鎖定的活動(dòng)，這種反應(yīng)也出現(xiàn)在小鼠從側(cè)端口返回中央端口的過程中。VS中與運(yùn)動(dòng)相關(guān)的活動(dòng)較弱，且對(duì)側(cè)與同側(cè)動(dòng)作之間沒有顯著差異。這些結(jié)果表明，VS中的多巴胺活動(dòng)顯著編碼了獎(jiǎng)勵(lì)結(jié)果，與獎(jiǎng)勵(lì)預(yù)測(cè)誤差（RPE）一致；而TS中的多巴胺活動(dòng)則編碼了運(yùn)動(dòng)信息。為了確認(rèn)TS中的多巴胺活動(dòng)與聲音無關(guān)，作者在一些試驗(yàn)中省略了提示音并發(fā)現(xiàn)反應(yīng)沒有顯著差異。為了評(píng)估任務(wù)依賴性，在小鼠探索曠場(chǎng)時(shí)記錄了TS的多巴胺活動(dòng)。與任務(wù)中記錄的結(jié)果一致，TS多巴胺在對(duì)側(cè)運(yùn)動(dòng)期間增加，其信號(hào)隨運(yùn)動(dòng)幅度變化。轉(zhuǎn)向角度與TS多巴胺顯著相關(guān)，而在VS中并未觀察到這種相關(guān)性。這些結(jié)果進(jìn)一步證實(shí)，TS多巴胺編碼了與運(yùn)動(dòng)相關(guān)的信息。為了判斷是否存在對(duì)聲音刺激的額外感覺反應(yīng)，訓(xùn)練小鼠完成一個(gè)變式任務(wù)：當(dāng)它們從側(cè)端口返回中央端口以啟動(dòng)下一次試驗(yàn)時(shí)播放聲音。在這個(gè)任務(wù)版本中，多巴胺對(duì)聲音沒有顯著反應(yīng)，但對(duì)從中央端口出發(fā)的對(duì)側(cè)定向運(yùn)動(dòng)的反應(yīng)仍然存在。此外，在小鼠自由探索曠場(chǎng)時(shí)播放聲音提示，也沒有引發(fā)顯著反應(yīng)。這些結(jié)果進(jìn)一步表明，記錄到的TS多巴胺信號(hào)與運(yùn)動(dòng)有關(guān)，而不是由聲音引發(fā)的。

圖三 TS多巴胺釋放強(qiáng)化狀態(tài)–動(dòng)作關(guān)聯(lián)

為了確定TS的多巴胺信號(hào)是否可以作為一種教學(xué)信號(hào)，作者在任務(wù)的不同階段進(jìn)行了光遺傳學(xué)刺激誘導(dǎo)TS多巴胺釋放。為了模擬內(nèi)源性的、與運(yùn)動(dòng)相關(guān)的TS多巴胺信號(hào)，在小鼠更傾向于做出對(duì)側(cè)選擇的試驗(yàn)中，在中央選擇端口進(jìn)行單側(cè)刺激。在實(shí)驗(yàn)過程中，這種刺激引發(fā)了顯著的對(duì)側(cè)行為偏向。這種偏向隨著實(shí)驗(yàn)進(jìn)程逐漸發(fā)展，符合其可能影響學(xué)習(xí)的預(yù)期，并且可以在一個(gè)人為刺激動(dòng)作預(yù)測(cè)誤差（APE）的模型中重現(xiàn)。光遺傳學(xué)刺激并不直接影響行為選擇，因?yàn)樵趥€(gè)別受到刺激的試驗(yàn)中并未觀察到選擇偏向。在選擇時(shí)刻對(duì)VS進(jìn)行多巴胺刺激也沒有顯著影響，同樣地，在選擇結(jié)果發(fā)生時(shí)對(duì)TS或VS進(jìn)行多巴胺刺激也未產(chǎn)生明顯效果。在一個(gè)自由選擇范式中，TS多巴胺刺激并未引發(fā)選擇偏向，但在刺激VS多巴胺釋放時(shí)，小鼠顯著偏向于被刺激的那一側(cè)端口。最后，在實(shí)時(shí)位置偏好實(shí)驗(yàn)中，TS多巴胺刺激沒有表現(xiàn)出獎(jiǎng)賞性或厭惡性效應(yīng)。這些結(jié)果表明，TS多巴胺釋放能夠像計(jì)算模型所預(yù)測(cè)的那樣強(qiáng)化狀態(tài)–動(dòng)作關(guān)聯(lián)，但不強(qiáng)化狀態(tài)–結(jié)果關(guān)聯(lián)。其他理論認(rèn)為，與運(yùn)動(dòng)相關(guān)的多巴胺可能促進(jìn)動(dòng)作啟動(dòng)或調(diào)節(jié)正在進(jìn)行的行為。然而，在開放場(chǎng)地中進(jìn)行閉環(huán)光遺傳學(xué)刺激后，并未影響小鼠的運(yùn)動(dòng)概率，也不會(huì)在其運(yùn)動(dòng)時(shí)改變其運(yùn)動(dòng)參數(shù)。這些發(fā)現(xiàn)進(jìn)一步支持了TS多巴胺活動(dòng)的作用是強(qiáng)化狀態(tài)–動(dòng)作關(guān)聯(lián)而不是影響正在進(jìn)行的動(dòng)作。既然TS多巴胺刺激能夠強(qiáng)化狀態(tài)–動(dòng)作關(guān)聯(lián)，進(jìn)一步研究?jī)?nèi)源性的TS多巴胺釋放是否也具有類似功能。使用了一個(gè)邏輯回歸模型，用以根據(jù)前一試驗(yàn)中的多巴胺反應(yīng)和當(dāng)前試驗(yàn)的感官不確定性來預(yù)測(cè)選擇重復(fù)的概率。結(jié)果顯示這兩個(gè)因素都與選擇重復(fù)呈顯著正相關(guān)，表明當(dāng)TS多巴胺反應(yīng)較強(qiáng)、感官不確定性較高時(shí)，小鼠更有可能重復(fù)之前的選擇。相比之下，VS中的獎(jiǎng)勵(lì)相關(guān)多巴胺反應(yīng)大小與選擇偏向無關(guān)。這些結(jié)果表明，在做出選擇的時(shí)間點(diǎn)上，與運(yùn)動(dòng)相關(guān)的多巴胺作為一種無價(jià)值的教學(xué)信號(hào)，在TS中強(qiáng)化了刺激–動(dòng)作關(guān)聯(lián)，使得小鼠在聽到聽覺刺激時(shí)更傾向于重復(fù)過去采取過的動(dòng)作。這些發(fā)現(xiàn)表明，更大的TS多巴胺信號(hào)會(huì)使小鼠更傾向于重復(fù)先前的狀態(tài)–動(dòng)作關(guān)聯(lián)，并表現(xiàn)出更相似的運(yùn)動(dòng)軌跡。

總結(jié)

作者在此展示TS中的運(yùn)動(dòng)相關(guān)多巴胺活動(dòng)作為一種教學(xué)信號(hào)，能夠強(qiáng)化狀態(tài)-動(dòng)作之間的關(guān)聯(lián)。TS中的多巴胺活動(dòng)編碼了一種動(dòng)作預(yù)測(cè)誤差（APE），即在特定狀態(tài)下所執(zhí)行的動(dòng)作與預(yù)期動(dòng)作之間的差異。這種無價(jià)值屬性的信號(hào)教會(huì)小鼠重復(fù)過去采取的動(dòng)作。單獨(dú)而言，僅靠這個(gè)無價(jià)值系統(tǒng)（APE→TS）本身，并不能支持基于獎(jiǎng)賞的學(xué)習(xí)；但當(dāng)它與經(jīng)典的獎(jiǎng)賞預(yù)測(cè)誤差（RPE）系統(tǒng)結(jié)合時(shí)，就能夠?qū)W習(xí)模仿并存儲(chǔ)帶有價(jià)值引導(dǎo)的狀態(tài)-動(dòng)作關(guān)聯(lián)。綜上所述，存在兩種類型的多巴胺預(yù)測(cè)誤差，它們?cè)诩y狀體的不同區(qū)域中協(xié)同作用以支持學(xué)習(xí)過程，分別強(qiáng)化不同類型的狀態(tài)-動(dòng)作關(guān)聯(lián)。這兩種預(yù)測(cè)誤差：動(dòng)作預(yù)測(cè)誤差和獎(jiǎng)賞預(yù)測(cè)誤差共同作用，使得學(xué)習(xí)機(jī)制更為完善和靈活。

文章來源

https://doi.org/10.1038/s41586-025-09008-9