模擬人類睡眠模式的神經網路學習效果更好

加州大學聖地亞哥分校的一組研究人員正在探索如何使人工神經網路模擬人腦的睡眠模式，以減輕災難性遺忘的問題。

這項研究發表在 PLOS Computational Biology。

平均而言，人類每24小時需要7到13小時的睡眠時間。雖然睡眠可以讓身體在很多方面放鬆，但大腦仍然保持非常活躍。

睡眠期間的大腦活動

馬克西姆·巴日諾夫（Maxim Bazhenov）博士是加州大學聖地亞哥分校醫學部的教授和睡眠研究人員。

“大腦在我們睡眠時非常忙碌，重複我們白天所學到的東西，”巴日諾夫說。“睡眠幫助重新組織記憶，並以最有效的方式呈現它們。”

巴日諾夫和他的團隊曾經發表過有關睡眠如何建立理性記憶的研究，理性記憶是指記住任意或間接聯繫之間的物體、人或事件的能力。它還可以保護我們不忘記舊的記憶。

災難性遺忘的問題

人工神經網路從人腦的結構中汲取靈感，以改善人工智能技術和系統。雖然這些技術已經在計算速度方面達到了超人的表現，但它們有一個主要的限制。當神經網路順序學習時，新的信息會覆蓋掉以前的信息，從而導致災難性遺忘的現象。

“相反，人腦可以連續學習，並將新的數據整合到現有的知識中，而且它通常在睡眠期間記憶鞏固時學習效果最佳，”巴日諾夫說。

該團隊使用了模擬自然神經系統的脈衝神經網路。與其說信息是連續傳遞的，不如說信息是以離散事件或脈衝的形式在某些時間點傳遞的。

在神經網路中模擬睡眠

研究人員發現，當脈衝網路在新任務上進行訓練時，偶爾會有離線期，模擬睡眠，災難性遺忘的問題就會得到緩解。與人腦一樣，研究人員說“睡眠”使網路可以在不明確使用舊訓練數據的情況下重播舊記憶。

“當我們學習新信息時，神經元會以特定的順序發射，並增加它們之間的突觸，”巴日諾夫說。“在睡眠期間，白天學習到的脈衝模式會自發地重現。這被稱為重新激活或重放。”

“在睡眠期間，突觸可塑性仍然存在，可以進一步增強代表記憶的突觸權重模式，從而幫助防止忘記或實現從舊任務到新任務的知識轉移。”

該團隊發現，通過將這種方法應用於人工神經網路，可以幫助網路避免災難性遺忘。

“這意味著這些網路可以像人類或動物一樣連續學習，”巴日諾夫繼續說。“了解人腦在睡眠期間如何處理信息可以幫助增強人類受試者的記憶。增強睡眠節律可以帶來更好的記憶。”

“在其他項目中，我們使用計算機模型開發最佳策略，在睡眠期間應用刺激，例如音調，來增強睡眠節律和改善學習效果。這在記憶功能不佳的情況下尤為重要，例如記憶在老齡化或某些疾病如阿爾茨海默病的情況下下降。”