近日，西湖大學生命科學學院孫一團隊在 Current Biology 發表題為 “Behavioral signatures of structured feature detection during courtship in Drosophila” 的研究論文，報導了在社交場景下的多元物體識別與感覺運動綜合研究中的最新成果。
論文連結：
https://doi.org/10.1016/j.cub.2022.01.024
社會互動中個體間的感知識別是社會行為的基本過程之一。果蠅通過精簡的神經系統實現了社交等複雜的自主行為，同時具有發達的遺傳學工具便於神經環路研究，通過精確定量解析這一簡潔模型有望率先揭示神經網路的一般性原理。
然而迄今的個體感知識別研究往往通過將個體簡化為低維物體。雖然這一簡化帶來便利，但卻回避了作為社會行為覈心的複雜性。
自然界的實際物體在多個維度上以一定的結構表現出極其豐富的特徵，如何在複雜場景下建立多元特徵和行為的一般性關係是研究多元物體識別的一大挑戰。
為了解决這一挑戰，孫一團隊從神經系統的基本架構出發進行考慮。感知識別環境中的相關資訊並作出行為反應是腦的基本功能，這一感覺運動轉換過程在二元社互動動中具有獨特的對稱性，即此個體的行為活動同時也是彼個體的感覺資訊，反之亦然。這一“感覺運動二相性”是社交行為在感覺運動層面的關鍵特徵之一，這也意味著，如果能够定量量測個體行為，那麼作為輸入的感覺資訊和作為輸出的行為活動都將同時被精確刻畫，進一步應用系統辨識，將為建立這一輸入輸出關係提供可能，解决前述挑戰。以這一設想為基礎，結合一系列技術開發，孫一團隊在多元物體識別問題上打開了一個視窗。
解决這一問題首先需要量測行為。行為量測常受困於漲落，而規律則隱藏在漲落之後。提高數據量是有效手段，但已有科技不適於動態複雜的社交行為分析。通過發展新技術對數萬對果蠅在三年多時間中採集數十億幀影像並深入分析，發現參照系座標變換後果蠅求偶過程穩定表現出一種獨特的“圓舞（circling）”。
圖1參照系座標變換發現果蠅求偶過程中的“圓舞”行為
定量分析發現“圓舞”具有良好的運動協調性。有趣的是，在雄性為雌性起舞後，雌性同樣會跟隨雄性而動，並最終實現動作的同步。這就提示目標驅動的行為過程。
圖2 “圓舞”動作的協調與個體間動作的同步
通過阻斷不同感覺輸入，發現這一“二蠅轉”在受益於多模式綜合的同時高度依賴於視覺資訊。為揭示“圓舞”發生的潜在動機，通過回顧性分析證實 “圓舞”為目標驅動的求偶過程。
圖3 回顧性分析揭示“圓舞”為求偶過程中目標驅動的視覺行為
目標驅動的社會行為中感覺運動資訊常表現出强偶聯關係，並高度依賴物體識別過程。以“圓舞”為模型，通過研究感覺運動關係展開了個體識別過程的深入研究。首先，雄蠅多個動作參數的概率分佈密度依賴於其觀察雌蠅的視角。視角依賴的物體識別初步提示多元特徵檢測。
圖4 發現視角依賴的雄性動作參數分佈並提示視角依賴的物體識別過程
雄蠅動作參數還受到雌蠅特定部位空間位置的影響。通過二值化定量行為進行檢測分析，發現雌蠅頭部和尾部位置資訊對於雄蠅的抉擇起關鍵作用。這就需要神經系統對個體各部位特徵具有檢測和分辨能力，從而為多元特徵檢測提供了直接證據。
圖5 雌蠅特定部位的空間位置影響雄性動作參數
雄蠅動作參數還受到雌蠅運動速度和運動方向也就是運動向量的影響，提示向量化的動態多元特徵檢測。這一發現同時提示運動結構算灋（SfM）可能參與結構化特徵的檢測。
圖6 雌蠅運動向量决定雄性動作參數
課題組進一步通過廣義線性模型（GLM）、逆相關（RC）等系統辨識方法量測感覺運動傳遞函數，發現了雄蠅動作與雌蠅特徵之間的一般性關係：雄蠅的特定動作參數與雌蠅特定部位的空間位置和運動方向等特定姿態特徵以特定時延具有穩定的時空關係。空間上，距離變化影響動作的發生時間，而角度的變化易於影響動作的方向；時間上，過去而不僅是當前時刻的特徵都會影響動作，提示經驗依賴性，從而解决了這一挑戰。
圖7 系統辨識建立感覺運動傳遞函數揭示依賴時空結構化特徵檢測的行為模型
這一工作建立了多元物體識別的新研究模型，給出了一系列感覺運動傳遞函數，並總結提出了“結構化特徵檢測（SFD）”這一新理論，為個體識別問題奠定了一套獨特的理論框架。如一比特審稿人所評論，“該研究的發現和最新的空間建模與物體識別理論緊密結合”。此外，該工作還研究了社交行為中動作的協調，以及個體間動作的相互同步。如另一比特審稿人所說，“該研究不僅對於果蠅研究而且對於整個感覺運動綜合領域都具有很大價值”。未來有望揭示如何在緊湊的神經網路上實現這些複雜的計算，並最終闡明其中的一般性原理，啟發未來智慧系統的設計。
在科技上，這一工作公開了首個果蠅社交行為標注數据集SDPD-15k （關於果蠅社交行為的ImageNet）；通過將自上而下的模組化架構和高分辨卷積神經網路相結合，開發了果蠅社交行為運動分析工具SoAL，效能數倍於DeepLabCut等常用工具；開發了多相機同步成像控制工具MIAS，支持多種國產相機，為後續下一代高精度行為量測奠定了基礎；發展了系統辨識方法應用於高維行為資料分析。
這些在成像、運動預測、標注數据集和系統辨識方面的一系列新技術構成了自然行為的完整研究科技體系。如一比特審稿人所說，該研究發展了用於未來計算行為學研究的工具，特別是這些高分辨行為數據與系統辨識方法的結合。
本文第一作者為孫一團隊博士生寧靜，通訊作者為孫一。研究受到國家自然科學基金、西湖實驗室、西湖教育基金會等資助。