計算機視覺（CV）和自然語言處理（NLP）早先是兩個較為d立的研究L域。CV 重點關(guān)注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務，對圖像進行處理；NLP 則研究計算機如何處理、運用自然語言，包括語言生成、問答、對話等任務。近年來，以深度神經(jīng)網(wǎng)絡為代表的機器學習和模式識別技術(shù)被廣泛應用于 CV 和 NLP L域，取得了目前先進的效果。

近年來，研究者們試圖將動作控制也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A（Vision, Ask, Answer, Act），在給定視覺輸入后，我們希望機器能夠提出問題、回答問題、并通過和人以及機器之間的語言交流執(zhí)行某些動作。

例如，「Vision+Ask」的任務包含視覺問題生成、根據(jù)問題生成查詢、圖像描述等；「Vision+Answer」的任務包含視覺問答、視覺對話等；「Vision+Act」的任務包含指稱表達、視覺對齊（visual grounding）、語言引導的視覺導航、具身視覺問答、具身指稱表達等。