如果大家有關注微軟的專利探索,這家公司曾多次提出一種集成式攝像頭/系統攝像頭+分離式攝像頭/外部攝像頭的系統理念。其中,集成式攝像頭/系統攝像頭是指物理集成到頭顯的攝像;分離式攝像頭/外部攝像頭則是指與頭顯分離的攝像頭。

例如在一個場景中,可以將分離式攝像頭捆綁或以其他方式放置在用戶的胸部。在另一個場景中,分離式攝像頭可以不放置在用戶的身體上,而是由用戶握持的工具上。

對于這種配置,系統需要對準來自不同源的圖像,并在用戶視圖中快速獲取目標,亦即幫助用戶快速精確地定位期望的目標,這樣用戶就不再需要花費時間進行觀察搜索。例如,當用戶需要使用槍械瞄準鏡時,快速對齊槍械瞄準鏡和頭顯攝像頭的圖像,并快速定位瞄準鏡瞄準的目標。

在名為“Smooth and jump-free rapid target acquisition”的專利申請中,微軟就介紹了相關的快速獲取目標圖像。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

圖1示出了頭戴式設備100的示例。頭顯100示為包括掃描傳感器105,并且頭顯100可以使用掃描傳感器105來掃描環境、繪制環境地圖、捕獲環境數據和/或生成環境的任何類型的圖像。

頭顯100可以用于生成用戶環境的透視可視化。為了生成透視圖像,掃描傳感器105通常依靠其攝像頭來獲得環境的一個或多個原始圖像除了生成透視圖像之外,原始圖像同時可以用于確定深度數據。

一旦獲得了這些原始圖像,則可以根據嵌入或包括在原始圖像中的深度數據來計算深度圖,并且如果需要,可以使用深度圖為任何重投影生成透視圖像(例如每個瞳孔一個)。

通過透視可視化,用戶將能夠感知他/她的環境中當前存在的內容,而不必移除或重新定位頭顯100。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

在前所述,微軟提出的配置可以包含系統攝像頭和外部攝像頭。在圖4中,由外部攝像頭415生成的圖像內容與由系統攝像頭405生成的圖像屬性需要對準,以便用戶更好地辨別工具410瞄準的位置。

微軟提出的技術旨在使用頭顯400、系統攝像頭405和外部攝像頭415作為組合瞄準接口來瞄準工具(例如工具410)。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

圖5示出了系統攝像頭500,以及包括外部攝像頭505的工具(例如抓握槍)。應該注意的是,外部攝像頭505的光軸如何與工具的瞄準方向對準。因此,由外部攝像頭505生成的圖像可以用于確定工具被瞄準的位置。

在圖5中,系統攝像頭500和外部攝像頭505都對準目標510。為了說明,系統攝像頭500的視場FOV由系統攝像頭FOV515(又名HMD攝像頭FOV)表示,并且外部攝像頭505的FOV由外部攝像頭FOV 520表示。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

圖6示出了系統攝像頭FOV 600,其代表了圖5的系統攝像頭FOV515。系統攝像頭FOV 600將由系統攝像頭以系統攝像頭圖像的形式捕獲,并且可以以透視圖像的形式顯示。系統攝像頭圖像具有分辨率605,并且由系統攝像頭基于所確定的系統攝像頭的刷新率610來捕獲。

系統攝像頭的刷新率610通常在大約30Hz和120Hz之間。通常,刷新率610是大約90Hz或者至少60Hz。通常,系統攝像頭FOV 600具有至少55度的水平FOV。系統攝像頭FOV 600的水平基線可以延伸到65度,或者甚至超過65度。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

圖7示出了外部攝像頭FOV 700,其代表圖5的外部攝像頭FOV220。請注意,外部攝像頭FOV 700小于系統攝像頭FOV 600。

換句話說,外部攝像頭FOV 700的角分辨率高于系統攝像頭FOV 600的角分辨率。具有增加的角分辨率令外部攝像頭圖像的像素密度高于系統攝像頭圖像的象素密度。

例如,外部攝像頭圖像的像素密度通常是系統攝像頭圖像的象素密度的2.5到3倍。因此,外部攝像頭圖像的分辨率705高于分辨率605。

外部攝像頭同時具有刷新率710。刷新率710通常低于刷新率610。例如,外部攝像頭的刷新率710通常在20Hz和60Hz之間。通常,刷新率710是至少大約30Hz。

外部攝像頭同時包括外部IMU 715或與外部IMU關聯。使用所述外部IMU 715,實施例能夠檢測或確定外部攝像頭的方位/姿態以及外部攝像頭正受到的任何力。因此,外部IMU 716可以用于確定外部攝像頭瞄準器的姿態(例如,6自由度和/或3自由度)。

對于微軟的發明,需要將從外部攝像頭獲得的圖像與系統攝像頭生成的圖像重疊并對準,以生成重疊并對準的透視圖像。

兩個圖像之間的重疊使得實施例能夠生成多個圖像,然后將圖像內容從一個圖像疊加到另一個圖像上,以便生成具有增強特征的合成圖像或疊加圖像,如果僅使用單個圖像,則增強特征將不存在。

作為一個例子,系統攝像頭圖像提供寬視場,而外部攝像頭圖像為聚焦區域(即工具正在瞄準的瞄準區域)提供高分辨率和像素密度。通過組合這兩幅圖像,得到的圖像將具有寬視場和高像素密度的優點。

實施例能夠將系統攝像頭的圖像與外部攝像頭的圖像對準。因為兩個攝像頭的FOV的至少一部分彼此重疊,所以所得到的圖像的至少一個部分包括相應的內容。

因此,可以識別對應的內容,然后可以基于類似的對應內容生成合并、融合或疊加的圖像。通過生成疊加圖像,實施例能夠向用戶提供增強的圖像內容。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

圖8示出了系統攝像頭圖像805和外部攝像頭圖像810。通過以上方式,系統可以生成合并、融合或疊加的圖像800。提供增強的疊加圖像800允許快速的目標獲取,如圖9中的目標獲取900所示。

微軟AR/VR專利探索在多源圖像中快速定位獲取目標圖像

換句話說,可以以快速的方式獲取目標,即工具精確地對準期望的目標,這樣用戶就不再需要花費時間通過工具的瞄準器進行觀察。