苹果AR/VR头显专利提出图像帧纠错解决方案

日前美国专利商标局公布了一份名为“Error concealment for a head-mountable device”的苹果专利申请。发明技术主要描述了一种用于头戴式显示设备的错误隐藏。值得一提的是，这是2019年11月提交的同名专利的延续案。

对于头戴式显示器，其搭载的显示器可以呈现视频帧。但有时候，当前帧会包含错误。例如，在一个实现中，当前帧包含损坏的数据，或者当前帧缺少数据。

呈现具有损坏/丢失数据的帧有时会导致变形对象、视觉伪影，和/或帧中不存在的错误对象等等。所以，头显需要执行纠错操作以补偿损坏/丢失的数据。

名为“Error concealment for a head-mountable device”的发明主要针对上述的问题。

在各种实施例中，一种方法包括获得第一帧，所述第一帧具有与第一存储器分配相关联的第一分辨率。在一个实施例中，所述方法包括将第一帧从第一分辨率下转换为低于第一帧分辨率的第二分辨率，从而产生参考帧。在一个实施例中，第二分辨率与第二存储器分配相关联。在一个实施例中，所述方法包括将参考帧存储在非暂时性存储器中。在一个实施例中，所述方法包括获取以第一分辨率为特征的第二帧。在一个实施例中，所述方法包括根据存储在非暂时性存储器中的参考帧，对第二帧执行纠错操作。

具体来说，错误检测单元检测帧中的错误。在一个实现中，错误检测单元通过确定帧是否包括损坏的数据来检测帧中的错误。在一个实现中，错误检测单元通过确定帧是否丢失数据来检测帧中的错误。在一个实现中，错误检测单元确定帧不包括错误，或者帧中的错误小于错误阈值。在这种实现中，错误检测单元向渲染单元指示帧已准备好呈现。在一个实现中，错误检测单元确定帧包括错误，或者帧中的错误超过错误阈值。在这种实现中，错误检测单元调用错误校正单元来校正和/或隐藏错误。在一个实现中，响应于确定帧包括错误或者帧中的错误超过错误阈值，错误检测单元向呈现单元指示帧未准备好呈现。

如上面的图6A和图6B所示。图6A是存在视觉伪影的画面，请留意#602这条粗黑线。这是因为视频帧缺失了一定的数据。当发现存在这种错误时，系统可以执行纠错操作，并补偿缺失的数据。图6B是执行纠错操作后的画面。可以看到，原本的粗黑线已经消失。