图像处理设备、图像处理方法和程序
2020-01-13

图像处理设备、图像处理方法和程序

本发明提供了一种图像处理设备、图像处理方法和程序,其中,该图像处理设备包括多个加法装置和一个图像处理装置。加法装置执行将表示第一分辨率的输入图像与高于第一分辨率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第二分辨率的输入图像的像素相加的加法处理。图像处理装置被配置为执行第二和以后的加法处理,并通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果。使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行加法处理。

在步骤S28中,环路控制电路711检查从加法电路52:提供的SR图像的图像质量。

在步骤S53中,运动补偿电路62基于从运动向量检测电路61提供的运动向量来对SR图像(经过喜好控制并从喜好控制电路101提供)应用运动补偿,并将通过应用运动补偿获得的图像输出至下行取样滤波器63。

图22的超分辨率处理器51n的配置与图18配置的不同之处在于,取代在运动补偿电路62的前一级中,在下行取样滤波器63与加法电路64之间设置喜好控制电路101,以及取代在反向运动补偿电路66的后一级中,在加法电路64与上行取样滤波器65之间设置喜好控制电路102。

下文中,根据需要,将使用输入的LR图像和SR图像得到反馈值的处理(通过超分辨率处理器51(|至512执行)称为反馈值算术处理,以及将用于通过将由反馈值表示的图像与SR图像相加来生成一个帧的SR图像的处理称为加法处理。通过重复反馈值算术处理和加法处理来实现超分辨率处理。

如图4所示,超分辨率处理器IIn包括运动向量检测电路21、运动补偿电路22、下行取样滤波器23、加法电路24、上行取样滤波器25、和反向运动补偿电路26。 将从SR图像缓冲器14中读取的SR图像输入至运动向量检测电路21和运动补偿电路22,并且将通过成像获得的LRn输入至运动向量检测电路21和加法电路24。

放大处理单元233将由二进制化处理单元232生成的二进制图像放大成分辨率与SR图像的分辨率相同的图像,然后将该图像作为屏蔽图像输出至屏蔽处理单元234。

在步骤S106中,加法电路204将通过加法获得的SR图像输出至记录单元43,并同时将其提供给将要进行存储的SR图像缓冲器207。

除了被配置为执行第二反馈值算术处理的超分辨率处理器201、运动图片应用处理电路202:和加法电路251:以及被配置为执行第三反馈值算术处理的超分辨率处理器2012、运动图片应用处理电路2022和加法电路2512外,图39的图像处理单元基本上具有与图36的配置类似的配置。

基于从运动向量检测电路21提供的运动向量,反向运动补偿电路26将反向的运动补偿应用于从上行取样滤波器25提供的图像,然后将表示通过应用反向的运动补偿获得的图像的反馈值输出至求和电路12。在通过反向的运动补偿获得的图像上拍摄的对象的位置更接近于存储在SR图像缓冲器14中的SR图像上所拍摄的对象的位置。