媒体编辑方法及其装置
2020-01-14

媒体编辑方法及其装置

本发明揭示一种媒体编辑方法及其装置,包括活动图像数据保存部(14)保存用户进行录像、录音所得的活动图像数据。区域提取部(17)从该数据提取包含用户的区域。正面判定部(18)检测所提取区域内用户是否朝向正面。声音检测部(19)检测活动图像数据中是否有规定电平以上的声音。帧选择部(20)根据正面判定部(18)和声音检测部(19)的输出结果,确定起始帧和结束帧。编辑部(21)根据确定的起始帧和结束帧,剪裁媒体,并进行图像变换的编辑。发送数据保存部(15)将编辑的媒体作为发送数据保存。所提供的媒体编辑装置能在便携终端的通信终端方便地编制包含消息的媒体。

如上所述,本媒体编辑装置不仅是全部组成部分收装在一个壳体的一体型装置,而且可以是各组成部分通过网络和通信线路进行数据收发的分散型装置。因此,可考虑例如人物选择部24和人物数据库25可通过网络接入且拉于与本媒体编辑装置不同的地方的情况。图20为示出这种分散型媒体编装置或系统的结构的框图。

作为消息输入的活动图像数据,往往采用广角摄像机取得,用户可不必很介意照像机与被摄体的位置关系。因此,如图6的活动图像画面104那样,包含很多用户图像以外的背景区。进行总体缩小的显示,则用户的脸部进一步减小,观看困难,不合适。

图11为对与包含用户的图像区域不重叠的区域配置件名的显示例。

图17为选择所用人物的编辑画面示例图。

为了参照提取的脸部特征量,选择人物数据库25登记的各后补人物,可用上述特征表现,也可计算与登记的脸部特征量的相关值,这里,超过计算设定为适合作后补的提了门限值的相关值时,提取该人物作为后补。人物选择部24将提取的后补人物后对应的人物ID通知编辑部26。

活动图像数据保存部14对应于图1记录部10,用户保存录像、录音所得的活动图像数据作为消息。区域提取部17从保存的活动图像数据提取包含被摄体(用户)的一部分或全部的特定区域。正面判定部18检测区域提取部17所提取区域内的用户是否朝正面。声音检测部19检测活动图像数据的各帧中是否有在规定电平以上的声音信号。帧选择部20根据正面判定部18和声音检测部19的输出结果,决定起始帧和结束帧。编辑部21根据帧选择部20确定的起始帧和结束帧,剪裁媒体,对该媒体进行图像变换处理等。发送数据保存部15对应于图1的记录部10,保存编辑后的媒体,作为发送数据。适当发送保存的数据。

在图17那样的编辑画面的基础上,用户选将使用的人物。编辑部26对生成描述所选人物ID的元数据的媒体进行编辑,从而产生发送数据。当然,也可将人物图像本身编入发送数据。这样产生的发送数据保存在发送数据保存部15,并以适当的定时按地址发送给接收者。

下面,概括说明用户采用本发明媒体编辑方法编制发送用数据时全部步骤的流程。图2为示出进行本发明媒体编制时的信息流程和处理步骤。首先,用户对上述图1的输入部1输入命令,以便开始取得视频和音频数据。然后,用户通过图像输入部2和声输入部4输入消息等,编制活动图像数据。

控制部13由微计算机或CPU等构成,控制上述数据的流程,并进行各种处理。

图像输入部2由CCD摄像机等构成,输入由至少1幅以上图像组成的活动图像。图像输入部2基本上与后面说明的声输入部4联动,通常取得对录制消息的用户拍摄的活动图像。

首先,区域提取部17从活动图像数据保存部14所保存活动图像的各帧图像提取包含用户的一部分(例如脸部)或全部的区域。区域提取部17的这种动作用以上所述的方法能方便地实现。该提取区域可为任何形状。

信号处理部12由数字信号处理器等构成,对图像输入部2输入的图像信号、声输入部4输入的声音信号和记录部10记录的数据至少进行后所述各实施形态中编辑需要的各种处理。