摄像装置、图像处理装置、视频压缩装置、设定程序、图像处理程序以及视频压缩程序
1.本发明申请是国际申请日为2018年9月27日、国际申请号为pct/jp2018/036129、进入中国国家阶段的国家申请号为201880065130.x、发明名称为“视频压缩装置、电子设备以及视频压缩程序”的发明申请的分案申请。
技术领域
2.本发明涉及摄像装置、图像处理装置、视频压缩装置、设定程序、图像处理程序以及视频压缩程序。
背景技术：3.提出有如下电子设备，其包括层叠了背面照射型摄像芯片和信号处理芯片的摄像元件(以下，称为层叠型摄像元件)的电子设备(参照专利文献1)。层叠型摄像元件以使背面照射型摄像芯片和信号处理芯片按每个规定的区域借助微凸块而连接的方式层叠在一起。然而，在层叠型摄像元件中能够在摄像区域内设定多个摄像条件的情况下，输出由多个摄像条件拍摄到的帧，因此，以往不考虑这种帧的视频压缩。
4.现有技术文献
5.专利文献1：jp特开2006-49361号公报
技术实现要素：6.在本技术中公开的技术的一个方面的视频压缩装置具备：获取部，其获取从摄像元件输出的包括多帧的视频数据，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频；以及压缩部，其基于第一帧频和第二帧频对由获取部获取的视频数据进行压缩。
7.在本技术中公开的技术的另一个方面的视频压缩装置对从摄像元件输出的包含多帧的视频数据进行压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，并能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩装置具备：生成部，其针对多帧的每一帧，基于帧与对帧进行预测的预测帧的差分数据和预测帧，生成在时间上在帧之后输入的帧所参照的参照帧；以及运动补偿部，其使用由生成部生成的多个参照帧中的特定的参照帧，执行多帧中的以第二帧频拍摄到的帧的运动补偿。
8.在本技术中公开的技术的一个方面的电子设备具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，以针对每个摄像区域设定的帧频拍摄所述被摄体，并输出作为视频数据的多帧；以及压缩部，其针对由所述摄像元件拍摄到的多帧的每一帧，基于所述第一帧频和所述第二帧频进行压缩。
9.在本技术中公开的技术的另一个方面的电子设备具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，以针对每个摄像区域设定的帧频来拍摄所述被摄体，并输出作为视频数据的多帧；生成部，其针对所述多帧的每一帧，基于所述帧与对所述帧进行预测的预测帧的差分数据和所述预测帧，生成在时间上在所述帧之后输入的帧所参照的参照帧；以及运动补偿部，其使用由所述生成部生成的参照帧中的特定的参照帧，执行所述多帧中的以所述第二帧频拍摄到的帧的运动补偿。
10.在本技术中公开的技术的一个方面的视频压缩程序使处理器执行从摄像元件输出的包括多帧的视频数据的压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩程序使处理器执行如下处理：获取视频数据的获取处理；以及基于第一帧频和第二帧频对在获取处理中获取的视频数据进行压缩的压缩处理。
11.在本技术中公开的技术的另一个方面的视频压缩程序使处理器执行从摄像元件输出的包括多帧的视频数据的压缩，摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，视频压缩程序使处理器执行如下处理：生成处理，其针对多帧的每一帧，基于帧与对帧进行预测的预测帧的差分数据和预测帧，生成在时间上在帧之后输入的帧所参照的参照帧；以及运动补偿处理，其利用在生成处理中生成的参照帧中的特定的参照帧，执行多帧中的以第二帧频拍摄到的帧的运动补偿。
附图说明
12.图1是层叠型摄像元件的剖视图。
13.图2是说明摄像芯片的像素排列的图。
14.图3是摄像芯片的电路图。
15.图4是示出摄像元件的功能的结构例的框图。
16.图5是示出电子设备的块结构例的说明图。
17.图6是示出视频文件的结构例的说明图。
18.图7是示出摄像面与被摄体像的关系的说明图。
19.图8是视频文件的具体的结构例示出的说明图。
20.图9是示出实施例1的视频压缩例的说明图。
21.图10是示出图9示出的视频压缩中的图像处理例1的说明图。
22.图11是示出图9示出的视频压缩中的图像处理例2的说明图。
23.图12是示出图5示出的控制部的结构例的框图。
24.图13是示出压缩部的结构例的框图。
25.图14是示出控制部的动作处理顺序例的时序图。
26.图15是示出图14示出的设定处理(步骤s1404、s1410)的详细的处理顺序例的流程图。
27.图16是示出图15示出的附加信息设定处理(步骤s1505)的详细的处理顺序例的流程图。
28.图17是示出视频文件生成处理的详细的处理顺序例的流程图。
29.图18是示出图14示出的图像处理(步骤s1413、s1415)的详细的处理顺序例的流程图。
30.图19是示出基于压缩控制部的第一压缩控制方法的压缩控制处理顺序例的流程图。
31.图20是示出基于动态检测部的第一压缩控制方法的动态检测处理顺序例的流程图。
32.图21是示出基于运动补偿部的第一压缩控制方法的运动补偿处理顺序例的流程图。
33.图22是示出基于压缩控制部的第二压缩控制方法的压缩控制处理顺序例的流程图。
34.图23是示出基于动态检测部的第二压缩控制方法的动态检测处理顺序例的流程图。
35.图24是示出基于运动补偿部的第二压缩控制方法的运动补偿处理顺序例的流程图。
36.图25是示出图10示出的视频处理例1的具体处理的流程的说明图。
37.图26是示出实施例2的60[fps]的帧的合成例1的说明图。
[0038]
图27是示出实施例2的60[fps]的帧的合成例2的说明图。
[0039]
图28是示出实施例2的60[fps]的帧的合成例4的说明图。
[0040]
图29是示出基于图像处理部的帧的合成例1的合成处理顺序例1的流程图。
[0041]
图30是示出基于图像处理部的帧的合成例2的合成处理顺序例2的流程图。
[0042]
图31是示出基于图像处理部的帧的合成例3的合成处理顺序例3的流程图。
[0043]
图32是示出基于图像处理部的帧的合成例4的合成处理顺序例4的流程图。
[0044]
图33是示出实施例3的60[fps]的帧的合成例的说明图。
[0045]
图34是示出摄像区域的设定与帧的图像区域的对应关系的说明图。
具体实施方式
[0046]
＜摄像元件的结构例＞
[0047]
首先，对搭载于电子设备的层叠型摄像元件进行说明。此外，该层叠型摄像元件记载于本技术申请人之前申请的jp特愿2012-139026号。电子设备例如为数码相机或数码摄像机等的摄像装置。
[0048]
图1是层叠型摄像元件100的剖视图。层叠型摄像元件(以下，仅称为“摄像元件”)100具有输出与入射光对应的像素信号的背面照射型摄像芯片(以下，仅称为“摄像芯片”)113、处理像素信号的信号处理芯片111、以及存储像素信号的存储器芯片112。这些摄像芯片113、信号处理芯片111以及存储器芯片112层叠在一起，通过具有cu等的导电性的凸块109而彼此电连接。
[0049]
此外，如图1所示，入射光主要向用空白箭头表示的z轴正方向入射。在本实施方式中，在摄像芯片113中，将入射光入射这一侧的面称为背面。另外，如坐标轴所示，将与z轴正交的纸面左方向作为x轴正方向，将与z轴及x轴正交的纸面近前方向作为y轴正方向。在以
后的若干幅图中，将图1的坐标轴作为基准显示坐标轴，以便于理解各图的方向。
[0050]
摄像芯片113的一例是背面照射型的mos(metal oxide semiconductor：金属氧化物半导体)图像传感器。pd(发光二极管)层106配置在布线层108的背面侧。pd层106具有以二维方式配置并对与入射光相应的电荷进行蓄积的多个pd104和与pd104对应地设置的晶体管105。
[0051]
在pd层106中的入射光的入射侧，隔着钝化膜103设置有彩色滤光片102。彩色滤光片102具有使互不相同的波长区域透射的多个种类，与pd104的每一个对应地具有特定的排列。关于彩色滤光片102的排列在后面说明。彩色滤光片102、pd104及晶体管105的组形成一个像素。
[0052]
在彩色滤光片102中的入射光的入射侧，与各个像素对应地设置有微型透镜101。微型透镜101朝向对应的pd104对入射光进行聚光。
[0053]
布线层108具有将来自pd层106的像素信号传送到信号处理芯片111的布线107。布线107也可以是多层的，另外，也可以设置无源元件及有源元件。
[0054]
在布线层108的表面上配置有多个凸块109。该多个凸块109与在信号处理芯片111的相对的面上设置的多个凸块109对位，通过对摄像芯片113和信号处理芯片111加压等，将对位的凸块109彼此接合而电连接。
[0055]
同样地，在信号处理芯片111以及存储器芯片112的彼此相对的面上，配置有多个凸块109。这些凸块109彼此对位，通过对信号处理芯片111和存储器芯片112加压等，将对位的凸块109彼此接合而电连接。
[0056]
此外，凸块109间的接合不限于基于固相扩散实现的cu凸块接合，也可以采用基于焊锡熔融实现的微凸块结合。另外，凸块109只要相对于例如后述的一个块设置一个左右即可。因此，凸块109的大小也可以比pd104的间距大。另外，也可以在排列有像素的像素区域以外的周边区域中，一并设置比与像素区域对应的凸块109大的凸块。
[0057]
信号处理芯片111具有将分别设置在表面及背面上的电路彼此连接的tsv(硅贯通电极)110。tsv110优选设置在周边区域。另外，tsv110也可以设置在摄像芯片113的周边区域或存储器芯片112。
[0058]
图2是说明摄像芯片113的像素排列的图。特别示出从背面侧观察摄像芯片113的情况。(a)是示意性示出摄像芯片113的背面即摄像面200的俯视图，(b)是将摄像面200的一部区域200a放大了的俯视图。如(b)所示，在摄像面200呈二维状地排列有多个像素201。
[0059]
像素201分别具有未图示的颜色滤光片。颜色滤光片由红色(r)、绿色(g)、蓝色(b)这三种构成，(b)中的“r”、“g”、以及“b”的标记表示像素201所有的颜色滤光片的种类。如(b)所示，在摄像元件100的摄像面200，而按照所谓拜耳排列而排列有具有这种各色滤光片的像素201。
[0060]
具有红色滤光片的像素201将入射光中的红色的波长域的光进行光电转换并输出受光信号(光电转换信号)。同样地，具有绿色滤光片的像素201将入射光中的绿色的波长域的光进行光电转换并输出受光信号。另外，具有蓝色滤光片的像素201将入射光中的蓝色的波长域的光进行光电转换并输出受光信号。
[0061]
摄像元件100构成为能够针对由相邻的2像素
×
2像素的合计四个像素201构成的每个单位组202单独进行控制。例如，在针对彼此不同的两个单位组202同时开始电荷蓄积
时，由一方单位组202从电荷蓄积开始起1/30秒后读取电荷即进行受光信号的读取，另一方单位组202从电荷蓄积开始起1/15秒后读取电荷。换言之，摄像元件100在一次摄像中，能够针对每个单位组202设定不同的曝光时间(电荷蓄积时间，所谓快门速度)。
[0062]
摄像元件100在上述曝光时间以外，还能够针对每个单位组202使摄像信号的放大率(所谓iso灵敏度)不同。摄像元件100能够针对每个单位组202使开始电荷蓄积的定时、读取受光信号的定时变化。即，摄像元件100能够针对每个单位组202使在视频摄像时的帧频变化。
[0063]
综上，摄像元件100构成为能够针对每个单位组202使曝光时间、放大率、帧频等的摄像条件不同。例如，用于从像素201所具有的未图示的光电转换部读取摄像信号的未图示的读取线针对每个单位组202而设置，若构成为能够针对每个单位组202独立地读取摄像信号，则能够针对每个单位组202使曝光时间(快门速度)不同。
[0064]
另外，针对每个单位组202独立地设置对由经光电转换得到的电荷生成的摄像信号进行放大的未图示的放大电路，若构成为能够针对每个放大电路独立地控制放大电路的放大率，能够针对每个单位组202使信号的放大率(iso灵敏度)不同。
[0065]
另外，能够针对每个单位组202而设为不同的摄像条件在上述摄像条件以外，还有帧频、增益、分辨率(间除率)、将像素信号相加的相加行数或相加列数、电荷的蓄积时间或蓄积次数、数字化的位数等。而且，控制参数也可以为在来自像素的图像信号获取后的图像处理中的参数。
[0066]
另外，就摄像条件而言，若将例如具有能够针对每个单位组202独立进行控制的区块(1个区块对应一个单位组202)的液晶面板设于摄像元件100，并作为能够开闭的中性密度滤光片来使用，则能够针对每个单位组202控制亮度(光圈值)。
[0067]
此外，构成单位组202的像素201的数量也可以不为上述的2
×
2的4像素。单位组202只要至少具有一个像素201即可，相反也可以具有比四个多的像素201。
[0068]
图3是摄像芯片113的电路图。在图3中，代表性地用虚线圈出的矩形表示与一个像素201对应的电路。另外，用点划线圈出的矩形与一个单位组202(202-1～202-4)对应。此外，以下说明的各晶体管的至少一部分与图1的晶体管105对应。
[0069]
如上所述，像素201的复位晶体管303以单位组202为单位导通/关断。另外，像素201的传输晶体管302也以单位组202为单位导通/关断。在图3示出的例中，设有用于将与左上单位组202-1对应的四个复位晶体管303导通/关断的复位布线300-1，还也有用于向与同单位组202-1对应的四个传输晶体管302供给传输脉冲的tx布线307-1。
[0070]
同样地，用于将与左下单位组202-3对应的四个复位晶体管303导通/关断的复位布线300-3与上述复位布线300-1分开设置。另外，用于向与同单位组202-3对应的四个传输晶体管302供给传输脉冲的tx布线307-3与上述tx布线307-1分开设置。
[0071]
针对右上单位组202-2、右下单位组202-4也同样地，在各自的单位组202分别设有复位布线300-2和tx布线307-2、以及复位布线300-4和tx布线307-4。
[0072]
与各像素201对应的16个pd104分别与对应的传输晶体管302连接。经由针对上述每单位组202的tx布线向各传输晶体管302的栅极供给传输脉冲。各传输晶体管302的漏极与对应的复位晶体管303的源极连接，并且传输晶体管302的漏极和复位晶体管303的源极间的所谓浮动扩散部fd与对应的放大晶体管304的栅极连接。
[0073]
各复位晶体管303的漏极与供给有电源电压的vdd布线310共用连接。经由针对每个上述单位组202的复位布线向各复位晶体管303的栅极供给复位脉冲。
[0074]
各放大晶体管304的漏极与供给有电源电压的vdd布线310共用连接。另外，各放大晶体管304的源极与对应的选择晶体管305的漏极连接。在各选择晶体管305的栅极连接有被供给选择脉冲的解码器布线308。解码器布线308相对于16个选择晶体管305分别独立地设置。
[0075]
而且，各选择晶体管305的源极与共用的输出布线309连接。负荷电流源311向输出布线309供给电流。即，对于选择晶体管305的输出布线309由源极跟随器形成。此外，负荷电流源311可以设在摄像芯片113侧，也可以设在信号处理芯片111侧。
[0076]
在此，对从电荷的蓄积开始到蓄积结束后的像素输出为止的流程进行说明。通过针对上述每单位组202的复位布线将复位脉冲施加于复位晶体管303，同时通过针对上述每单位组202(202-1～202-4)的tx布线将传输脉冲施加于传输晶体管302，由此，使上述针对每个单位组202、pd104以及浮动扩散部fd的电位复位。
[0077]
在传输脉冲的施加被解除时，各pd104将接受的入射光转换成电荷并蓄积。然后，在未施加复位脉冲的状态下再次施加传输脉冲时，蓄积的电荷被向浮动扩散部fd传输，浮动扩散部fd的电位从复位电位变为电荷蓄积后的信号电位。
[0078]
然后，在通过解码器布线308将选择脉冲施加于选择晶体管305时，浮动扩散部fd的信号电位的变动经由放大晶体管304以及选择晶体管305而传递到输出布线309。由此，与复位电位和信号电位对应的像素信号从单位像素输出至输出布线309。
[0079]
如上所述，对于形成单位组202的4像素，复位布线和tx布线是共用的。即，分别对同单位组202内的4像素同时施加位脉冲和传输脉冲。因此，形成某一单位组202的全部像素201在同一定时开始电荷蓄积，在同一定时结束电荷蓄积。但是，与被蓄积的电荷对应的像素信号通过对各自的选择晶体管305依次施加选择脉冲，能够被选择性地从输出布线309输出。
[0080]
像这样，能够针对每个单位组202控制电荷蓄积开始定时。换言之，在不同的单位组202间能够以不同的定时进行拍摄。
[0081]
图4是示出摄像元件100的功能的结构例的框图。模拟的多路复用器411按顺序选择形成单位组202的16个pd104，使各自的像素信号向与该单位组202对应设置的输出布线309输出。多路复用器411与pd104一起形成在摄像芯片113上。
[0082]
经由多路复用器411输出的像素信号通过形成在信号处理芯片111的、进行相关双采样(cds)、模拟/数字(a/d)转换的信号处理电路412，来进行cds以及a/d转换。a/d转换后的像素信号被传递至多路分配器413，并保存在与各个像素对应的像素存储器414中。多路分配器413以及像素存储器414形成于存储器芯片112。
[0083]
运算电路415对在像素存储器414保存的像素信号进行处理并传递给后级的图像处理部。运算电路415可以设在信号处理芯片111，也可以设在存储器芯片112。此外，在图4中示出四个单位组202的量的连接，但实际上它们针对每四个单位组202而存在，且并行地动作。
[0084]
但是，运算电路415也可以不按每四个单位组202而存在，例如，一个运算电路415也可以一边按顺序参照与四个单位组202各自对应的像素存储器414的值一边按序处理。
[0085]
如上所述，与单位组202各自对应地设有输出布线309。摄像元件100层叠有摄像芯片113、信号处理芯片111以及存储器芯片112，因此，通过对这些输出布线309采用使用了凸块109的芯片间的电连接，能够无需在面方向上增大各芯片地布置布线。
[0086]
＜电子设备的块结构例＞
[0087]
图5是示出电子设备的块结构例的说明图。电子设备500例如为镜头一体式的相机。电子设备500具有摄像光学系统501、摄像元件100、控制部502、液晶监控器503、存储卡504、操作部505、dram506、快闪存储器507、和录音部508。控制部502包括如后述那样压缩视频数据的压缩部。因此，电子设备500中的至少包括控制部502的结构为视频压缩装置。
[0088]
摄像光学系统501由多个透镜构成，在摄像元件100的摄像面200使被摄体像成像。此外，在图5中，为了简易，而示出一个透镜来作为摄像光学系统501。
[0089]
摄像元件100例如为cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)、ccd(charge coupled device：电荷耦合器件)等的摄像元件，对由摄像光学系统501成像的被摄体像进行拍摄并输出摄像信号。控制部502为控制电子设备500的各部分的电子电路，由处理器和其周边电路构成。
[0090]
在非易失性的存储介质的快闪存储器507预先写入规定的控制程序。控制部502通过从快闪存储器507读取并执行控制程序，能够进行各部分的控制。该控制程序将易失性的存储介质的dram506用作工作用区域。
[0091]
液晶监控器503为使用了液晶面板的显示装置。控制部502针对每规定周期(例如60分的1秒)反复使摄像元件100拍摄被摄体像。然后，对从摄像元件100输出的摄像信号实施各种图像处理并创建所谓实时显示图像，并显示在液晶监控器503上。在液晶监控器503上除了上述的实时显示图像以外，还显示例如设定摄像条件的设定画面等。
[0092]
控制部502基于从摄像元件100输出的摄像信号，创建后述的图像文件，向可移动性的记录介质的存储卡504记录图像文件。操作部505具有按钮等的各种操作构件，通过对这些操作构件进行操作来向控制部502输出操作信号。
[0093]
录音部508例如由麦克风构成，将环境音转换成声音信号并输入至控制部502。此外，控制部502也可以不在可移动性的记录介质的存储卡504中记录视频文件，而是在硬盘这种内置于电子设备500的未图示的记录介质中记录。
[0094]
＜视频文件的结构例＞
[0095]
图6是示出视频文件的结构例的说明图。视频文件600在利用控制部502内的后述的压缩部902进行的压缩处理中生成，保存在存储卡504、dram506或快闪存储器507。视频文件600由头(header)部601以及数据部602的两个块构成。头部601为位于视频文件600的开头的块。在头部601以文件基本信息区域611、时标区域612、摄像信息区域613的顺序保存有这些区域。
[0096]
在文件基本信息区域611记录有例如，视频文件600内的各部(头部601、数据部602、时标区域612、摄像信息区域613等)的大小、偏移量。在时标区域612记录有后述的摄像条件信息、时标信息等。在摄像信息区域613记录有例如电子设备500的机型名、摄像光学系统501的信息(例如象差等的与光学特性有关的信息)等与摄像有关的信息。数据部602为位于头部601之后的块，记录有图像信息、声音信息等。
[0097]
＜摄像面与被摄体像的关系＞
[0098]
图7是示出摄像面与被摄体像的关系的说明图。(a)示意性地示出摄像元件100的摄像面200(摄像范围)与被摄体像701。在(a)中，控制部502拍摄被摄体像701。(a)的摄像也可以兼做为用于创建例如实时取景图像(所谓实时显示图像)而进行的摄像。
[0099]
控制部502对于通过(a)的摄像得到的被摄体像701执行规定的图像解析处理。图像解析处理为例如利用周知的被摄体检测技术(运算特征量来检测规定的被摄体所在的范围的技术)，检测主要被摄体区域和背景区域的处理。通过图像解析处理，将摄像面200划分成主要被摄体所在的主要被摄体区域702、和背景所在的背景区域703。
[0100]
此外，在(a)中，将大致包含被摄体像701在内的区域作为主要被摄体区域702进行图示，但主要被摄体区域702也可以为沿被摄体像701的外形的形状。也就是说，也可以以在尽量不包含被摄体像701以外的物体的方式设定主要被摄体区域702。
[0101]
控制部502在主要被摄体区域702内的各单位组202、和背景区域703内的各单位组202设定不同的摄像条件。例如，与后者的各单位组202相比，对前者的各单位组202设定高速的快门速度。由此，在(a)的摄像接下来拍摄的(c)的摄像中，在主要被摄体区域702不易产生影像模糊。
[0102]
另外，控制部502在因背景区域703中存在的太阳等光源的影响而使主要被摄体区域702成为逆光状态的情况下，对前者的各单位组202设定相对高的iso灵敏度，或者设定低速的快门速度。另外，控制部502对后者的各单位组202设定相对低的iso灵敏度或者设定高速的快门速度。由此，在(c)的摄像中，能够防止逆光状态的主要被摄体区域702被涂黑、和光量大的背景区域703泛白。
[0103]
此外，图像解析处理可以为与上述的检测主要被摄体区域702和背景区域703的处理不同的处理。例如，也可以为检测摄像面200整体中亮度在一定以上的部分(过亮的部分)或亮度不足一定的部分(过暗的部分)的处理。在将图像解析处理设为这种处理的情况下，控制部502针对在前者的区域所包含的单位组202，以使曝光值(ev值)比在其他区域中包含的单位组202低的方式设定快门速度和iso灵敏度。
[0104]
另外，控制部502针对后者的区域内包含的单位组202，以使曝光值(ev值)高于其他区域内包含的单位组202的方式设定快门速度、iso灵敏度。通过以此方式设定，能够将由(c)的摄像而得到的图像的动态范围设为比摄像元件100的本来的动态范围更广。
[0105]
图7的(b)示出与(a)示出的摄像面200对应的时标信息704的一例。在属于主要被摄体区域702的单位组202的位置保存“1”，在属于背景区域703的单位组202的位置保存“2”。
[0106]
控制部502相对于第1帧的图像数据执行图像解析处理，检测主要被摄体区域702和背景区域703。由此，如(c)所示，基于(a)的摄像的帧被划分为主要被摄体区域702和背景区域703。控制部502在主要被摄体区域702内的各单位组202、和背景区域703内的各单位组202设定不同的摄像条件，进行(c)的摄像，创建图像数据。此时的时标信息704的例子由(d)示出。
[0107]
就与(a)的摄像的结果对应的(b)的时标信息704、和与(c)的摄像的结果对应的(d)的时标信息704而言，由于在不同的时刻进行摄像(有时间差)，所以在例如被摄体移动的情况下或在用户移动了电子设备500的情况下，这两个时标信息704会变为不同的内容。换言之，时标信息704为伴随时间经过而发生变化的动态信息。因此，在某一单位组202中，
针对每帧设定不同的摄像条件。
[0108]
＜视频文件的具体例＞
[0109]
图8是视频文件600的具体的结构例示出的说明图。在时标区域612按照识别信息801、摄像条件信息802和时标信息704的顺序记录这些信息。
[0110]
识别信息801表达该视频文件600是通过多帧频视频摄像功能而创建的。多帧频视频摄像功能是指，利用设定了多帧频的摄像元件100进行视频拍摄的功能。
[0111]
摄像条件信息802是表达单位组202存在何种用途(目的、作用)的信息。例如，如上所述，在将摄像面200(图7的(a))划分为主要被摄体区域702和背景区域703的情况下，各个单位组202属于主要被摄体区域702或属于背景区域703中的某一方。
[0112]
也就是说，摄像条件信息802是表达在创建该视频文件600时在单位组202例如存在“以60fps对主要被摄体区域进行视频摄像”、“以30fps对背景区域进行视频摄像”这两种用途、以及针对这些用途分别分配的唯一编号的信息。例如，对“以60fps对主要被摄体区域进行视频摄像”用途分配1这个编号，对“以30fps对背景区域进行视频摄像”用途分配2这个编号。
[0113]
时标信息704是表达各个单位组202的用途(目的、作用)的信息。将时标信息704设为“与单位组202的位置相对应地以二维图表的形式表示对摄像条件信息802分配的编号的信息”。也就是说，能够利用基于两个整数x、y的二维座标(x、y)特定以二维状排列的单位组202，在(x、y)的位置存在的单位组202的用途通过在时标信息704的(x、y)的位置存在的编号来表示。
[0114]
例如，在时标信息704的座标(3，5)的位置对应“1”这个编号的情况下，可知对位于座标(3，5)的单位组202赋予了“以60fps对主要被摄体区域进行拍摄”这个用途。换言之，可知位于座标(3，5)的单位组202属于主要被摄体区域702。
[0115]
此外，时标信息704为针对每帧而变化的动态信息，因此，针对每帧即针对后述的每个数据块bi在压缩处理中被记录(未图示)。
[0116]
针对每帧f(f1～fn)按照拍摄的顺序将数据块b1～bn作为视频数据而保存在数据部602。数据块bi(i为1≤i≤n的整数)包括时标信息704、图像信息811、tv值图表812、sv值图表813、bv值图表814、av值信息815、声音信息816、和附加信息817。
[0117]
图像信息811是以实施各种图像处理之前的形式记录了通过图7的(c)的摄像而从摄像元件100输出的摄像信号的信息，为所谓raw图像数据。
[0118]
tv值图表812是与单位组202的位置相对应地以二维图表的形式示出表达针对每个单位组202设定的快门速度的tv值的信息。例如对位于座标(x、y)的单位组202设定的快门速度能够通过查询在tv值图表812的座标(x、y)保存的tv值来判定。
[0119]
sv值图表813与tv值图表812同样地，是以二维图表的形式示出表达针对每个单位组202设定的iso灵敏度的sv值的信息。
[0120]
bv值图表814与tv值图表812同样地，是以二维图表的形式示出表达在进行图7的(c)的摄像时针对每个单位组202测定到的被摄体亮度、即入射至各个单位组202的被摄体光的亮度的bv值的信息。
[0121]
av值信息815是表达在进行图7的(c)的摄像时的光圈值的信息。av值与tv值、sv值、bv值不同，并非是针对每个单位组202而存在的值。因此，与tv值、sv值、bv值不同，av值
仅保存单一的值，而并非为呈二维状映射多个值的信息。
[0122]
为了易于进行视频播放而针对每一帧量的信息划分声音信息816，并与数据块bi多重化地保存在数据部602。此外，声音信息816的多重化可以并非针对1帧量而是针对每规定数量的帧来进行。此外，声音信息816并非必须包含。
[0123]
附加信息817为在进行图7的(c)的摄像时以二维图表的形式表达针对每个单位组202设定的帧频的信息。就附加信息817的设定而言在后面利用图14以及图15说明。此外，附加信息817可以由帧f保持，也可以保持在后述的处理器1201的缓存存储器内。特别是在实时执行压缩处理的情况下，从高速处理的观点来看优选利用缓存存储器。
[0124]
如上所述，控制部502通过进行基于多帧频视频摄像功能的摄像，能够将视频文件600记录于存储卡504，该视频文件600对由能够针对每个单位组202设定摄像条件的摄像元件100生成的图像信息811、与每单位组202的摄像条件有关的数据(摄像条件信息802、时标信息704、tv值图表812、sv值图表813、bv值图表814等)对应关联。
[0125]
以下，对利用了上述的摄像元件100的视频压缩的实施例进行说明。
[0126]
【实施例1】
[0127]
＜视频压缩例＞
[0128]
图9是示出实施例1的视频压缩例的说明图。电子设备500包括上述的摄像元件100和控制部502。控制部502包括图像处理部901和压缩部902。摄像元件100如上所述具有拍摄被摄体的多个摄像区域。摄像区域为至少1像素以上的像素集合，例如，为上述的1个以上的单位组202。能够针对每个单位组202对摄像区域设定帧频。
[0129]
在此，对摄像区域中的第一摄像区域设定第一帧频(例如，30[fps])，对第一摄像区域以外的第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。此外，第一帧频以及第二帧频的值为一例，第二帧频只要比第一帧频快即可，也可以为其他值。
[0130]
摄像元件100拍摄被摄体，将图像信号(在图9中为了简易而示出包括多帧在内的第一视频数据910)输出至图像处理部901。在帧内，将在摄像元件100的某一摄像区域拍摄到的图像数据的区域称为图像区域。另外，将包括以对第一摄像区域设定的第一帧频(30[fps])拍摄到的第一图像区域a1(阴影线)的图像数据以及以对第二摄像区域设定的第二帧频(60[fps])拍摄到的第二图像区域a2(涂黑)的图像数据中的、至少第一图像区域a1的图像数据在内的帧称为第一帧。
[0131]
具体来说，例如，第一帧在没有检测到特定被摄体(电车)的情况下，帧整个区域(风景)为以第一帧频(30[fps])拍摄到的第一图像区域a1。另外，第一帧在检测到特定被摄体的情况下，在帧整个区域中的拍摄到了特定被摄体(电车)的部分成为以第二帧频(60[fps])拍摄到的第二图像区域a2，残余(风景)的部分成为以第一帧频(30[fps])拍摄到的第一图像区域a1。
[0132]
另外，仅将以对第二摄像区域设定的第二帧频(60[fps])拍摄到的第二图像区域a2的帧称为第二帧。
[0133]
例如，在某一摄像区域由一个单位组202(2
×
2像素)构成的情况下，对应的图像区域的大小也为单位组202的大小。同样地，在某一摄像区域由2
×
2的单位组202(4
×
4像素)构成的情况下，对应的图像区域的大小也为2
×
2的单位组202的大小。
[0134]
在图9中，从摄像元件100输出的第一视频数据910中的、包含第一图像区域a1在内
的帧为第一帧，只有第二图像区域a2的特定被摄体像的帧为第二帧。此外，摄像区域也可以为3个以上。在该情况下，能够对第三摄像区域之后设定与第一帧频以及第二帧频不同的帧频。
[0135]
图像处理部901对从摄像元件100输入的视频数据(以下，第一视频数据)910进行图像处理。具体来说，例如，图像处理部901参照第二帧在时间上的前一帧的第一帧，将该第一帧复制至参照源的第二帧，即进行合成。将合成得到的帧称为第三帧。第三帧为在第一帧的被摄体图像重叠有第二帧中的特定被摄体图像的帧。图像处理部901将包含以30[fps]拍摄到的第一帧、和合成帧即第三帧在内的视频数据(以下，第二视频数据)920输出至压缩部902。
[0136]
上述第一视频数据910无法利用压缩部902直接进行压缩。因此，图像处理部901在帧列混合存在第一帧以及第二帧的情况下，生成可供压缩部902动作的第二视频数据920。由此，能够通过通用的压缩部902在压缩部902与通常的视频数据同样地进行第二视频数据920的压缩。
[0137]
压缩部902对从图像处理部901输入的第二视频数据920进行压缩。压缩部902例如通过对运动补偿帧间预测(motion compensation：mc)和离散余弦转换(discrete cosine transform：dct)组合了熵编码而得到的混合编码来进行压缩。
[0138]
压缩部902针对构成第二视频数据920的第一帧以及第三帧中的、由阴影线示出的第一图像区域a1，执行不需要动态检测或运动补偿的压缩处理，针对涂黑的特定被摄体像的第二图像区域a2通过上述的混合编码来进行压缩。像这样，由于针对特定被摄体像以外的第一图像区域a1不执行动态检测或运动补偿，所以能够实现视频压缩的处理负荷的减小。
[0139]
图10是表示图9示出的视频压缩的图像处理例1的说明图。在图像处理例1中，电子设备500在对包括稻田、山以及天空在内的风景进行定点拍摄中，作为特定被摄体而拍摄行使的电车。特定被摄体的电车由上述周知的被摄体检测技术来确定。拍摄到的帧按照时间序列的顺序为帧f1、f2-60、f3、f4-60、f5。在此，电车在帧f1、f2-60、f3、f4-60、f5内，从右向左行使。
[0140]
帧f1、f3、f5为包括在第一摄像区域以30[fps]的第一帧频拍摄到的第一图像区域a1的图像数据、和在第二摄像区域以60[fps]的第二帧频拍摄到的第二图像区域a2的图像数据的第一帧。帧f2-60、f4-60为包括在第二摄像区域以60[fps]的第二帧频拍摄到的第二图像区域a2的图像数据的第二帧。
[0141]
具体来说，例如，帧f1、f3、f5为在第一图像区域a1拍摄到包括稻田、山以及天空在内的风景且在第二图像区域a2拍摄到作为特定被摄体而行使的电车的第一帧。帧f2-60、f4-60为在第二图像区域a2拍摄到电车的帧。即，在帧f1、f2-60、f3、f4-60、f5中，拍摄到电车的第二图像区域a2的图像数据为在第二摄像区域(60[fps])拍摄到的图像数据，在帧f1、f3、f5中，拍摄到风景的第一图像区域a1的图像数据为在第一摄像区域以(30[fps])拍摄到的图像数据。由于第一摄像区域是以第一帧频拍摄的，所以在以第二帧频拍摄的帧f2-60、f4-60的第一图像区域a1中什么都没拍到。
[0142]
帧f1、f2-60、f3、f4-60
……
相当于上述的第一视频数据910，无法直接利用压缩部902进行压缩。在帧列混合存在第一帧以及第二帧的情况下，需要生成可供压缩部902动作
的第二视频数据920。
[0143]
图像处理部901向帧f2-60在时间上的前一帧即帧f1的第一图像区域a1的图像数据(除了电车以外的风景)复制帧f2-60的第二图像区域a2的图像数据(电车)。由此，图像处理部901生成第三帧即帧f2。
[0144]
帧f4-60也同样地，图像处理部901向帧f4-60在时间上的前一帧即帧f3的第一图像区域a1的图像数据(除了电车以外的风景)复制帧f4-60的第二图像区域a2的图像数据(电车)。由此，图像处理部901生成第三帧即帧f4。然后，图像处理部901输出包含帧f1～f5在内的第二视频数据920。
[0145]
像这样，通过利用在时间上前一帧的具有第一帧频的帧f1、f3对帧f2-60、f4-60的第一图像区域a1的图像数据进行插补，能够针对第一图像区域a1，将帧f1、f2间的差分设为几乎为0，并将帧f3、f4间的差分设为几乎为0。因此，能够利用现有的压缩部902对混合存在第一帧和第二帧的帧列进行压缩。另外，能够实现压缩处理的处理负荷的减小。
[0146]
此外，在帧f2复制了帧f1的第一图像区域a1的图像数据(除了电车以外的风景)。因此，本来属于帧f1的第二图像区域a2的部分(电车的末尾)没有被复制到帧f2。因此，帧f2具有什么都不输出的范围da1。
[0147]
同样地，在帧f4复制了帧f3的第一图像区域a1的图像数据(除了电车以外的风景)。因此，本来属于帧f3的第二图像区域a2的部分(电车的末尾)没有被复制到帧f4。因此，帧f4具有什么都不输出的范围da3。
[0148]
在实施例1中，图像处理部901可以针对范围da1、da3填涂特定颜色(例如白、黑或灰)，也可以利用周边像素执行去马赛克处理。由此，能够再现可进行视频压缩且违和感更少的帧f2、f4、
……
。
[0149]
图11是示出图9示出的视频压缩中的图像处理例2的说明图。在图像处理例2中，电子设备500例如为行车记录仪，对前方行使的车辆(前车)以及风景进行拍摄。在该情况下，前车为成为追随对象的特定被摄体，风景因自车行使而发生变化。拍摄到的帧按照时间序列的顺序为帧f6、f7-60、f8、f9-60、f10。
[0150]
帧f6、f8、f10为包括在第一摄像区域以30[fps]的第一帧频拍摄到的第一图像区域a1的图像数据、和在第二摄像区域以60[fps]的第二帧频拍摄到的第二图像区域a2的图像数据的第一帧。帧f7-60、f9-60为包括在第二摄像区域以60[fps]的第二帧频拍摄到的第二图像区域a2的图像数据的第二帧。
[0151]
具体来说，例如，帧f6、f8、f10为在第一图像区域a1拍摄到前车、且在第二图像区域a2拍摄到逐渐变化的风景的第一帧。帧f7-60、f9-60为在第二图像区域a2拍摄到风景的帧。即，在帧f6、f7-60、f8、f9-60、f10中，拍摄到风景的第二图像区域a2的图像数据为在第二摄像区域以(60[fps])拍摄到的图像数据，在帧f6、f8、f10中，拍摄到前车的第一图像区域a1的图像数据为在第一摄像区域以(30[fps])拍摄到的图像数据。第一摄像区域由于是以第一帧频拍摄的，所以在以第二帧频拍摄的帧f7-60、f9-60的第一图像区域a1什么都没拍到。
[0152]
图像处理部901向帧f7-60在时间上的前一帧f6的第一图像区域a1的图像数据(除了风景以外的前车)复制帧f7-60的第二图像区域a2的图像数据(风景)。由此，图像处理部901生成作为第三帧的帧f7。
[0153]
帧f9也同样地，图像处理部901向帧f9-60在时间上的前一帧f8的第一图像区域a1的图像数据(除了风景以外的前车)复制帧f9-60的第二图像区域a2的图像数据(风景)。由此，图像处理部901生成作为第三帧的帧f9。然后，图像处理部901输出包含帧f6～f10在内的第二视频数据920。
[0154]
像这样，通过利用在时间上前一帧的具有第一帧频的帧f6、f8对帧f7-60、f9-60的第一图像区域a1的图像数据进行插补，能够针对第一图像区域a1，将帧f6、f7间的差分设为0，且将帧f8、f9间的差分设为0。因此，能够利用现有的压缩部902对混合存在第一帧和第二帧的帧列进行压缩。另外，能够实现压缩处理的处理负荷的减小。
[0155]
此外，控制部502可以以实时处理的方式执行第二视频数据920的压缩处理，也可以以批次处理的方式执行该压缩处理。例如，控制部502能够将来自摄像元件100、前处理部900、或图像处理部901的第一视频数据910、第二视频数据920暂时保存于存储卡504、dram506或快闪存储器507，可以在存在自动触发或基于用户操作的触发的情况下，读取第一视频数据910、第二视频数据920(在第一视频数据910的情况下利用图像处理部901转换成第二视频数据920之后)，使压缩部902执行压缩处理。
[0156]
＜控制部502的结构例＞
[0157]
图12是表示图5示出的控制部502的结构例的框图。控制部502具有前处理部1210、图像处理部901、获取部1220、和压缩部902，由处理器1201、存储器1202、集成电路1203、以及连接这些的总线1204构成。
[0158]
前处理部1210、图像处理部901、获取部1220以及压缩部902可以通过使处理器1201执行存储在存储器1202内的程序来实现，也可以通过asic(application specific integrated circuit：专用集成电路)或fpga(field-programmable gate array：现场可编程门阵列)等的集成电路1203来实现。另外，处理器120可以将存储器1202用作工作区域。另外，集成电路1203可以将存储器1202用作对包括图像数据在内的各种数据进行临时性保持的缓冲器。
[0159]
前处理部1210针对来自摄像元件100的第一视频数据910执行基于图像处理部901的图像处理的前处理。具体来说，例如，前处理部1210具有检测部1211和设定部1212。检测部1211通过上述的周知的被摄体检测技术来检测特定被摄体。
[0160]
设定部1212对构成来自摄像元件100的第一视频数据910的各帧赋予附加信息817。另外，设定部1212将摄像元件100的摄像面200中的、检测到特定被摄体的摄像区域从第一帧频(例如，30[fps])变更为第二帧频(60[fps])。
[0161]
具体来说，例如，设定部1212根据在输入帧的检测到特定被摄体的摄像区域与在输入完毕帧的检测到特定被摄体的摄像区域的差分来检测特定被摄体的动态矢量，预测下一个输入帧的特定被摄体的摄像区域。设定部1212将针对所预测的摄像区域变更为第二帧频的指示输出至摄像元件100。
[0162]
图像处理部901对从前处理部1210输出的第一视频数据910的各帧进行图像处理。具体来说，例如，图像处理部901具有确定部1213和合成部1214。
[0163]
确定部1213基于第一视频数据910的多帧中的上述第一帧(例如，图10的帧f1)和上述第二帧(例如，图10的帧f2-60)，确定第一帧中的与第二摄像区域对应的第二图像区域a2和第二帧中的与第二摄像区域对应的第二图像区域a2之间的差分区域。帧f1与帧f2-60
的差分区域成为帧f2-60中的电车后方的第一图像区域a1。
[0164]
如图9～图11所示，合成部1214向仅具有第二图像区域a2的图像数据的第二帧(例如，图10的帧f2-60)复制包括在时间上为前一帧的第一图像区域a1的图像数据在内的第一帧(例如，图10的帧f1)并进行合成，来生成第三帧(例如，图10的帧f2)。此外，合成部1214向由确定部1213确定的差分区域(范围da1)复制与第一帧的差分区域位于同一位置的第二图像区域a2的图像数据(电车的末尾部分)(参照图10的帧f2-60的虚线圆)。由此，能够将在时间上连续的第一帧与第三帧的差分设为几乎为0。
[0165]
获取部1220将从图像处理部901输出的第二视频数据920保持在存储器1202，在规定的定时将第二视频数据920所包含的多帧按照时间序列的顺序1帧1帧地输出至压缩部902。
[0166]
如图9所示，压缩部902对所输入的第二视频数据920进行压缩。具体来说，例如，压缩部902针对构成第二视频数据920的第一帧以及第三帧中的第一图像区域a1的图像数据，执行不需要动态检测或运动补偿的压缩处理，针对拍摄到特定被摄体的第二图像区域a2的图像数据，通过上述的混合编码来进行压缩。像这样，由于针对特定被摄体像以外的区域不执行动态检测或运动补偿，所以实现视频压缩的处理负荷的减小。
[0167]
＜压缩部902的结构例＞
[0168]
图13是示出压缩部902的结构例的框图。如上所述，压缩部902通过向运动补偿帧间预测(mc)和离散余弦转换(dct)组合了熵编码而得到的混合编码，来压缩第二视频数据920的各帧。
[0169]
压缩部902具有减法部1301、dct部1302、量化部1303、熵编码部1304、编码量控制部1305、逆量化部1306、逆dct部1307、生成部1308、帧存储器1309、动态检测部1310、运动补偿部1311、和压缩控制部1312。减法部1301～运动补偿部1311为与既存的压缩器同样的构成。
[0170]
具体来说，例如，减法部1301将输入帧减去来自预测该输入帧的运动补偿部1311的预测帧并输出差分数据。dct部1302对来自减法部1301的差分数据进行离散余弦转换。
[0171]
量化部1303将通过离散余弦转换后的差分数据量化。熵编码部1304将量化后的差分数据熵编码化，另外，来自动态检测部1310的动态矢量也实施熵编码化。
[0172]
编码量控制部1305控制由量化部1303进行的量化。逆量化部1306对由量化部1303量化后的差分数据进行逆量化，设为离散余弦转换后的差分数据。逆dct部1307对逆量化后的差分数据进行逆离散余弦转换。
[0173]
生成部1308将逆离散余弦转换后的差分数据、和来自运动补偿部1311的预测帧相加，生成在时间上在该输入帧之后输入的帧所参照的参照帧。帧存储器1309保持根据生成部1308得到的参照帧。动态检测部1310利用输入帧和参照帧，检测动态矢量。运动补偿部1311使用参照帧和动态矢量，生成预测帧。
[0174]
运动补偿部1311具体来说，例如使用帧存储器1309所保持的多个参照帧中的特定的参照帧和动态矢量，执行以第二帧频拍摄到的帧的运动补偿。通过将参照帧设为特定的参照帧，能够抑制还使用特定的参照帧以外的其他参照帧的高负荷的运动补偿。另外，通过将特定的参照帧设为从输入帧在时间上的前一帧得到的一个参照帧，能够避免高负荷的运动补偿，实现运动补偿的处理负荷的减小。
[0175]
压缩控制部1312控制动态检测部1310和运动补偿部1311。具体来说，例如压缩控制部1312执行设定表示通过动态检测部1310检测到没有动态的特定的动态矢量的第一压缩控制方法、和跳过动态检测自身的第二压缩控制方法。
[0176]
就第一压缩控制方法而言，压缩控制部1312控制动态检测部1310，针对以第一帧频(例如，30[fps])拍摄到的第一图像区域a1不进行动态矢量的检测，而是设定表示没有动态的特定的动态矢量并向运动补偿部1311输出，针对以第二帧频(例如，60[fps])拍摄到的第二图像区域a2检测动态矢量，并向运动补偿部1311输出。特定的动态矢量为没有规定方向且动态量为0的动态矢量。
[0177]
在该情况下，压缩控制部1312控制运动补偿部1311，针对第一图像区域a1的图像数据，基于特定的动态矢量和参照帧执行运动补偿，针对第二图像区域a2的图像数据，基于由动态检测部1310检测出的动态矢量执行运动补偿。
[0178]
就第二压缩控制方法而言，压缩控制部1312控制动态检测部1310，针对以第一帧频(例如，30[fps])拍摄到的第一图像区域a1不执行动态矢量的检测，针对以第二帧频(例如，60[fps])拍摄到的第二图像区域a2执行动态矢量的检测。
[0179]
在该情况下，压缩控制部1312控制运动补偿部1311，针对第一图像区域a1的图像数据，基于参照帧执行运动补偿。即，由于没有动态矢量，所以压缩控制部1312控制运动补偿部1311，针对第一图像区域a1的图像数据，将参照帧决定为预测输入帧在时间上的后一帧的预测帧。另外，压缩控制部1312控制运动补偿部1311，针对第二图像区域a2的图像数据，基于参照帧和由动态检测部1310检测出的动态矢量来执行运动补偿。
[0180]
根据第一压缩控制方法，由于动态矢量为特定的动态矢量，所以在第一图像区域a1的动态检测被简化。因此，实现视频压缩的处理负荷的减小。另外，根据第二压缩控制方法，由于针对第一图像区域a1不执行动态检测自身，所以比第一压缩控制方法更能实现视频压缩的处理负荷的减小。
[0181]
＜控制部502的动作处理顺序例＞
[0182]
图14是示出控制部502的动作处理顺序例的时序图。在图14中，为了便于说明而省略获取部1220。前处理部1210例如通过用户对操作部505进行操作，或在步骤s1412中对特定被摄体不检测的情况(步骤s1412：是)下，自动地将摄像元件100的摄像面200整个区域的摄像条件设定为第一帧频(例如，30[fps])(步骤s1401)。
[0183]
然后，前处理部1210将包含步骤s1401的设定内容在内的第一帧频设定指示发送至摄像元件100(步骤s1402)。由此，摄像元件100将摄像面200整个区域的摄像条件设定为第一帧频，摄像元件100以第一帧频拍摄被摄体，将第一视频数据910输出至前处理部1210(步骤s1403)。
[0184]
前处理部1210若被输入第一视频数据910(步骤s1403)，则执行设定处理(步骤s1404)。设定处理(步骤s1404)对第一视频数据910的各帧设定附加信息817。附加信息817是指，如上所述对在各摄像区域拍摄到的帧内的图像区域设定的帧频。例如，作为附加信息817而附加有第一帧频(例如，30[fps])的图像区域被识别为第一图像区域a1，作为附加信息817而附加有第二帧频(例如，60[fps])的图像区域被识别为第二图像区域a2。
[0185]
另外，前处理部1210将对各帧附加了附加信息817的第一视频数据910输出至图像处理部901(步骤s1405)。
[0186]
另外，前处理部1210在设定处理(步骤s1404)中没有检测到下一个输入帧的第二帧频的图像区域的情况(步骤s1406：否)下，等待步骤s1403的第一视频数据910的输入。另一方面，前处理部1210在设定处理(步骤s1404)中检测到下一个输入帧的第二帧频的图像区域的情况(步骤s1406：是)下，将包含特定被摄体在内的第二图像区域a2设定变更为第二帧频(例如，60[fps])(步骤s1407)。
[0187]
然后，前处理部1210将包含步骤s1407的设定变更内容在内的第二帧频设定指示发送至摄像元件100(步骤s1408)。由此，摄像元件100将摄像面200的整个区域的第二摄像区域的摄像条件设定为第二帧频，摄像元件100在第一摄像区域以第一帧频拍摄被摄体，在第二摄像区域以第二帧频拍摄被摄体，并将第一视频数据910输出至前处理部1210(步骤s1409)。
[0188]
前处理部1210若被输入第一视频数据910(步骤s1409)，则执行附加信息设定处理(步骤s1410)。附加信息设定处理(步骤s1410)为与附加信息设定处理(步骤s1404)相同的处理。在后面利用图15对附加信息设定处理(步骤s1410)的详细内容进行说明。前处理部1210将对各帧附加了附加信息817的第一视频数据910输出至图像处理部901(步骤s1411)。
[0189]
前处理部1210在特定被摄体为不检测的情况(步骤s1412：是)下，返回至步骤s1401，将摄像面200整个区域设定变更为第一帧频(步骤s1401)。另一方面，在持续检测特定被摄体的情况(步骤s1412：否)下，返回至步骤s1407，将与特定被摄体的检测位置对应的第二图像区域a2变更为第二帧频(步骤s1407)。此外，在该情况下，前处理部1210针对变为检测不到特定被摄体的图像区域设定变更为第一帧频。
[0190]
另外，图像处理部901若被输入第一视频数据910(步骤s1405)，则参照附加信息817执行图像处理(步骤s1413)。此外，在图像处理中(步骤s1413)，图像处理部901参照各帧的附加信息817，确定为第一视频数据910的各帧仅为第一帧。
[0191]
因此，由于没有拍摄到特定被摄体，所以图像处理部901不生成第三帧。在后面，利用图18说明图像处理(步骤s1413)的详细内容。图像处理部901将第一视频数据910输出至压缩部902(步骤s1414)。
[0192]
另外，图像处理部901若被输入第一视频数据910(步骤s1411)，则参照附加信息817执行图像处理(步骤s1415)。此外，在图像处理中(步骤s1415)，图像处理部901参照各帧的附加信息817，确定为第一视频数据910的各帧包括第一帧以及第二帧。
[0193]
因此，由于在第一帧以及第二帧拍摄到了特定被摄体，所以图像处理部901生成第三帧。在后面，利用图18说明图像处理(步骤s1415)的详细内容。图像处理部901将包括第一帧以及第三帧在内的第二视频数据920输出至压缩部902(步骤s1416)。
[0194]
压缩部902若被输入第一视频数据910(步骤s1414)，则执行第一视频数据910的压缩处理(步骤s1417)。第一视频数据910仅由第一帧构成，因此，压缩部902在压缩处理(步骤s1417)中，执行不需要动态检测或运动补偿的压缩编码。在后面，利用图19～图24说明压缩处理(步骤s1417)的详细内容。
[0195]
另外，压缩部902若被输入第二视频数据920(步骤s1416)，则执行第二视频数据920的压缩处理(步骤s1418)。第二视频数据920由第一帧以及第三帧构成，因此，压缩部902在压缩处理(步骤s1418)中，针对第一图像区域a1执行不需要动态检测或运动补偿的压缩编码，针对第二图像区域a2执行基于通常的混合编码的压缩。在后面，利用图19～图24说明
压缩处理(步骤s1418)的详细内容。
[0196]
＜设定处理(步骤s1404、s1410)＞
[0197]
图15是表示图14示出的设定处理(步骤s1404、s1410)的详细的处理顺序例的流程图。在图15中，对摄像元件100预先设定有第一帧频(例：30[fps])，通过检测部1211的被摄体检测技术追随第二帧频(例：60[fps])的图像区域，并反馈至摄像元件100。此外，第一帧频以及第二帧频的图像区域可以始终固定。
[0198]
前处理部1210等待构成第一视频数据910的帧的输入(步骤s1501：否)，在输入了帧的情况(步骤s1501：是)下，通过检测部1211判断是否检测到了主要被摄体等的特定被摄体(步骤s1502)。在没有检测到特定被摄体的情况(步骤s1502：否)下，跳至步骤s1504。
[0199]
另一方面，在检测到了特定被摄体的情况(步骤s1502：是)下，前处理部1210通过检测部1211对在时间上的前一帧(例如，参照帧)和输入帧进行比较来检测动态矢量，预测在下一个输入帧的第二帧频的图像区域，并输出至摄像元件100，跳至步骤s1504(步骤s1503)。由此，摄像元件100将构成与所预测的图像区域对应的摄像区域的单位组202的摄像条件设定为第二帧频，将残余的单位组202的摄像条件设定为第一帧频，来拍摄被摄体。
[0200]
然后，前处理部1210针对输入帧生成图8示出的数据块bi(步骤s1504)，执行附加信息设定处理(步骤s1505)，返回至步骤s1501。附加信息设定处理(步骤s1505)为设定上述的附加信息的处理，在图16中详细进行说明。
[0201]
在没有帧的输入的情况(步骤s1501：否)下，第一视频数据910的输入结束，因此，前处理部1210结束设定处理(步骤s1404、s1410)。
[0202]
＜附加信息设定处理(步骤s1505)＞
[0203]
图16是表示图15示出的附加信息设定处理(步骤s1505)的详细的处理顺序例的流程图。前处理部1210若被输入帧(步骤s1601)，则判断输入帧是否有未选择图像区域(步骤s1602)。在有未选择图像区域的情况(步骤s1602：是)下，前处理部1210选择一个未选择图像区域(步骤s1603)，判断特定被摄体的检测标志是否为on(检测中)(步骤s1604)。检测标志是示出有无特定被摄体的检测的信息，初始值为off(不检测)。
[0204]
在图14的步骤s1406中检测到特定被摄体的情况(步骤s1406：是)下，前处理部1210将检测标志从off变更为on(检测中)。在步骤s1412中特定被摄体为不检测的情况(步骤s1412：是)下，前处理部1210将检测标志从on变更为off。
[0205]
返回至图16，在检测标志为off的情况(步骤s1604：否)下，前处理部1210针对选择图像区域将表示第一帧频的信息设定为附加信息817(步骤s1605)，并返回至步骤s1602。另一方面，在检测标志为on的情况(步骤s1604：是)下，前处理部1210判断选择图像区域是否为特定被摄体像所在的图像区域(步骤s1606)。
[0206]
在不存在特定被摄体像的情况(步骤s1606：否)下，返回至步骤s1602。另一方面，在存在特定被摄体像的情况(步骤s1606：是)下，前处理部1210针对选择图像区域将表示第二帧频的信息设定为附加信息817(步骤s1607)，返回至步骤s1602。
[0207]
在步骤s1602中，在没有未选择图像区域的情况(步骤s1602：否)下，前处理部1210结束附加信息设定处理。此后，前处理部1210将帧频的设定指示发送至摄像元件100(步骤s1402、s1408)。
[0208]
通过针对各帧的图像区域设定附加信息817，前处理部1210能够确定应该将与哪
个图像区域对应的摄像元件100的摄像区域设定为哪个帧频。或者，图像处理部901以及压缩部902能够根据附加信息817确定所输入的帧的各图像区域的帧频。
[0209]
＜视频文件生成处理＞
[0210]
图17是示出视频文件生成处理顺序例的流程图。视频文件生成处理例如在压缩部902的压缩处理中执行，但也可以在不压缩就生成视频文件600的情况下，在图像处理部901之后执行。
[0211]
如图8所示，控制部502生成识别信息801、摄像条件信息802、以及时标信息704，并按照该顺序保存至时标区域612(步骤s1701)。接着，前处理部1210将摄像信息保存至摄像信息区域613(步骤s1702)。
[0212]
然后，控制部502生成tv值图表812、sv值图表813、bv值图表814、以及av值信息815(步骤s1703)。接着，前处理部1210按照时标信息704、图像信息811、tv值图表812、sv值图表813、bv值图表814、以及av值信息815的顺序将这些信息保存至数据区域(步骤s1704)。
[0213]
最后，控制部502生成文件基本信息，并保存至头部601的开头即文件基本信息区域611(步骤s1705)。由此，控制部502能够生成视频文件600。
[0214]
＜图像处理(步骤s1413、s1415)＞
[0215]
图18是表示图14示出的图像处理(步骤s1413、s1415)的详细的处理顺序例的流程图。图像处理部901若被输入帧(步骤s1801)，则参照附加信息817(步骤s1802)。图像处理部901判断附加信息817内的帧频是否仅为第二帧频(步骤s1803)。
[0216]
在不仅为第二帧频的情况(步骤s1803：否)下，附加信息817仅为第一帧频或包括第一帧频以及第二帧频。因此，图像处理部901将输入帧的图像信息保持为保存对象，且在缓冲器改写(步骤s1804)，并跳至步骤s1806。
[0217]
另一方面，在附加信息817仅为第二帧频的情况(步骤s1803：是)下，利用在步骤s1804中改写的缓冲器内的图像信息、和输入帧的图像信息，生成第二帧的图像信息来作为保存对象(步骤s1805)，并跳至步骤s1806。
[0218]
在图像处理(步骤s1413)中，附加信息817仅为第一帧频(步骤s1803：否)。另一方面，在图像处理(步骤s1415)中，附加信息817包括第一帧频以及第二帧频(步骤s1803：否)，或者仅为第二帧频(步骤s1803：是)。
[0219]
由此，如图9～图11所示，图像处理部901能够利用在时间上前一帧的具有第一帧频的第一图像区域a1对仅由具有第二帧频的第二图像区域a2构成的帧进行插补，并合成为包括第一图像区域a1以及第二图像区域a2在内的帧。因此，能够吸收1帧内的帧频的不同。
[0220]
＜压缩处理例：第一压缩控制方法＞
[0221]
接着，将基于压缩部902的压缩处理分成第一压缩控制方法和第二压缩控制方法来说明。
[0222]
图19是示出压缩控制部1312的第一压缩控制方法的压缩控制处理顺序例的流程图。压缩控制部1312获取输入帧(步骤s1901)，从所获取的输入帧选择未选择图像区域(步骤s1902)。然后，压缩控制部1312根据附加信息817参照选择图像区域的帧频(步骤s1903)。
[0223]
在选择图像区域的帧频为第二帧频的情况(步骤s1903：第二fr)下，压缩控制部1312将选择图像区域的图像数据输出至动态检测部1310(步骤s1904)。由此，动态检测部1310针对第二帧频的选择图像区域，如通常那样利用参照帧检测动态矢量。
[0224]
另一方面，在选择图像区域的帧频为第一帧频的情况(步骤s1903：第一fr)下，压缩控制部1312向第一帧频的选择图像区域设定跳过标志，并向动态检测部1310输出(步骤s1905)。由此，动态检测部1310针对第一帧频的选择图像区域，设定表示没有动态的特定的动态矢量。
[0225]
在步骤s1904或s1905之后，压缩控制部1312判断所获取的输入帧是否有未选择图像区域(步骤s1906)。在有未选择图像区域的情况(步骤s1906：是)下，返回至步骤s1902。另一方面，在没有未选择图像区域的情况(步骤s1906：否)下，压缩控制部1312结束一连串的处理。
[0226]
图20是示出动态检测部1310的第一压缩控制方法的动态检测处理顺序例的流程图。动态检测部1310从帧存储器1309获取输入帧在时间上的前一帧的参照帧(步骤s2001)，等待在图19的步骤s1904或s1905中输出的选择图像区域的输入(步骤s2002：否)。
[0227]
在输入了选择图像区域的情况(步骤s2002：是)下，动态检测部1310从参照帧获取与选择图像区域位于同一处的图像区域的图像数据(步骤s2003)。然后，动态检测部1310判断选择图像区域是否有跳过标志(步骤s2004)。在没有跳过标志的情况(步骤s2004：否)下，选择图像区域的帧频为第二帧频。因此，动态检测部1310利用选择图像区域的图像数据、和在步骤s2003中获取的参照帧的图像区域的图像数据，检测动态矢量(步骤s2005)。
[0228]
另一方面，在有跳过标志的情况(步骤s2004：是)下，动态检测部1310设定表示没有动态的特定的动态矢量(步骤s2006)。由此，由动态检测部1310进行的动态检测处理始终使用表示没有动态的特定的动态矢量，因此，针对第一帧频的选择图像区域减小了动态检测的处理负荷。然后，动态检测部1310将在步骤s2005或s2006中得到的动态矢量输出至运动补偿部1311(步骤s2007)，并结束一连串的处理。
[0229]
图21是示出基于运动补偿部1311的第一压缩控制方法的运动补偿处理顺序例的流程图。运动补偿部1311从帧存储器1309获取参照帧(步骤s2101)。运动补偿部1311从参照帧获取与选择图像区域位于同一处的图像区域(步骤s2102)。
[0230]
然后，运动补偿部1311使用针对来自动态检测部1310的选择图像区域的动态矢量、和在步骤s2102中获取的参照帧的图像区域，执行运动补偿(步骤s2103)。由此，运动补偿部1311能够生成选择图像区域中的预测图像数据。
[0231]
然后，运动补偿部1311判断是否所有选择图像区域的运动补偿已结束(步骤s2104)。具体来说，例如，在压缩控制部1312判断为在步骤s1906中有未选择图像区域的情况(步骤s1907：是)下，运动补偿部1311判断为并非所有选择图像区域的运动补偿已结束(步骤s2104：否)，并返回至步骤s2102。
[0232]
另一方面，在压缩控制部1312判断为在步骤s1906中没有未选择图像区域的情况(步骤s1906：否)下，运动补偿部1311判断为内所有选择图像区域的运动补偿已结束(步骤s2104：是)。然后，运动补偿部1311将结合了针对所有选择图像区域的预测图像数据的预测帧输出至减法部1301以及生成部1308(步骤s2105)，并结束一连串的处理。
[0233]
＜压缩处理例：第二压缩控制方法＞
[0234]
图22是示出基于压缩控制部1312的第二压缩控制方法的压缩控制处理顺序例的流程图。压缩控制部1312获取输入帧(步骤s2201)，并从所获取的输入帧选择未选择图像区域(步骤s2202)。然后，压缩控制部1312根据附加信息817参照选择图像区域的帧频(步骤
s2203)。
[0235]
在选择图像区域的帧频为第二帧频的情况(步骤s2203：第二fr)下，压缩控制部1312将选择图像区域输出至动态检测部1310(步骤s2204)。由此，动态检测部1310针对第二帧频的选择图像区域，如通常那样利用参照帧检测动态矢量。
[0236]
另一方面，在选择图像区域的帧频为第一帧频的情况(步骤s2203：第一fr)下，压缩控制部1312对第一帧频的选择图像区域设定跳过标志，并输出至动态检测部1310(步骤s2205)。由此，动态检测部1310针对第一帧频的选择图像区域不执行动态检测。然后，压缩控制部1312发行选择图像区域的运动补偿停止指示，并输出至运动补偿部1311(步骤s2206)。由此，能够针对该选择图像区域停止运动补偿的执行。
[0237]
在步骤s2204或s2206之后，压缩控制部1312判断所获取的输入帧是否有未选择图像区域(步骤s2207)。在有未选择图像区域的情况(步骤s2207：是)下，返回至步骤s2202。另一方面，在没有未选择图像区域的情况(步骤s2207：否)下，压缩控制部1312结束一连串的处理。
[0238]
图23是示出基于动态检测部1310的第二压缩控制方法的动态检测处理顺序例的流程图。动态检测部1310从帧存储器1309获取输入帧在时间上的前一帧的参照帧(步骤s2301)，并等待在图22的步骤s2204或s2205中输出的选择图像区域的输入(步骤s2302：否)。
[0239]
在输入有选择图像区域的情况(步骤s2302：是)下，动态检测部1310从参照帧获取与选择图像区域位于同一处的图像区域的图像数据(步骤s2303)。然后，动态检测部1310判断在选择图像区域是否有跳过标志(步骤s2304)。在没有跳过标志的情况(步骤s2304：否)下，选择图像区域的帧频为第二帧频。因此，动态检测部1310使用选择图像区域的图像数据、和在步骤s2003中获取的参照帧的图像区域的图像数据，检测动态矢量(步骤s2305)。
[0240]
然后，动态检测部1310将在步骤s2305中得到的动态矢量输出至运动补偿部1311(步骤s2306)，并结束一连串的处理。另一方面，在有跳过标志的情况(步骤s2304：是)下，动态检测部1310不执行动态检测并结束一连串的处理。
[0241]
图24是示出基于运动补偿部1311的第二压缩控制方法的运动补偿处理顺序例的流程图。运动补偿部1311从帧存储器1309获取参照帧(步骤s2401)。运动补偿部1311从参照帧获取与选择图像区域位于同一处的图像区域(步骤s2402)。
[0242]
然后，运动补偿部1311判断针对选择图像区域的运动补偿的触发输入是动态矢量或运动补偿停止指示中的哪一个(步骤s2403)。在触发输入为动态矢量的情况(步骤s2403：动态矢量)下，运动补偿部1311使用来自动态检测部1310的针对选择图像区域的动态矢量、和在步骤s2402中获取的参照帧的图像区域，执行运动补偿(步骤s2404)。由此，运动补偿部1311能够生成选择图像区域中的预测图像数据。
[0243]
另一方面，在触发输入为运动补偿停止指示的情况(步骤s2403：运动补偿停止指示)下，运动补偿部1311将获取图像区域的图像数据决定为预测图像区域的图像数据(预测图像数据)(步骤s2405)。
[0244]
然后，运动补偿部1311在步骤s2404或s2405之后，判断是否所有选择图像区域的运动补偿已结束(步骤s2406)。具体来说，例如，在压缩控制部1312在步骤s2207中判断为有未选择图像区域的情况(步骤s2007：是)下，运动补偿部1311判断为并非所有选择图像区域
的运动补偿已结束(步骤s2406：否)，并返回至步骤s2402。
[0245]
另一方面，在压缩控制部1312在步骤s2207中判断为没有未选择图像区域的情况(步骤s2207：否)下，运动补偿部1311判断为所有选择图像区域的运动补偿已结束(步骤s2406：是)。然后，运动补偿部1311将结合了针对所有选择图像区域的预测图像数据的预测帧输出至减法部1301以及生成部1308(步骤s2407)，并结束一连串的处理。
[0246]
(1-1)像这样，上述的视频压缩装置具有获取部1220和压缩部902。获取部1220获取从具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域、并能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])的摄像元件100输出的包括多帧在内的视频数据。压缩部902基于第一帧频和第二帧频对通过获取部1220获取的视频数据(第二视频数据920)进行压缩。
[0247]
由此，针对设定有不同的帧频的1帧，能够通过通用的压缩部902实现与帧频对应的压缩。另外，与在设定有一个帧频的情况下的压缩相比，能够实现处理负荷的减小。
[0248]
(1-2)另外，在上述(1-1)的视频压缩装置中，针对以第一帧频拍摄到的帧中的第一图像区域a1的图像数据，基于第一帧频进行压缩，针对以第二帧频拍摄到的帧中的第二图像区域a2的图像数据，基于第二帧频进行压缩。
[0249]
由此，针对设定有不同的帧频的1帧，能够按照每个帧频实现与帧频对应的图像区域的压缩，与设定有一个帧频的情况下的压缩相比，能够实现处理负荷的减小。
[0250]
(1-3)另外，上述(1-2)的视频压缩装置具有动态检测部1310和运动补偿部1311。动态检测部1310针对第一图像区域a1的图像数据，设定表示第一图像区域a1的图像数据内的对象物没有动态的特定的动态矢量，针对第二图像区域a2的图像数据执行动态矢量的检测。运动补偿部1311针对第一图像区域a1的图像数据基于特定的动态矢量执行运动补偿，针对第二图像区域a2的图像数据，基于动态检测部1310检测出的动态矢量执行运动补偿。
[0251]
由此，针对第一图像区域a1的图像数据，取代动态矢量的检测而设定特定的动态矢量，由此，不执行动态检测就能够实现压缩处理的负荷减小。
[0252]
(1-4)另外，上述(1-3)的视频压缩装置具有生成部1308。生成部1308基于帧与对帧进行预测的预测帧的差分数据和预测帧，针对多帧的每一帧，生成在时间上在该帧之后输入的帧所参照的参照帧。在该情况下，运动补偿部1311针对第一图像区域a1的图像数据，基于特定的动态矢量和参照帧执行运动补偿，针对第二图像区域a2的图像数据，基于动态矢量和参照帧执行运动补偿。
[0253]
由此，在使用了特定的动态矢量的情况也能够执行运动补偿，能够实现低负荷的压缩处理。
[0254]
(1-5)另外，上述(1-2)的视频压缩装置具有生成部1308、动态检测部1310和运动补偿部1311。生成部1308基于帧与对帧进行预测的预测帧的差分数据和预测帧，针对多帧的每一帧，生成在时间上在该帧之后输入的帧所参照的参照帧。动态检测部1310针对第一图像区域a1的图像数据，不执行动态矢量的检测，针对第二图像区域a2的图像数据执行动态矢量的检测。运动补偿部1311针对第一图像区域a1的图像数据，基于参照帧执行运动补偿，针对第二图像区域a2的图像数据，基于参照帧和由动态检测部1310检测出的动态矢量执行运动补偿。
[0255]
由此，通过针对第一图像区域a1的图像数据不执行动态检测，能够实现压缩处理
的负荷减小。
[0256]
(1-6)另外，在上述(1-5)的视频压缩装置中，运动补偿部1311针对第一图像区域a1的图像数据，将参照帧决定为对帧在时间上的后一帧进行预测的预测帧。
[0257]
由此，在不检测动态矢量的情况下也能够执行运动补偿，能够实现低负荷的压缩处理。
[0258]
(1-7)另外，上述(1-1)的视频压缩装置具有图像处理部901。图像处理部901基于多帧中的第一帧和第二帧，将第二帧更新为第三帧。在此，第一帧为设定有第一帧频的第一摄像区域以及设定有第二帧频的第二摄像区域中的至少由第一摄像区域拍摄到的帧。
[0259]
另外，第二帧为在第二摄像区域在与第一帧相比在时间上在其后拍摄到的帧。另外，第三帧为将第一帧中的第一图像区域a1的图像数据和第二帧中的第二图像区域a2的图像数据合成而得到的帧。压缩部902基于第一帧频对由图像处理部901更新的第三帧中的第一图像区域a1的图像数据进行压缩，并基于第二帧频对第二图像区域a2的图像数据进行压缩。
[0260]
由此，能够抑制因帧频的不同而引起的第二帧中的图像数据的丢失。因此，即使在1帧中具有不同帧频的情况下，也能够通过插补得到的第三帧进行压缩处理。
[0261]
(1-8)另外，在上述(1-7)的视频压缩装置中，图像处理部901通过针对第二帧中的第二图像区域a2的图像数据中与第一帧中的第一图像区域a1的图像数据重复的区域应用第二帧中的第二图像区域a2的图像数据，来将第二帧更新为第三帧。
[0262]
由此，例如，在作为第二帧的帧f2-60的电车的开头部分与作为第一帧的帧f1的背景区域重复的区域，图像处理部901优先应用作为第二帧的帧f2的电车的开头部分。因此，能够得到违和感更少的图像(作为第三帧的帧f2)。
[0263]
(1-9)另外，在上述(1-7)的视频压缩装置中。图像处理部901通过针对第二帧中均不属于第二帧中的第二图像区域a2以及第一帧中的第一图像区域a1的任一个区域应用第一帧中的第二图像区域a2的图像数据，来将第二帧更新为第三帧。
[0264]
由此，例如，针对作为第二帧的帧f2-60的第二帧的电车的末尾部分与作为第一帧的帧f1的背景区域之间的图像区域，优先应用作为第一帧的帧f1中的第二图像区域a2的图像数据(电车的末尾)。因此，能够得到违和感更少的图像(作为第三帧的帧f2)。
[0265]
(1-10)另外，另一视频压缩装置对从具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域、且能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频的摄像元件100输出的包含多帧在内的视频数据进行压缩。该视频压缩装置具有生成部1308和运动补偿部1311。
[0266]
生成部1308基于帧与对帧进行预测的预测帧的差分数据、和预测帧，针对多帧的每一帧生成在时间上在该帧之后输入的帧所参照的参照帧。运动补偿部1311利用由生成部1308生成的多个参照帧中的特定的参照帧，执行多帧中的、以第二帧频拍摄到的帧的运动补偿。
[0267]
由此，能够将参照帧固定为特定的参照帧，能够实现运动补偿的高效化。
[0268]
(1-11)另外，在上述(1-10)的视频压缩装置中，多帧分别包括与设定有第一帧频和比第一帧频块的第二帧频中的至少第一帧频的第一摄像区域对应的第一图像区域a1的图像数据。另外，运动补偿部1311针对第一图像区域a1的图像数据，作为特定的参照帧而利
用在帧在时间上的前一帧所生成的参照帧，来执行运动补偿。
[0269]
由此，通过将在时间上前一帧的参照帧设为特定的参照帧，能够参照与该帧最近的帧，能够实现运动补偿的高效化并且实现运动补偿的高精度化。
[0270]
(1-12)另外，上述的电子设备500具有摄像元件100和压缩部902。摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频，以针对每个摄像区域设定的帧频拍摄被摄体，输出作为视频数据的多帧。压缩部902基于第一帧频和第二帧频对由摄像元件100拍摄到的多帧的每一帧进行压缩。
[0271]
由此，能够实现能够针对设定有不同的帧频的1帧进行与帧频对应的压缩的电子设备500，与设定了一个帧频的情况下的压缩相比能够实现处理负荷的减小。
[0272]
(1-13)另外，另一电子设备500对从具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域、并能够对第一摄像区域设定第一帧频、且能够对第二摄像区域设定比第一帧频快的第二帧频的摄像元件100输出的包括多帧的视频数据进行压缩。该电子设备500具有生成部1308和运动补偿部1311。
[0273]
生成部1308基于帧与对帧进行预测的预测帧的差分数据和预测帧，针对多帧的每一帧，生成在时间上在该帧之后输入的帧所参照的参照帧。运动补偿部1311利用由生成部1308生成的多个参照帧中的特定的参照帧，执行多帧中的以第二帧频拍摄到的帧的运动补偿。
[0274]
由此，能够将参照帧固定为特定的参照帧，能够实现可谋求运动补偿的高效化的电子设备500。
[0275]
此外，作为上述的(1-12)以及(1-13)的电子设备500而举出例如数码相机、数码摄像机、智能手机、平板电脑、监视相机、行车记录仪、无人机等。
[0276]
(1-14)另外，上述视频压缩程序使处理器1201执行对从摄像元件100输出的包括多帧的视频数据的压缩，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，并能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频。该视频压缩程序使处理器1201执行获取视频数据的获取处理、和基于第一帧频和第二帧频对在获取处理中获取的视频数据进行压缩的压缩处理。
[0277]
由此，能够通过软件针对设定有不同的帧频的1帧实现与帧频对应的压缩，与设定有一个帧频的情况下的压缩相比能够实现处理负荷的减小。
[0278]
(1-15)另外，上述的其他视频压缩程序使处理器1201执行对从摄像元件100输出的包括多帧的视频数据的压缩，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频且能够对第二摄像区域设定比第一帧频快的第二帧频。
[0279]
该视频压缩程序使处理器1201执行如下的处理：基于帧与对帧进行预测的预测帧的差分数据和预测帧，针对多帧的每一帧生成在时间上在该帧之后输入的帧所参照的参照帧的生成处理；以及利用在生成处理中生成的参照帧中的特定的参照帧执行多帧中的以第二帧频拍摄到的帧的运动补偿的运动补偿处理。
[0280]
由此，能够将参照帧固定为特定的参照帧，能够通过软件实现运动补偿的高效化。
[0281]
此外，上述的(1-14)以及(1-15)的视频压缩程序可以记录在cd-rom、dvd-rom、快
闪存储器、存储卡504等可移动性的记录介质。另外，上述的(1-14)以及(1-15)的视频压缩程序也可以记录在能够下载到视频压缩装置或电子设备500的服务器。
[0282]
【实施例2】
[0283]
针对实施例2进行说明。在实施例1中，由于在图10示出的帧f2、f4、
……
中存在范围da1、da3、
……
，所以图像处理部901用特定颜色涂满或者执行去马赛克处理。在实施例2中，图像处理部901不执行这种图像处理，生成违和感更少的帧f2、f4、
……
。
[0284]
此外，在实施例2中，将包括图像处理部901且不包括摄像元件100或压缩部902的构成称为图像处理装置。此外，在实施例1中，压缩部902对图像处理装置(图像处理部901)进行图像处理后的帧进行了压缩，但并非必须进行压缩，也可以以非压缩的状态输出至液晶监控器503。此外，在实施例2中，针对与实施例1共用部分使用同一附图标记并省略说明。
[0285]
＜视频压缩的改良例＞
[0286]
在此，对实施例2中的视频压缩的改良例进行说明。在图10中，对电子设备500在包括稻田、山、以及天空在内的风景的定点拍摄中作为特定被摄体而拍摄行使的电车的图像处理例1进行了说明。以下，具体地说明视频处理例1的处理的流程。
[0287]
图25是表示图10示出的视频处理例1的具体的处理的流程的说明图。如也在图10中说明的那样，摄像元件100按照时间序列顺序输出帧f1、f2-60、f3、
……
。电车在帧f1、f2-60、f3内，从右向左行使。
[0288]
在图25中，帧f1～f3的副编号示出该帧f1～f3的帧频。例如，奇数编号的帧f1-30示出帧f1中的以30[fps]的帧频拍摄到的第一图像区域r1-30的图像数据，帧f1-60示出帧f1中的以60[fps]的帧频拍摄到的第二图像区域r1-60的图像数据。
[0289]
帧f1-60的以60[fps]的帧频拍摄到的第二图像区域r1-60具有电车的图像数据，但在帧f1-30中没有第二图像区域r1-60。将帧f1-30中的这种区域称为非图像区域n1-60。帧f1-60也同样地，帧f1-30的以30[fps]的帧频拍摄到的第一图像区域r1-30具有风景的图像数据，但在帧f1-60中在第二图像区域r1-60内不具有这样的数据。将帧f1-60中的这种区域称为非图像区域n1-30。
[0290]
在帧f3中也同样地，帧f3-30由输出了风景的图像数据的第一图像区域r3-30和什么都没输出的非图像区域n3-60构成，帧f3-60由输出了电车的图像数据的第二图像区域r3-60和什么都没输出的非图像区域n3-60构成。帧f3-30，f3-60以后的未图示的奇数编号帧也同样。
[0291]
另外，偶数编号的帧f2-60为由以60[fps]的帧频拍摄到的第二图像区域r2-60的图像数据(电车)和什么都没输出的非图像区域n2-30构成的帧。就以后的未图示的偶数编号帧而言也同样。
[0292]
图像处理部901通过对帧f2-60的第二图像区域r2-60的图像数据(电车)和帧f1-30的第一图像区域r1-30的图像数据(风景)进行合成，来生成作为合成图像数据的帧f2。在该情况下，以图10说明的那样，帧f2具有帧f1-30的非图像区域n1-60、和与帧f2-60的非图像区域n2-30重复的范围da1。
[0293]
在实施例1中，图像处理部901用特定颜色涂满范围da1或者执行去马赛克处理，但在实施例2中，图像处理部901不进行这种图像处理，而复制其他图像区域中的范围da1的图像数据。由此，图像处理部901生成违和感更少的帧f2。就范围da3而言也同样，但在实施例2
中，着眼于范围da1来进行说明。
[0294]
＜帧f2的合成例＞
[0295]
接着，针对由图像处理部901(合成部1214)对帧f2的合成例进行说明。
[0296]
[合成例1]
[0297]
图26是示出实施例2的60[fps]的帧f2的合成例1的说明图。合成例1是作为成为向范围da1的复制对象的其他图像区域而使用在帧f2-60在时间上的后一帧f3的第一图像区域r3-30中与范围da1位于同一位置的范围db1的例子。范围db1的图像数据是风景的一部分。
[0298]
在图26中，图像处理部901确定帧f1-30的非图像区域n1-60与帧f2-60的非图像区域n2-30重复的范围da1，根据帧f3确定与特定的范围da1位于同一位置的范围db1。然后，图像处理部901向帧f2中的范围da1复制范围db1的图像数据。由此，图像处理部901能够生成违和感更少的帧f2。
[0299]
[合成例2]
[0300]
图27是示出实施例2的60[fps]的帧f2的合成例2的说明图。在合成例1中，将帧f1-30的第一图像区域r1-30的图像数据作为向帧f2的第一图像区域的复制源，并将帧f3的范围db1的图像数据作为向范围da1的复制源，在合成例2中，相反将帧f3-30的第一图像区域r3-30的图像数据作为向帧f2的第一图像区域的复制源，并将帧f1的范围db2的图像数据作为向范围da2的复制源。
[0301]
在此，范围da2为帧f3-30的非图像区域n3-60与帧f2-60的非图像区域n2-30重复的范围。帧f1的范围db2为与范围da2位于同一位置的范围。
[0302]
在图27中，图像处理部901确定帧f3-30的非图像区域n3-60与帧f2-60的非图像区域n2-30重复的范围da2，从帧f1确定与所特定的范围da2位于同一位置的范围db2。然后，图像处理部901向帧f2中的范围da2复制范围db2的图像数据。由此，图像处理部901能够生成违和感更少的帧f2。
[0303]
[合成例3]
[0304]
合成例3是选择合成例1以及合成例2中的某一方来合成的例子。在合成例3中，图像处理部901确定合成例1中的范围da1和合成例2中的范围da2。图像处理部901选择范围da1、da2中的某一方，并应用确定了所选择的范围的合成例。图像处理部901在选择了范围da1的情况下应用合成例1，在选择了范围da2的情况下应用合成例2。
[0305]
图像处理部901作为选择范围da1、da2中的某一方的选择基准，例如将范围的窄度作为选择基准。在图26以及图27的例子中，由于范围da1比范围da2窄，所以应用合成例1。通过选择窄的范围，能够将基于复制产生的违和感限制在最小限度。
[0306]
[合成例4]
[0307]
图28是示出实施例2的60[fps]的帧f2的合成例4的说明图。合成例4将合成例1中的范围da1的复制源不设为帧f3的第一图像区域r3-30内中的范围db1的图像数据(风景的一部分)，而是设为帧f1的第二图像区域r1-60中的范围db3的图像数据(电车的末尾)。由此，在帧f2中，第二图像区域r2-60的图像数据(电车)追加了范围db3的图像数据，但由于追加至第二图像区域r2-60的图像数据(电车)的行进方向的相反一侧，所以在用户观看影像的情况下，会有将该第二图像区域r2-60的图像数据(电车)看做是行使的电车的残像的错
觉。因此，在该情况下也能够生成违和感更少的帧f2、f4、
……
。
[0308]
＜帧f2的合成处理顺序例＞
[0309]
以下，对基于上述的合成例1～合成例4的帧f2的合成处理顺序例进行说明。在以下的流程图中，第二帧为成为合成对象的仅以第二帧频(例如，60[fps])拍摄到的帧。例如图25～图28的帧f2。
[0310]
第一帧与第二帧相比在时间上为前一帧、且为包括以第一帧频(例如，30[fps])以及第二帧频中的至少第一帧频拍摄到的图像区域在内的帧。例如图25～图28的帧f1。
[0311]
第三帧与第二帧相比在时间上为后一帧、且为包括以第一帧频以及第二帧频中的至少第一帧频拍摄到的图像区域在内的帧。例如图25～图28的帧f3。
[0312]
[合成例1]
[0313]
图29是示出由图像处理部901进行的帧f2的合成例1的合成处理顺序例1的流程图。此外，输入帧依次蓄积在缓冲器内。图像处理部901判断在缓冲器中是否有第二帧(步骤s2901)。在缓冲器中有第二帧的情况(步骤s2901：是)下，图像处理部901确定成为第一帧的非图像区域且成为第二帧的非图像区域的范围(步骤s2902)。具体来说，例如图像处理部901确定帧f1-30的非图像区域n1-60与帧f2-60的非图像区域n2-30重复的范围da1。
[0314]
接着，图像处理部901复制第一帧的第一图像区域a1的图像数据(步骤s2903)。具体来说，例如，图像处理部901复制帧f1的第一图像区域r1-30的图像数据(风景)。
[0315]
然后，图像处理部901从第三帧复制在步骤s2902中确定的范围的图像数据(步骤s2904)。具体来说，例如图像处理部901从第三帧复制与在步骤s2902中确定的范围da1为相同范围db1的图像数据。
[0316]
接着，图像处理部901更新第二帧(步骤s2905)。具体来说，例如，图像处理部901通过对帧f2-60的第二图像区域r2-60、复制的第一图像区域r1-30的图像数据(风景)、和复制的范围db1的图像数据进行合成，而将帧f2-60更新为帧f2。
[0317]
此后，返回步骤s2901。在缓冲器中没有第二帧的情况(步骤s2901：否)下，图像处理部901结束图像处理(步骤s1413、s1415)。由此，图像处理部901能够生成违和感更少的帧f2。
[0318]
[合成例2]
[0319]
图30是示出基于图像处理部901的帧f2的合成例2的合成处理顺序例2的流程图。此外，输入帧依次蓄积在缓冲器内。图像处理部901判断在缓冲器内是否有第二帧(步骤s3001)。在缓冲器中有第二帧的情况(步骤s3001：是)下，图像处理部901确定成为第三帧的非图像区域且成为第二帧的非图像区域的范围(步骤s3002)。具体来说，例如，图像处理部901确定帧f3-30的非图像区域n3-60与帧f2-60的非图像区域n2-30重复的范围da2。
[0320]
接着，图像处理部901复制第三帧的第一图像区域a1的图像数据(步骤s3003)。具体来说，例如，图像处理部901复制帧f3的第一图像区域r3-30的图像数据(风景)。
[0321]
然后，图像处理部901从第一帧复制在步骤s3002中确定的范围的图像数据(步骤s3004)。具体来说，例如，图像处理部901从帧f1复制与在步骤s3002中确定的范围da2为相同范围db2的图像数据。
[0322]
接着，图像处理部901更新第二帧(步骤s3005)。具体来说，例如，图像处理部901通过将帧f2-60的第二图像区域r2-60、复制的第一图像区域r3-30的图像数据(风景)、和复制
的范围db2的图像数据合成，来将帧f2-60更新为帧f2。
[0323]
此后，返回至步骤s3001。在缓冲器中没有第二帧的情况(步骤s3001：否)下，图像处理部901结束图像处理(步骤s1413、s1415)。由此，图像处理部901能够生成违和感更少的帧f2。
[0324]
[合成例3]
[0325]
图31是基于图像处理部901的帧f2的合成例3的合成处理顺序例3的流程图。此外，输入帧依次蓄积在缓冲器内。图像处理部901判断在缓冲器内是否有第二帧(步骤s3101)。在缓冲器中有第二帧的情况(步骤s3101：是)下，图像处理部901确定成为第一帧的非图像区域且成为第二帧的非图像区域的第一范围(步骤s3102)。具体来说，例如，图像处理部901确定帧f1-30的非图像区域n1-60与帧f2-60的非图像区域n2-30重复的范围da1。
[0326]
图像处理部901确定成为第三帧的非图像区域且成为第二帧的非图像区域的第二范围(步骤s3103)。具体来说，例如，图像处理部901确定帧f3-30的非图像区域n3-60与帧f2-60的非图像区域n2-30重复的范围da2。
[0327]
接着，图像处理部901选择所确定的第一范围以及第二范围的某一范围(步骤s3104)。具体来说，例如，图像处理部901选择第一范围以及第二范围中的较窄(面积小的一方)的范围。将所选择的范围称为选择范围。在范围da1、da2的情况下，图像处理部901选择范围da1。由此，能够将用于合成的范围抑制为最小限度，能够进一步抑制违和感。
[0328]
然后，图像处理部901复制选择帧的第一图像区域a1的图像数据(步骤s3105)。选择帧是指成为选择范围的确定源的帧，例如在选择了第一范围(范围da1)的情况下，选择帧为第一帧(帧f1)，在选择了第二范围(范围da2)的情况下，选择帧为第三帧(帧f3)。因此，若选择帧为帧f1，则选择帧的第一图像区域a1的图像数据是指帧f1的第一图像区域r1-30的图像数据(风景)，若选择帧为帧f3，则选择帧的第一图像区域a1的图像数据是指帧f3的第一图像区域r3-30的图像数据(风景)。
[0329]
然后，图像处理部901从非选择帧复制步骤s3104的选择范围的图像数据(步骤s3106)。非选择帧是指成为未被选择的范围的确定源的帧，例如，在第一范围(范围da1)未被选择的情况下，非选择帧为第一帧(帧f1)，在第二范围(范围da2)未被选择的情况下，非选择帧为第三帧(帧f3)。因此，若选择范围为范围da1，则图像处理部901从帧f3复制与范围da1为同一位置的范围db1的图像数据，若选择范围为范围da2，则从帧f1复制与范围da2为同一位置的范围db2的图像数据。
[0330]
接着，图像处理部901更新第二帧(步骤s3107)。具体来说，例如，在选择范围为第一范围(范围da1)的情况下，图像处理部901通过将帧f2-60的第二图像区域r2-60、复制的第一图像区域r1-30的图像数据(风景)、复制的范围db1的图像数据合成，而将帧f2-60更新为帧f2。另外，在选择范围为第二范围(范围da2)的情况下，图像处理部901通过将帧f2-60的第二图像区域r2-60、复制的第一图像区域r3-30的图像数据(风景)、和复制的范围db2的图像数据合成，而将帧f2-60更新为帧f2。
[0331]
此后，返回至步骤s3101。在缓冲器中没有第二帧的情况(步骤s3101：否)下，图像处理部901结束图像处理(步骤s1413、s1415)。由此，图像处理部901通过选择较窄的范围，能够将因复制产生的违和感限在最小限度。
[0332]
[合成例4]
[0333]
图32是示出基于图像处理部901的帧f2的合成例4的合成处理顺序例4的流程图。此外，输入帧依次蓄积在缓冲器内。图像处理部901判断在缓冲器内是否有第二帧(步骤s3201)。在缓冲器中有第二帧的情况(步骤s3201：是)下，图像处理部901确定成为第一帧的非图像区域且成为第二帧的非图像区域的范围(步骤s3202)。具体来说，例如，图像处理部901确定帧f1-30的非图像区域n1-60与帧f2-60的非图像区域n2-30重复的范围da1。
[0334]
接着，图像处理部901复制第一帧的第一图像区域a1的图像数据(步骤s3203)。具体来说，例如，图像处理部901复制帧f1的第一图像区域r1-30的图像数据(风景)。
[0335]
然后，图像处理部901从第一帧复制在步骤s3202中确定的范围的图像数据(步骤s3204)。具体来说，例如，图像处理部901从帧f1复制与在步骤s3202中确定的范围da1为相同范围db3的图像数据。
[0336]
接着，图像处理部901更新第二帧(步骤s3205)。具体来说，例如，图像处理部901通过将帧f2-60的第二图像区域r2-60、复制的第一图像区域r1-30的图像数据(风景)、和复制的范围db1的图像数据合成，而将帧f2-60更新为帧f2。
[0337]
此后，返回至步骤s3201。在缓冲器中没有第二帧的情况(步骤s3201：否)下，图像处理部901结束图像处理(步骤s1413、s1415)。由此，图像处理部901能够生成违和感更少的帧f2。
[0338]
(2-1)像这样，实施例2的图像处理装置对根据来自摄像元件100的输出而生成的多帧进行图像处理，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0339]
图像处理装置具有确定部1213和合成部1214。确定部1213基于多帧的、根据来自第一摄像区域以及第二摄像区域的输出而生成的第一帧、和根据来自第二摄像区域的输出生成的第二帧(例如，帧f2-60)，确定第一帧中的与第二摄像区域对应的非图像区域n1-60且第二帧中的与第一摄像区域对应的非图像区域n2-30的范围da1。
[0340]
合成部1214将第二帧、第一帧中的与第一摄像区域对应的第一图像区域r1-30的图像数据、和在第一帧中的第一图像区域r1-30的图像数据以及第二帧以外的其他图像区域中由确定部1213确定的范围da1的特定的图像数据进行合成。
[0341]
由此，能够利用与第二帧在时间上接近的帧来插补在第二帧中没有拍摄到的非图像区域n2-30。因此，能够得到比第二帧违和感更少的合成帧。
[0342]
(2-2)另外，在上述(2-1)的图像处理装置中，第一帧为在时间上在第二帧之前生成的帧(例如，帧f1)，特定的图像数据也可以设为在时间上在第二帧之后根据来自第一摄像区域以及第二摄像区域的输出而生成的帧(例如，帧f3)的第一图像区域a1(r3-30)中的范围(da1)的图像数据(即，范围db1的图像数据)。
[0343]
由此，能够通过第二帧在时间上的前一帧的第一帧和后一帧的第三帧来插补在第二帧中没有拍摄到的非图像区域n2-30。因此，能够得到比第二帧违和感更少的合成帧。
[0344]
(2-3)另外，在上述(2-1)的图像处理装置中，第一帧为在时间上在第二帧之后生成的帧(例如，帧f3)，特定的图像数据可以设为在时间上在第二帧之前根据来自第一摄像区域以及第二摄像区域的输出而生成的帧(例如，帧f1)的第一图像区域a1(r1-30)中的范围(da2)的图像数据(即，范围db2的图像数据)。
[0345]
由此，能够通过第二帧在时间上的前一帧的第一帧和后一帧的第三帧对在第二帧中没有拍摄到的非图像区域n2-30进行插补。因此，能够得到与第二帧相比违和感更少的合成帧。
[0346]
(2-4)另外，在上述(2-1)的图像处理装置中，确定部1213基于第一范围(da1)和第二范围(da2)，确定合成部1214所使用的范围。另外，合成部1214将第二帧、成为由第一帧以及第三帧中的由确定部1213确定的一范围(da1/da2)的确定源的一帧(f1/f3)中的第一图像区域a1(r1-30/r3-30)的图像数据、和成为没有由第一帧以及第三帧中的由确定部1213确定出的另一范围(da2/da1)的确定源的另一帧(f3/f1)的第一图像区域a1(r3-30/r1-30)中的一范围(da1/da2)的图像数据(db1/db2)合成。
[0347]
由此，图像处理部901通过选择较窄的范围，能够将因复制引起的违和感限在最小限度。
[0348]
(2-5)另外，在上述(2-1)的图像处理装置中，第一帧为在时间上在第二帧之前生成的帧，特定的图像数据可以为第一帧的第二图像区域a2中的范围(da1)的图像数据(即，范围db3的图像数据)。
[0349]
由此，能够通过第二帧在时间上的前一帧的第一帧对在第二帧中没有拍摄到的非图像区域n2-30进行插补。因此，能够得到与第二帧相比违和感更少的合成帧。
[0350]
(2-6)另外，实施例2的视频压缩装置具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域。对根据来自能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])的摄像元件100的输出而生成的包含多帧的视频数据进行压缩。
[0351]
视频压缩装置具有确定部1213和合成部1214。确定部1213基于多帧中的、根据来自第一摄像区域以及第二摄像区域的输出而生成的第一帧、和根据来自第二摄像区域的输出而生成的第二帧(例如，帧f2-60)，确定第一帧中的与第二摄像区域对应的非图像区域n1-60且第二帧中的第一摄像区域与对应的非图像区域n2-30的范围da1。
[0352]
合成部1214将第二帧、第一帧中的与第一摄像区域对应的第一图像区域r1-30的图像数据、和在第一帧中的第一图像区域r1-30的图像数据以及第二帧以外的其他图像区域中由确定部1213确定出的范围da1的特定的图像数据合成。
[0353]
压缩部902对第一帧和通过合成部1214合成的帧进行压缩。
[0354]
由此，能够得到与第二帧同样地能够压缩且与第二帧相比违和感更少的合成帧。
[0355]
(2-7)另外，实施例2的图像处理程序使处理器1201执行根据来自摄像元件100的输出而生成的多帧的图像处理，其中，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域、并能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0356]
图像处理程序使处理器1201执行确定处理和合成处理。在确定处理中，图像处理程序使处理器1201基于多帧中的、根据第一摄像区域以及第二摄像区域的输出而生成的第一帧、和根据来自第二摄像区域的输出而生成的第二帧(例如，帧f2-60)，确定第一帧中的与第二摄像区域对应的非图像区域n1-60且第二帧中的与第一摄像区域对应的非图像区域n2-30的范围da1。
[0357]
图像处理程序在合成处理中使处理器1201对第二帧、第一帧中的与第一摄像区域
对应的第一图像区域r1-30的图像数据、和在第一帧中的第一图像区域r1-30的图像数据以及第二帧以外的其他图像区域中通过确定处理确定的范围da1的特定的图像数据进行合成。
[0358]
由此，能够通过软件利用与第二帧在时间上接近的帧对在第二帧中没有拍摄到的非图像区域n2-30进行插补。因此，能够利用软件获得与第二帧相比违和感更少的合成帧。
[0359]
(2-8)另外，实施例2的视频压缩程序使处理器1201执行确定处理、合成处理和压缩处理。
[0360]
视频压缩程序使处理器1201执行确定处理和合成处理。在确定处理中，图像处理程序使处理器1201基于多帧中的、根据来自第一摄像区域以及第二摄像区域的输出而生成的第一帧和根据来自第二摄像区域的输出而生成的第二帧(例如，帧f2-60)，确定第一帧中的与第二摄像区域对应的非图像区域n1-60且第二帧中的与第一摄像区域对应的非图像区域n2-30的范围da1。
[0361]
视频压缩程序在合成处理中使处理器1201对第二帧、第一帧中的与第一摄像区域对应的第一图像区域r1-30的图像数据、和在第一帧中的第一图像区域r1-30的图像数据以及第二帧以外的其他图像区域中通过确定处理确定的范围da1的特定的图像数据进行合成。
[0362]
视频压缩程序在压缩处理中使处理器1201对第一帧、和通过合成处理合成的帧进行压缩。
[0363]
由此，能够通过软件获得与第二帧同样地能够进行压缩且与第二帧相比违和感更少的合成帧。
[0364]
此外，上述的(2-7)的图像处理程序以及(2-8)的视频压缩程序可以记录在cd-rom、dvd-rom、快闪存储器、存储卡504等可移动性的记录介质中。另外，上述的(2-7)的图像处理程序以及(2-8)的视频压缩程序也可以记录在能够下载到视频压缩装置或电子设备500的服务器中。
[0365]
【实施例3】
[0366]
对实施例3进行说明。在实施例1中，由于在图10示出的帧f2、f4、
……
中存在范围da1、da3、
……
，所以图像处理部901用特定颜色涂满或者执行去马赛克处理。在实施例3中，与实施例2同样地，图像处理部901不执行这种图像处理地生成违和感更少的帧f2、f4、
……
。
[0367]
此外，在实施例3中，将包括图像处理部901且不包括摄像元件100、压缩部902的构成称为图像处理装置。另外，将包括摄像元件100和前处理部1210在内的构成称为摄像装置。此外，在实施例1中，压缩部902对图像处理装置(图像处理部901)进行图像处理后的帧进行了压缩，但并非必须进行压缩，也可以以非压缩的状态输出至液晶监控器503。此外，在实施例3中，对与实施例1以及实施例2共用部分使用同一附图标记并省略说明。
[0368]
图33是示出实施例3的60[fps]的帧f2的合成例的说明图。在拍摄帧f2-60之前，前处理部1210根据帧f2-60以前的帧f1等检测电车等的特定被摄体，检测在前一帧的帧f1中的特定被摄体的动态矢量。前处理部1210能够根据帧f1的特定被摄体的图像区域和动态矢量，在下一帧f2-6得到60[fps]的图像区域r12-60。
[0369]
另外，就对作为合成帧的帧f2的合成而言，与实施例1同样地，图像处理部901复制
前一帧的帧f1的第一图像区域r1-30的图像数据(风景)，将第一图像区域r1-30的图像数据(风景)、和图像区域r12-60的图像数据(电车和风景的一部分)合成，由此能够得到帧f2。
[0370]
图34是示出摄像区域的设定与帧f2-60的图像区域的对应关系的说明图。(a)示出动态矢量的检测例，(b)示出摄像区域的设定与帧f2-60的图像区域的对应关系。
[0371]
摄像区域p1-60为在生成帧f1在时间上的前一帧f0-60之后、在生成帧f1之前已经检测完毕的特定被摄体的摄像区域。因此，在帧f1中，特定被摄体(电车)的图像数据o1存在于与摄像区域p1-60对应的第二图像区域r1-60。
[0372]
前处理部1210通过检测部1211，根据帧f0的特定被摄体的图像数据o1和帧f1的特定被摄体的图像数据o1检测特定被摄体的动态矢量mv。然后，前处理部1210根据帧f1的特定被摄体的第二图像区域r1-60和动态矢量mv，检测在下一帧f2-60内拍摄到特定被摄体的第二图像区域r2-60，并检测与检测到的第二图像区域r2-60对应的摄像元件100的摄像面200的检测摄像区域p2-60。
[0373]
前处理部1210通过设定部1212，将包括在生成帧f1时确定完毕的摄像区域p1-60、和检测摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频，并将该设定指示输出至摄像元件100。由此，摄像元件100将特定的摄像区域p12-60设定为第二帧频并进行拍摄，来生成帧f2-60。
[0374]
图像处理部901通过合成部1214，对包含在帧f1中的第一图像区域r1-30的图像数据、和包含在基于以由设定部1212设定的第二帧频进行拍摄而生成的第二帧f2-60中的特定的摄像区域p12-60的图像数据合成。由此，帧f2-60更新为帧f2。
[0375]
此外，在生成帧f2-60之后且在生成下一帧f3之前，前处理部1210将检测摄像区域p2-60的帧频设定为第二帧频，将摄像面200中的检测摄像区域p2-60以外的其他摄像区域的帧频设定为第一帧频。由此，在生成通过包含第一帧频的摄像区域在内的拍摄而得到的帧f3中，与帧f1同样地，设定有第二帧频的第二摄像区域仅为检测摄像区域p2-60。像这样，针对成为合成对象的帧f2-60、f4-60、
……
设定特定的检测摄像区域，因此，抑制帧f1、f3、
……
的无用的处理。
[0376]
帧f2-60在图像区域r12-60包含特定被摄体(电车)的图像数据o1和风景的一部分的图像数据o2。像这样，图像区域r12-60与第二图像区域r2-60相比，在特定被摄体的移动方向上的相反侧被扩大。因此，不需要如实施例2那样确定范围da1、da2，并复制帧的范围db1、db2的图像数据来进行合成。此外，实施例3的合成处理例如在图18的步骤s1805中被执行。另外，该合成处理能够用于仅用第二帧频的帧f2-60、f4-60、
……
的合成的情况，在包括以第一帧频的图像区域在内的帧f1、f3、
……
中不执行。
[0377]
像这样，在实施例3中，合成源的图像数据为图像区域r12-60和帧f1的第一图像区域r1-30这两个，因此，能够生成违和感更少的帧f2。即，图像数据o1、o2为在同一定时拍摄到的图像数据，因此，图像数据o1、o2的边界不会不自然且没有违和感。另外，不需要如实施例2那样确定范围da1、da2或者从范围da1、da2选择最佳的范围的处理，因此，能够实现帧f2的合成处理的负荷减小。
[0378]
(3-1)像这样，实施例3的摄像装置具有摄像元件100、检测部1211和设定部1212。摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二
帧频(例如，60[fps])。
[0379]
检测部1211基于包含在根据来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，对摄像元件100中的特定被摄体的检测摄像区域p2-60进行检测。设定部1212将包含生成帧f1所使用的特定被摄体的摄像区域p1-60、和由检测部1211检测出的摄像区域(以下，检测摄像区域)p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0380]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2中不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够抑制以第二帧频拍摄的帧f2-60的图像缺损。
[0381]
(3-2)另外，在上述(3-1)的摄像装置中，检测部1211基于包含在帧f1内的特定被摄体的第二图像区域r1-60、和帧f1与帧f1在时间上的前一帧f0-60之间的特定被摄体的动态矢量mv，检测特定被摄体的检测摄像区域p2-60。
[0382]
由此，能够易于实现特定被摄体的检测摄像区域p2-60的预测。
[0383]
(3-3)另外，在上述(3-1)的摄像装置中，设定部1212在帧为根据来自第一摄像区域的输出而生成的第一帧f1的情况下，将特定的摄像区域的帧频设定为第二帧频，在帧为第一帧f1之后根据来自特定的摄像区域的输出而生成的第二帧f2-60的情况下，将检测摄像区域p2-60的帧频设定为第二帧频，将检测摄像区域p2-60以外的其他摄像区域(摄像面200中的除了检测摄像区域p2-60以外的部分)的帧频设定为第一帧频。
[0384]
由此，由于仅针对成为合成对象的帧f2-60、f4-60、
……
设定特定的检测摄像区域，所以抑制在帧f1、f3、
……
进行无用的处理。
[0385]
(3-4)另外，实施例3的图像处理装置对根据来自摄像元件100的输出而生成的帧进行图像处理，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0386]
该图像处理装置具有检测部1211、设定部1212和合成部1214。检测部1211基于包含在来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，检测摄像元件100中的特定被摄体的摄像区域p2-60。设定部1212将包含生成帧f1所用的特定被摄体的摄像区域p1-60、和由检测部1211检测出的检测摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0387]
合成部1214将包含在第一帧f1内的第一图像区域r1-30的图像数据、和包含在以由设定部1212设定的第二帧频进行拍摄而生成的第二帧f2-60内的特定的摄像区域p12-60的图像数据进行合成。
[0388]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够抑制以第二帧频拍摄的帧f2-60的图像缺损。另外，在进行合成时，不需要针对重复的范围da1进行插补，因此，能够得到违和感更少的图像，另外，能够实现合成处理的负荷减小。
[0389]
(3-5)另外，实施例3的视频压缩装置对根据来自摄像元件100的输出而生成的包含多帧的视频数据进行压缩，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区
域设定比第一帧频快的第二帧频(例如，60[fps])。
[0390]
该视频压缩装置具有检测部1211、设定部1212、合成部1214和压缩部902。检测部1211基于包含在来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，检测摄像元件100中的特定被摄体的摄像区域p2-60。设定部1212将包含生成帧f1所使用的特定被摄体的摄像区域p1-60、和由检测部1211检测出的摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0391]
合成部1214将包含在第一帧f1内的第一图像区域r1-30的图像数据、和包含在以由设定部1212设定的第二帧频进行拍摄而生成的第二帧f2-60内的特定的摄像区域p12-60的图像数据进行合成。压缩部902对第一帧f1、和由合成部1214得到的合成后的第二帧f2进行压缩。
[0392]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够抑制以第二帧频拍摄到的帧f2-60的图像缺损。另外，在进行合成时，不需要针对重复的范围da1进行插补，因此，能够得到违和感更少的图像，另外能够实现合成处理的负荷减小。另外，由于帧f2-60被更新为帧f2之后被压缩，所以能够将在帧f1、f2间的差分抑制为最小限度，能够实现压缩处理负荷的减小。
[0393]
(3-6)另外，实施例3的设定程序使处理器1201执行摄像元件100的控制，其中，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0394]
设定程序使处理器1201执行检测处理和设定处理。在检测处理中，设定程序使处理器1201基于包含在根据来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，检测摄像元件100中的特定被摄体的摄像区域p2-60。在设定处理中，设定程序使处理器1201将包含生成帧f1所使用的特定被摄体的摄像区域p1-60、和通过检测处理检测出的检测摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0395]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够通过软件实现对以第二帧频拍摄的帧f2-60的图像缺损的抑制。
[0396]
(3-7)另外，实施例3的图像处理程序使处理器1201执行根据来自摄像元件100的输出而生成的帧的图像处理，该摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0397]
图像处理程序使处理器1201执行检测处理、设定处理和合成处理。在检测处理中，图像处理程序使处理器1201基于包含在根据来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，检测摄像元件100中的特定被摄体的摄像区域p2-60。在设定处理中，图像处理程序使处理器1201将包含生成帧f1所用的特定被摄体的摄像区域p1-60、和通过检测处理检测出的检测摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0398]
在合成处理中，图像处理程序使处理器1201对包含在第一帧f1内的第一图像区域
r1-30的图像数据、和包含在以通过设定处理设定的第二帧频进行拍摄而生成的第二帧f2-60内的特定的摄像区域p12-60的图像数据进行合成。
[0399]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够通过软件实现抑制以第二帧频拍摄到的帧f2-60的图像缺损。另外，在进行合成时，不需要针对重复的范围da1进行插补，因此，能够得到违和感更少的图像，另外能够通过软件实现合成处理的负荷减小。另外，由于帧f2-60更新为帧f2之后被压缩，所以能够将帧f1、f2间的差分抑制为最小限度，能够通过软件实现压缩处理负荷的减小。
[0400]
(3-8)另外，实施例3的视频压缩程序使处理器1201执行根据来自摄像元件100的输出而生成的包含多帧在内的视频数据的压缩，其中，摄像元件100具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对第一摄像区域设定第一帧频(例如，30[fps])、且能够对第二摄像区域设定比第一帧频快的第二帧频(例如，60[fps])。
[0401]
该视频压缩程序使处理器1201执行检测处理、设定处理、合成处理和压缩处理。在检测处理中，视频压缩程序使处理器1201基于包含在根据来自摄像元件100的输出而生成的帧f1内的特定被摄体的第二图像区域r1-60，检测摄像元件100中的特定被摄体的摄像区域p2-60。在设定处理中，视频压缩程序使处理器1201将包含生产帧f1所用的特定被摄体的摄像区域p1-60、和检测处理检测出的检测摄像区域p2-60在内的特定的摄像区域p12-60的帧频设定为第二帧频。
[0402]
在合成处理中，视频压缩程序使处理器1201对包含在第一帧f1内的第一图像区域r1-30的图像数据、和包含在以通过设定处理设定的第二帧频进行拍摄而生成的第二帧f2-60内的特定的摄像区域p12-60的图像数据进行合成。在压缩处理中，视频压缩程序使处理器1201对第一帧f1、和通过合成处理得到的合成后的第二帧f2进行压缩。
[0403]
由此，对具有第二帧频的摄像区域进行扩大设定，能够以在帧f1、f2不产生非图像区域重复的范围da1的方式以第二帧频拍摄特定被摄体，能够通过软件实现对以第二帧频拍摄的帧f2-60的图像缺损的抑制。另外，在进行合成时，无需针对重复的范围da1进行插补，因此能够得到违和感更少的图像，另外，能够通过软件实现合成处理的负荷减小。另外，由于帧f2-60被更新为帧f2之后被压缩，所以能够将帧f1、f2间的差分抑制为最小限度，能够通过软件实现压缩处理负荷的减小。
[0404]
附图标记说明
[0405]
100摄像元件、200摄像面、500电子设备、501摄像光学系统、502控制部、503液晶监控器、504存储卡、505操作部、507快闪存储器、508录音部、600视频文件、b1～bn数据块、817附加信息、901图像处理部、902压缩部、1201处理器、1202存储器、1203集成电路、1204总线、1210前处理部、1211检测部、1212设定部、1213确定部、1214合成部、1220获取部、1301减法部、1302dct部、1303量化部、1304熵编码部、1305编码量控制部、1306逆量化部、1307逆dct部、1308生成部、1309帧存储器、1310动态检测部、1311运动补偿部、1312压缩控制部。
技术特征：1.一种摄像装置，其特征在于，具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频；检测部，其基于包含在根据来自所述摄像元件的输出而生成的帧内的特定被摄体的图像区域，检测所述摄像元件中的所述特定被摄体的摄像区域；以及设定部，其将包含用于生成所述帧的所述特定被摄体的摄像区域、和由所述检测部检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频。2.根据权利要求1所述的摄像装置，其特征在于，所述检测部基于包含在所述帧内的所述特定被摄体的图像区域、和所述帧与所述帧的在时间上的前一帧之间的所述特定被摄体的动态矢量，检测所述特定被摄体的摄像区域。3.根据权利要求1所述的摄像装置，其特征在于，所述设定部在所述帧为根据来自所述第一摄像区域的输出而生成的第一帧的情况下，将所述特定的摄像区域的帧频设定为所述第二帧频，在所述帧为在所述第一帧之后根据来自所述特定的摄像区域的输出而生成的第二帧的情况下，将检测出的所述摄像区域的帧频设定为所述第二帧频，将检测出的所述摄像区域以外的其他摄像区域的帧频设定为所述第一帧频。4.一种摄像装置，其特征在于，具备：摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，对所述第一摄像区域设定第一帧频、且对所述第二摄像区域设定比所述第一帧频快的第二帧频；检测部，其检测所述摄像元件的摄像区域中的拍摄到特定被摄体的摄像区域、和与所述特定被摄体的移动有关的信息；设定部，其基于所述检测部的检测结果，对包含拍摄到所述特定被摄体的摄像区域在内的特定的摄像区域设定为所述第二帧频。5.一种图像处理装置，其对根据来自摄像元件的输出而生成的帧进行图像处理，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述图像处理装置的特征在于，具备：检测部，其基于与包含在第一帧内的特定被摄体的所述第二摄像区域对应的第二图像区域，检测所述摄像元件中的所述特定被摄体的摄像区域，所述第一帧为根据来自被设定了所述第一帧频的所述第一摄像区域以及被设定了所述第二帧频的所述第二摄像区域的输出而生成的帧；设定部，其将包含用于生成所述第一帧的所述摄像元件的所述第二摄像区域、和由所述检测部检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频；以及合成部，其将与包含在所述第一帧内的所述第一摄像区域对应的第一图像区域的图像数据、和包含在通过以由所述设定部设定的所述第二帧频进行拍摄而生成的第二帧内的所述特定的摄像区域的图像数据合成。6.一种视频压缩装置，其对包括根据来自摄像元件的输出而生成的多帧在内的视频数据进行压缩，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区
域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述视频压缩装置的特征在于，具备：检测部，其基于与包含在第一帧内的特定被摄体的所述第二摄像区域，检测所述摄像元件中的所述特定被摄体的摄像区域，所述第一帧为根据来自被设定了所述第一帧频的所述第一摄像区域以及被设定了所述第二帧频的所述第二摄像区域的输出而生成的帧；设定部，其将包含用于生成所述第一帧的所述特定被摄体的所述第二摄像区域、和由所述检测部检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频；以及合成部，其将与包含在所述第一帧内的所述第一摄像区域对应的第一图像区域的图像数据、和包含在通过以由所述设定部设定的所述第二帧频进行拍摄而生成的第二帧内的所述特定的摄像区域的图像数据合成；以及压缩部，其对所述第一帧、和通过所述合成部得到的合成后的第二帧进行压缩。7.一种视频压缩装置，其对包含从摄像元件输出的多帧在内的视频数据进行压缩，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，并能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述视频压缩装置具备：生成部，其针对所述多帧的每一帧，基于所述帧与对所述帧进行预测的预测帧的差分数据和所述预测帧，生成在时间上在所述帧之后输入的帧所参照的参照帧；以及运动补偿部，其使用由所述生成部生成的多个参照帧中的特定的参照帧，执行所述多帧中的以所述第二帧频拍摄到的帧的运动补偿。8.一种设定程序，其使处理器执行摄像元件的控制，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述设定程序的特征在于，使所述处理器执行如下的处理：检测处理，其基于包含在根据来自所述摄像元件的输出而生成的帧内的特定被摄体的图像区域，检测所述摄像元件中的所述特定被摄体的摄像区域；以及设定处理，其将包含用于生成所述帧的所述特定被摄体的摄像区域、和通过所述检测处理检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频。9.一种图像处理程序，其使处理器执行根据来自摄像元件的输出而生成的帧的图像处理，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述图像处理程序的特征在于，使所述处理器执行如下的处理：检测处理，其基于与包含在第一帧内的特定被摄体的所述第二摄像区域对应的第二图像区域，检测所述摄像元件中的所述特定被摄体的摄像区域，所述第一帧为根据来自被设定了所述第一帧频的所述第一摄像区域以及被设定了所述第二帧频的所述第二摄像区域的输出而生成的帧；设定处理，其包含用于生成所述第一帧的所述特定被摄体的所述第二摄像区域、和通过所述检测处理检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频；以及
合成处理，其将与包含在所述第一帧内的所述第一摄像区域对应的第一图像区域的图像数据、和包含在通过以在所述设定处理中设定的所述第二帧频进行拍摄而生成的第二帧内的所述特定的摄像区域的图像数据合成。10.一种视频压缩程序，其使处理器执行包含根据来自摄像元件的输出而生成的多帧在内的视频数据的压缩，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频、且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频，所述视频压缩程序的特征在于，使所述处理器执行如下的处理：检测处理，其基于与包含在第一帧内的特定被摄体的所述第二摄像区域对应的第二图像区域，检测所述摄像元件中的所述特定被摄体的摄像区域，所述第一帧为根据来自被设定了所述第一帧频的所述第一摄像区域以及被设定了所述第二帧频的所述第二摄像区域的输出而生成的帧；设定处理，其将包含用于生成所述第一帧的所述特定被摄体的所述第二摄像区域、和通过所述检测处理检测出的摄像区域在内的特定的摄像区域的帧频设定为所述第二帧频；合成处理，其将与包含在所述第一帧内的所述第一摄像区域对应的第一图像区域的图像数据、和包含在通过以在所述设定处理中设定的所述第二帧频进行拍摄而生成的第二帧内的所述特定的摄像区域的图像数据合成；以及压缩处理，其对所述第一帧、和通过所述合成处理得到的合成后的第二帧进行压缩。
技术总结视频压缩装置具备：获取部，其从摄像元件输出的包含多帧的视频数据，所述摄像元件具有拍摄被摄体的第一摄像区域和拍摄所述被摄体的第二摄像区域，能够对所述第一摄像区域设定第一帧频且能够对所述第二摄像区域设定比所述第一帧频快的第二帧频；以及压缩部，其基于所述第一帧频和所述第二帧频对由所述获取部获取的视频数据进行压缩。获取的视频数据进行压缩。获取的视频数据进行压缩。
技术研发人员：小宫大作 关口直树
受保护的技术使用者：株式会社尼康
技术研发日：2018.09.27
技术公布日：2022/7/5
