vive hololens第三人称时间录制视频软硬件需求.docx
《vive hololens第三人称时间录制视频软硬件需求.docx》由会员分享，可在线阅读，更多相关《vive hololens第三人称时间录制视频软硬件需求.docx（8页珍藏版）》请在冰豆网上搜索。
vivehololens第三人称时间录制视频软硬件需求
HololensSpectatorView
硬件需求：
Pc
1台
Hololens眼镜
2个
HDMI输出的摄像机
1个
（Blackmagic）视频采集卡
1个
HDMItoMiniHDMI连接线
1个
热靴固定器
3D打印出来的适配器。
用来连接挂载在相机热靴上的Hololens眼镜。
螺丝等小部件
∙一台PC设备。
需要搭配Hololens模拟器，用以合成最后的全息图。
∙一台拥有HDMI输入接口或图像捕捉SDK的相机。
在图片和视频的拍摄过程中，微软测试过佳能EOS5DMarkIII相机；在展示时，微软测试过BlackMagicDesignProductionCamera4K。
不过，理论上任何拥有HDMI输出接口的设备（包括GoPro）都可以运行。
微软表示它所拍摄的视频使用的是佳能EF14mmf/2.8LUSM超广角镜头，但开发者自己可以自主选择。
∙用于PC的视频采集卡。
能够将相机捕捉到的画面显示在显示器上，以便用户校正设备和预览画面。
∙连接线。
接口标准为HDMItoMiniHDMI，目的是将相机和采集卡连接起来。
∙特制铝合金支架。
主要作用是将Hololens和相机连接起来，也就是说，在拍摄过程中，镜头也需要“佩戴”Hololens眼镜。
∙3D打印出来的适配器。
用来连接挂载在相机热靴上的Hololens眼镜。
∙热靴固定器（Hotshoefastener）。
用来挂载热靴适配器（Hotshoeadapter）。
∙螺丝等小部件。
软件需求：
官方定位相关的工程文件Calibration
Blackmagic视频采集卡SDK
Blackmagic视频采集卡驱动
Unity5.4hololens
Vs2015
相机sdk
HTCVIVE
硬件需求：
摄影棚
墙和地面铺上绿布，5m*5m。
摄像机
a）低成本：
是webcamera，例如LogitechWebcamC930e
b）高成本：
专业摄像机+视频采集卡。
例如SonyA7SII
高性能主机
因为同时需要运行Vive游戏和录像，对配置要求较高。
显卡推荐980ti，CPU推荐i7-4790以上。
第三个手柄
目前Vive只能连接两个无线手柄，所以需要用一个长一点的USB线来连接第三个手柄。
4K屏幕
为了合成1080p视频，屏幕需要能放得下多个1080p窗口。
软件需求：
Unity3D+SteamVR
目前只有Unity3D制作的程序支持MR模式。
只要游戏用的SteamVR版本是1.0.8或以上，就可以用于拍摄。
否则需要开发商升级SteamVR后再发布一个版本。
OBS视频合成软件
========================================================
MR视频的原理
========================================================
普通的VR视频是将体验者左眼看到的影像录制下来。
这样的第一人称视角录制带来两个问题，一是因为视角原因看不到体验者的全身，二是即使低头看到了，也只是看到虚拟的模型，甚至多数时候只能看到两只漂浮的手。
要解决这两个问题。
就需要
1.切换成第三人称视角
2.将体验者的影像也录制下来
3.将游戏画面和摄像机影像合成
下面逐个解释如何实现。
1.切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼，分别生成左右眼的画面传给HMD，然后将其中一只眼的画面复制到PC屏幕上。
为了让屏幕上产生第三人称视角的游戏画面，就需要在和玩家一定距离外摆放一个额外的虚拟camera，并且镜头要对准玩家所在位置。
之后PC上显示的不再是左右眼画面的复刻，而是由这个额外的camera单独绘制的（会增加一定的渲染负担）。
2.将体验者的影像录制下来
因为我们只需要玩家本人的影像，并不需要看到房间里的桌子、墙壁等背景。
所以要用到抠
像技术。
在录制的时候，让体验者在一个周围是绿布（或者其他颜色）的房间里，然后用一个摄像机（webcamera或者专业的摄像机）录制他玩游戏时的影像。
最后在捕捉到的视频中将绿色去掉，就只剩下人的影像了。
3.将游戏画面和摄像机影像合成
在1.和2.中我分别提到了一个虚拟摄像机和一个真实的摄像机。
为了让他们拍到的影像能合
成起来，需要保证他们的视角是一样的。
也就是说，假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角，那么要保正现实中摄像机在体验者左前方2米，朝向和体验者朝向成120度角。
这就需要借助第三个手柄来定位和定向。
将额外的手柄绑在摄像机上，或者将手柄和摄像机绑在同一个位置上，原则是确保它们相对
位置、相对朝向是不变的。
这样当现实中摄像机移动时，游戏通过感知手柄的位置变化，也相应地改变虚拟摄像机的位置。
然后，把游戏中的物体按位置分为两类，一类是前景，位置在摄像机到玩家之间，另一类是背景，位置在玩家之后。
最后把背景、体验者影像、前景合成成视频。
========================================================
需要准备什么？
========================================================
硬件部分：
1. 摄影棚：
墙和地面铺上绿布，5m*5m。
（图二）
2. 摄像机：
两种方案
a） 低成本：
是webcamera，例如LogitechWebcamC930e
b） 高成本：
专业摄像机+视频采集卡。
例如SonyA7SII
3. 高性能主机：
因为同时需要运行Vive游戏和录像，对配置要求较高。
显卡推荐980ti，CPU推荐i7-4790以上。
4. 第三个手柄：
目前Vive只能连接两个无线手柄，所以需要用一个长一点的USB线来连接第三个手柄。
5. 4K屏幕：
为了合成1080p视频，屏幕需要能放得下多个1080p窗口。
软件部分：
1. Unity3D+SteamVR：
目前只有Unity3D制作的程序支持MR模式。
只要游戏用的SteamVR版本是1.0.8或以上，就可以用于拍摄。
否则需要开发商升级SteamVR后再发布一个版本。
2. OBS或者其他视频合成软件。
========================================================
如何拍摄
========================================================
1.为游戏开启MR模式
2.安装摄像机和第三个手柄
3.调整视频合成软件
下面详细解释。
1.为游戏开启MR模式
a） UnitySteamVR插件版本升级到v1.0.8或以上
b） 在游戏的根目录（如果用的是Unity3D工程而不是发而好的游戏，就放在工程根目录）下加上externalcamera.cfg新建一个空白文件，重命名为externalcamera.cfg，在其中加上如下内容：
x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
sceneResolutionScale=0.5
（*要注意的是，以上参数只是默认值。
最终要用什么数和摄像机的参数及摄像机和手柄的摆放有关。
）
c） 连接第三个手柄：
通过USB连接第三个手柄。
如果这三个条件都准备好了，点击开始游戏，PC上的游戏画面会分成4块，具体见下面的"OBS合成"。
2. 安装摄像机和第三个手柄：
（图三）
a） 硬件安装如果有相机肩架或者手架，将摄像机和手柄都安装在架子上。
如果没有架子，就把手柄绑在相机上。
确保在移动架子（或者相机）的时候，相机和手柄相对位置和相对朝向不变。
b） 计算出摄像机和手柄之间的偏移，也就是得出externalcamera.cfg中的参数。
x,y,z是摄像机和手柄的相对位置，rx,ry,rz是相对朝向。
比较方便的做法是通过特制的校准软件来实现。
另外也可以手动调externalcamera.cfg中的数值。
3. 用OBS合成视频或视频流
如果准备好MixedReality所需要的条件，PC上的游戏画面会分成4块：
（图四）
其中，
Foreground:
合成视频的前景
Foregroundalpha:
前景的alpha
Background:
合成视频的背景
Gameview:
正常游戏画面，不用于合成mixedreality视频
最终输出的影像和图五展示的一样，是由三个影像合成的：
摄像机捕捉人的影像，覆盖在背景上（山和太阳），前景（花）覆盖人和背景上。
因此要在OBS中添加以下三个视频源：
a）前景
I.视频来源选择裁剪游戏窗口，裁剪区域和4分画面的左上角画面重合。
II.设置黑色为色键，抠出前景画面
b）摄像机捕捉
I.视频来源选择webcamera或者视频采集卡
II.设置绿色为色键（和绿幕颜色一样），抠出人像
c） 背景：
视频来源选择裁剪游戏窗口，裁剪区域和4分画面的左下角画面重合
HTCVive能做的MR（MixedReality）模式，如上图，能将玩家玩的画面和游戏场景融为一体。
能非常直观看到玩家置身于什么样场景中，在做什么操作。
可以有三种实现方式：
方案1、三只手柄：
两只手柄给玩家操作游戏，第三只手柄跟摄像机绑定在一起，可以支持移动拍摄；
方案2、两只手柄：
一只手柄给玩家操作游戏，另外一只手柄跟摄像机绑定在一起，可以支持移动拍摄；
方案3、两只手柄：
两只手柄给玩家操作，摄像机放到设置的虚拟位置，不支持移动拍摄；
正常htcvive有两只手柄，玩家需要操作两只手柄进行游戏。
那么这里选择上述的方案3进行操作~~~
1、下载虚拟手柄驱动，点这里
解压，将跟目录下的virtualcontroller文件夹拷贝至Steam安装目录的Steam\steamapps\common\SteamVR\drivers\下，完成后查看如下的路径位置是否有driver_virtualcontroller.dll文件，驱动完成：
C:
\ProgramFiles（x86）\Steam\steamapps\common\SteamVR\drivers\virtualcontroller\bin\win64\driver_virtualcontroller.dll
∙1
∙1
2、启动多驱动支持开关
正常情况下，打开Steam安装目录下的Steam\config\steamvr.vrsettings文件，
由于版本关系，steam下可能没有steamvr.vrsettings文件。
正常steamvr.vrsettings中新增如下配置
{..."steamvr":
{"activateMultipleDrivers":
true}}
∙1
∙1
注：
如果没有steamvr.vrsettings文件，则新建记事本，重命名，拷贝如下内容到文件中：
{
"jsonid":
"vrsettings",
"perfcheck":
{
"heuristicActive":
true
},
"steamvr":
{
"allowReprojection":
true,
"showMirrorView":
false,
"activateMultipleDrivers":
true
},
"version":
"1"
}
∙1
∙2
∙3
∙4
∙5
∙6
∙7
∙8
∙9
∙10
∙11
∙12
∙1
∙2
∙3
∙4
∙5
∙6
∙7
∙8
∙9
∙10
∙11
∙12
3、SteamVR中显示第三只手柄
操作步骤：
a、退出SteamVR；
b、打开两只手柄的电源键开关；
c、打开SteamVR；
注：
如果b操作，打开手柄的时候，SteamVR也启动了，可能会失败，看不到第三只手柄。
这个可能跟steam的版本有关系，那么祝你好运。
4、生成externalcamera.cfg文件
这个文件配置虚拟摄像机的位置。
a、解压1中下载文件的目录，找到cameraAlign，运行。
b、带上头盔，一只手柄为摄像机的位置，另一只手柄指向第一只手柄，确定位置信息并保存。
当你保存，在程序目录下会自动更新位置信息，保存在externalcamera.cfg文件中。
5、拷贝externalcamera.cfg到目标游戏目录
如果你想记录切水果或者Tiltbrush,SpacePirateTrainer什么什么的游戏中MR场景，请将4中生成的externalcamera.cfg文件拷贝到游戏目录根目录。
那么虚拟摄像机位置配置和虚拟手柄显示配置都完成了。
升级会员 