模拟飞行类游戏最有趣的一点是什么？

我是初中左右开始玩飞行模拟器的，到现在已经玩了十几年了。 飞行模拟游戏最有趣的地方在于，它们将人类历史上对个人综合素质、身体表现、反应能力和空间感知能力要求最高的职业之一：战斗机驾驶变成了每个人都可以体验的东西。

当然，这种体验并不是没有代价的。 你可以用鼠标玩《GTA》或《战地》中的飞机等游戏来体验“飞行”，尽管它们本质上是FPS。 或者你是一个有毅力的人，克服一切困难，汗流浃背地用键盘和鼠标启动飞机的引擎。 但相信我，这远不如“真正的”飞行模拟器那么好。

真正的飞行模拟需要一台主流配置的PC（指买不到的3060），以及三到四个极其重要的外设，包括摇杆（操作杆）、油门杆、脚舵、头瞄或VR 。

业内知名的“成都制造”操纵杆油门组，图片来自淘宝五分科技。

ERGE脚舵是我的朋友沙娜设计制作的。 图片来自淘宝“沙娜周边屋”。 特别感谢莎娜对开发的帮助。

是否有合理的飞行模拟设备几乎决定了玩家能够从飞行模拟中获得多少乐趣。

例如，在战斗中，玩家必须保持对敌机的持续视觉跟踪，并且在凝视敌机的同时必须具备一定的感知自身状态的能力。 因此，头瞄几乎是战斗机玩家不可或缺的工具。 通过使用头部瞄准器，玩家可以直接使用头部移动来控制视野。 当然，正常人不可能把头扭到背后（这是司马家族的限定技能，鹰视、狼视）还能看到屏幕，所以通常会有曲线映射。 转动头部二十或三十度将使视角转动 180 度。

大约在我涉足模拟飞行十年前，我玩得很艰难。 原因当然是外围设备不合法。 我买了“最有名的”Cytec。 后来发现这东西就是垃圾，任何能和Cytec媲美的东西，好吧，罗技相关的飞行模拟器出厂时都是电子垃圾。 更换（后来升级为成都产的yyds）操纵杆后，这方面的体验得到了很大的改善，但另一个问题是头部追踪（头部瞄准器）。

空战建模中最重要的是飞行基础知识（操纵杆）、能量控制和态势感知。 几乎所有的空战演习（21世纪之前）都围绕“机动到敌机后半球，同时保持敌机视觉视线”。

所以我当然尝试了很多解决方案，包括国产的山寨货。

，他们在无人机圈的另一个知名产品是动态捕捉系统

这种类型的解决方案非常简单。 它利用多个反光球通过摄像头进行捕捉，轻松实现头部的6D定位。 然而，这种解决方案的缺点也很明显。 它需要佩戴额外的设备并且必须位于 FoV 内。 多年前买了一个（山寨版），体验很感人（想打人）：简单来说就是想打人。 我觉得这个方案不靠谱，后来发现我买错了。

还可以通过 IMU 进行头部跟踪。 我直接在额头安装了飞控：

这个方案的优点是没有FoV限制，也不存在像山寨机那样几乎无法使用的bug。 但问题也很明显，那就是所使用的航向完全取决于磁罗盘和角速度计，而这两种传感器都不可靠。 磁罗盘会受到各种事物的干扰，角速度计本身也会发生漂移。 因此，在飞行过程中需要不断修正视角。 。 。 。 。 。 另一个问题是 IMU 只能跟踪头部旋转（当时还没有 ARKit）。 对于一些设计不佳的战斗机来说，比如海盗机，如果不移动头部就很难着陆。

所以我还是用键盘和鼠标来控制战斗。

这里还有另一个有趣的解决方案，我在档案中找不到。 我使用手机的IMU作为头视输入，使用流媒体功能将游戏流式传输到手机上，并使用手机屏幕放大镜，类似这样的东西，将手机带到你的头上

我当时买的版本只有两个眼镜，没有IMU之类的东西。 。 。

确实达到了VR的一些效果，但是延迟很感人。 除了我这种天生不敏感的人，都会瞬间晕倒。 它被视为一个异想天开的想法，没有进一步探讨。

由于缺乏良好的头视镜，我的模拟飞行成绩一直都非常令人印象深刻。 战争雷霆Full （一种“所谓的”模拟飞行模式，空气动力学不太好）曾经有过远高于10的DK（Death to Kill）。

这期间我还买了一架F14战斗机和一架枭龙战斗机，但由于没有合适的头瞄，只是偶尔飞一下。

这段时间我一直在思考一个问题，如何做出可靠的头部瞄准，所以我很早就有了一个想法，直接用人脸识别不就好了吗？

是的，闻起来很香。 事实上，很早以前就有人做过类似的尝试。 比如，这是一位欧洲大叔（指他的年龄）的“血腥”作品。 它也是很多开源头部瞄准器的始祖，可以算是最早的人脸。 实现了识别头视，一开始就是开源的。 后来的很多头目都和他有关，包括这个老哥开发的过滤算法、接口实现等等。

后来这个最新版本变成了收费，原因实在让人伤心：

30 年来，我（Wim）从 a 到 . ，那不是：我几年前就和一个在一起了。 我对化疗很好，而且我。 一：我失去了左腿。 从那时起，我只能做兼职工作，并以此为生。 你会发现这也是我的妻子玛丽和我的双胞胎——很多。

近 30 年来，我（维姆）一直患有一种称为“关节炎”的进行性疼痛疾病。 不幸的是，这还不够：几年前我被诊断出患有癌症。 幸运的是，我对化疗和放疗反应良好，我活了下来。 但有一个问题：我失去了左腿。 从那时起，我只能做兼职，我们的经济状况受到了很大影响。 你会明白，这对我的妻子玛丽和我的双胞胎女儿也产生了很大的影响。

来源：.nl/home/.htm DeepL 翻译

当我在他的官网上看到这段话的时候，我瞬间感到心酸，同时也非常佩服作者。 而且他很高兴自己还有办法活下去，于是他花了20欧元购买了付费版本。 但尴尬的事情来了：

该程序与我的笔记本电脑摄像头不兼容，我根本无法使用它。

好吧，20欧元应该算是对先驱者的致敬，我们自己可以做。

最初的

其实几年前我就想过开发一个人脸识别头视，但我一直以为自己不懂计算机视觉，更不懂机器学习和深度学习。 我根本就看不懂《：与》这本书，怎么能理解视觉感呢！ 直到后来我才发现，炼丹术真的不需要懂视觉（手动狗头）。

好吧，不开玩笑了，后来我在视觉技术提升到一定程度后才发现这件事并没有那么难，而且2020年正好遇到了疫情。疫情期间，整天宅在家里自然就开启了我的思维模式。最喜欢飞行模拟器，所以想了想，干脆实现了自己多年的夙愿，开发一款模拟飞头瞄准镜（并在战争雷霆中用12.7毫米机枪打爆敌人的狗头）。

经过一番搜索，我发现这件事其实并没有那么困难。 至少有一个人脸6D Pose（6个自由度，包括XYZ和姿势）识别的demo，效果其实还不错。

在此之前，我的一个误解是，使用CNN（卷积神经网络）进行6D Pose估计的方法应该是端到端的，直接从输入到输出。 到这里我才发现业界对于面孔的认知是比较固定的。 针对目标比较常见的方法之一是传统方法，它首先找到二维特征点，然后使用 PnP 进行姿态估计。

于是利用这家公司提供的网络，我很快就制作出了第一个版本。

然而，这个版本的代码是基于 . 虽然准确率不错，但是效率却很感人，而且是一个一旦学会就会质疑开发者智力和开发策略的深度学习框架（指的是不是通过不断改变API来制造话题来获取免费PR，以及拿到很多钱，增加年终奖，达到人生巅峰，这一波是平流层）。 所以我很快就迁移到

还是同样的方式，先使用人脸识别进行抓拍，然后使用特征点识别，最后进行PnP。 为了提高效率，采用了很多工程技术，比如引入过滤代替连续识别、合理的多线程机制等，并且我用它作为后端来实现自己的EKF过滤。 当然，经过测试，我发现EKF不适合做这件事情，所以我一般都使用里面的。

不过考虑到中型模型的精度，这个版本只能看风景。 这期间，我接触了新浪出品的《傻瞄准》。 硬件包括三个灯和一个用于手势识别的 PS3 摄像头，效果实际上非常好。 于是干脆收起头视，用它来享受游戏（指的是DCS中10海里外被爆头）。

这个故事本来就到此结束了，我继续做我的事。 头瞄也有很好的解决方案：完全能够胜任各种模拟飞行任务。 我的战争雷霆KD逐渐增加，DCS终于开始了。 坐上了我心爱的枭龙战斗机和我最喜欢的大猫。 直到看到@6的演示视频，

@6，圈内人称老刘，被认为是国内飞行模拟的老手，自DOF（Let Me Fly）时期以来一直活跃在任务中。 国内的头瞄器有一半是老刘带领下开发的Aimxy头瞄器。 和我之前自制的飞控头瞄类似，Aimxy也是基于IMU的飞行类游戏，但巧妙的是它使用了三个IMU模块绑在身体的各个部位。 估计头部运动的部件。 这款产品是我的朋友陈波首先向我介绍的，我和他一起体验了单头瞄准镜版本。 陈波也是一个很会玩、很有“创新精神”的人。 事实上，这与一些人坐在井里看天的认知完全不同。 这是中国人最缺乏的。 大多数认为中国人缺乏创新精神的人没有接触到正确的思想。 圆圈。 陈波的头部瞄准器安装在大疆的 FPV 头盔上。 早期，这个东西可以连接HDMI，于是又一个伪VR诞生了。 效果其实是非常好的。

言归正传，老六的Aimxy是第一个使用IMU-磁力计融合解决方案的。 这东西很容易被干扰。 有些飞行员的眼镜、耳机会干扰头部视线，因此圈内有飞行员戏称这是“风水头部视线”。 ”。还有一个问题是，需要三个模块才能实现6D估计。所以老六团队花了几年时间开发了一个大招，就是上面视频中介绍的头部目标。（不过鹅硬件已经推迟了半年）而且还没有消息）

当我看到它时，我发现它也是一种不穿任何东西的视觉解决方案。 老刘为什么这么有效！ 一定有高手进行了魔法调整（他们的想法逐渐改变了）！ 我必须做出一款同样有效的产品！ 于是新的探索开始了。 。 。 直到我的结果开始接近老刘的60-70%时，我才发现一个悲伤的事实：老刘的解决方案似乎根本不是基于单目相机的。 这让我想起一个典故：

89式重机枪：该机枪目前保持着世界上最轻的重机枪的重量，总重仅25公斤。 这款机枪的研发成功是因为错误的情报。 当时苏联和中国不和，苏联撤回了所有在华研究人员。 后来听说苏联设计了25公斤NSV重机枪。 中国也不甘落后，付出了很大的努力。 最终这款重达25公斤的4.89式重机枪被研制出来，但最终得知苏联型号的25公斤并不是全重。

来源：/a/

大概就是这样的心情吧。

：从演示到实用

看了老刘的视频，我的判断是，既然他能识别后脑勺，那么很有可能是基于端到端的模型，所以我也应该尝试一下这方面。 经过一番研究，我发现（//FSA-Net），一个非常好的端到端网络，原作是基于的。 恰巧我当时正在做一些深度网络部署的工作，对我部署在无人机上的神经网络进行加速（后来成功用于加速Yolo，，），所以我很快将Torch转换成onnx模型，嵌入到我的中。

然而，事情可能没那么简单。 与之前的方法略有矛盾，只能估计三轴姿态。 而且测试表明，由于投影关系，平移身体会带来相对于小图片的姿势变化。 种类。 需要进行一些过渡才能进入正确的姿势。 同时需要截取一张小图进行识别（与基于它的类似）。 由于识别的姿势是相对于盒子的，如果转换后盒子晃动的话，会晃得很厉害，所以需要做一些过滤工作。 最后，最理想的数据使用方式当然是和pnp姿态一起使用，但是和pnp姿态有10度左右的俯仰角，也需要修正。 经过混合和PnP测量，系统的效果有了质的飞跃：

此时距离老刘的视频发布已经过去一周了，其实也算是一个长周末了。 这大概就是数据融合的魅力吧。 虽然（旋转姿态）测量和PnP都是源自图像，但本质上是完全不同的。 当然，两个完全独立的高斯分布融合平均后可以获得更小的方差。

后来我尝试更换相机，使用了从莎娜那里得到的PS3 Eye相机的白光版。 经过一番开发和过滤调试，效果其实还不错。

从这一点上来说，也算是从“一个作者懒得用的玩具软件”，变成了“一个作者认为对飞行、空战有好处的软件”。 在空战项目上，它已经获得了资格。 虽然仍有轻微的抖动，但可以全面、灵敏地追踪头部运动。 战斗精度不高，流畅度而已。 作者还在我的仓库上留言，很高兴我将他的工作推广到应用程序。

然而，这还不够。 如此逼真的游戏的最大乐趣在于其航空电子系统。 采用HOTAS（手持操纵杆系统）来操作现代战斗机的MFCD（通用多功能显示器）是最吸引人的一点。 这需要较高的显示精度。 毕竟屏幕上的MFCD已经很小了，再晃动就会导致头晕。

有了枭龙这三块大屏，谁说中国战斗机航电不好就是我的错。 整个过程中最用户友好、最先进、最好的航空电子设备是枭龙。 华航好像很以人为本，不是毛子风格。来源：官网

同时DCS的一个非常有趣的点是它模拟了飞机的各个子系统，这体现在它可以进行“冷舱启动”。 一一启动价值数千万美元的单个子系统。 然而，飞机上的这些开关通常位于侧面后方，需要较大的转头和低头动作。 此时，现有版本将无法再正常工作。

：从实用到更好

正好老六视频上有人留言，上面有一个软件（//），效果很好。 老刘就转发给我了。 我一看，哦，这个效果真不错，尤其是低头和抬头的时候。 当然，问题也是显而易见的。 这家伙没有实现多线程机制，所以实时性能很慢。 顺着线索，我找到了所使用的网络模型的来源，(//)。 这个模型的作者是一位二次元兄弟。 他大致想做一个虚拟偶像出道，所以他开发了一个开源软件来制作虚拟偶像。 它不可避免地用到了人脸识别相关技术，尤其是特征点的提取。这也是我见过的最好的开源特征提取模型。

//

这个模型的好处是即使你转头也能捕捉到被遮挡的特征点。

于是我很快将它添加到我的软件中，它的性能又进一步飞跃：

（这个视频也是最全面的体验，知乎视频压缩太严重，清晰版本请看下面B站）

但也有一个问题。 该模型消耗大量的计算资源。 在我的i7笔记本上，它的中间型号只能运行20fps，最好的型号调整到10+。 这会造成很高的延迟感，激烈的空战延迟感非常强烈。 为此，我自己也尝试了很多优化性能，包括将整个软件从32bit迁移到x64，优化网络本身等等。特别是开发者是一个善良无私的人。 在了解了我的需求后，他训练了一个为我量身定制的模型版本。 这样就提供了多种精密型号供大家选择。 效果也很好。 不仅可以操作MFCD，还可以在游戏中使用头盔瞄准镜+AIM9X一键删除敌机，瞪死任何人。

对于笔者本人来说，进一步的飞跃来自于硬件的升级。 更新一台AMD 5900x的电脑后，他可以直接以60fps运行最大的模型，如果相机允许的话甚至可以运行90fps（amd是的！虽然需要更高的价格购买...）！ 这时候限制程序性能的就是高帧率的好相机价格比较贵。

至此，已经非常成熟，可以作为合格的瞄准镜使用了。 作者甚至考虑过挂掉蒸汽

结束

有时，高峰往往是最后一首歌。 换了5900x+3080后，VR怎么能放？ 于是我赶紧买了一套Quest 2，进入DCS后就穿上了Q2。 我承认我再也不想使用任何头部瞄准具了。 头视再好，也无法带来VR中的临场感和体验感，而Q2恰好是一款标杆产品，清晰度刚刚好。 更不用说虚拟现实在控制姿势方面比头部瞄准要好得多。 在Q2的支持下，我的战争雷霆KD在一些强力机型上一度突破10。 从那时起，我的头脑目标就开始退居次要位置，只有当我对 VR 飞行感到厌倦或想要放松时才飞行。

不得不说，头显属于过去，VR才是未来。 然而，对于有抱负的飞行模拟器玩家来说，有机会驾驶真正的飞机（即使他们只能驾驶塞斯纳）才是最终目标。 所以现在在我的头显群里，我鼓励每一个有条件的朋友都去入手一台VR套装来尝试一下。

这个软件的开发对我来说也很有趣。 我认识了很多朋友，模特圈的朋友，网站上的朋友，也体验到了这个全球最大的同性交友网站的乐趣。 自己让小时候最喜欢的东西变得更有趣，并且多年来实现自己的想法，这是非常有趣的。 同时，虽然我已经逐渐停止使用头视，但我的头视仍然帮助了很多飞友，国内的飞友和国外的飞友。 除了会飞的飞机之外，还有人开着奥卡赛车。 的。 前阵子打开邮箱，突然收到一封来自北欧的感谢信。 我觉得做一些对世界有益的事情（即使只是很小的事情，对一小群人有用），还是很有成就感的。

头部瞄准器已经放置很久了，欢迎有兴趣的朋友尝试一下，成为飞友的一员。