终于可以单手玩galgame了-FlexGesture

FlexGesture-ESP32：基于 FPC 柔性贴片的可穿戴手势控制器

项目简介

FlexGesture-ESP32 是一款基于 FPC 柔性电路、ESP32 和六轴惯性传感器的可穿戴手势交互控制器。项目采用轻薄柔软、可弯折的 FPC 作为主体电路载体，相比普通刚性 PCB 更适合贴合手腕或手背等弯曲部位，能够在佩戴时保持较好的舒适性和灵活性。

本项目的硬件通过魔术贴腕带进行固定，设备可以快速佩戴到手腕或手背位置。传感器板与腕带之间采用魔术贴粘连结构，可以直接撕下分离，方便拆装、调试、维护和更换固定位置。实际使用时，用户可以根据手型、佩戴习惯和动作识别效果，灵活调整传感器板在腕带上的位置。

系统通过 ESP32 将手部姿态、加速度、角速度和手势状态以 BLE 方式发送到电脑端。PC 端提供中文 Apple 风格调试控制中心、PPT 控制、Galgame 控制、CSV 日志记录，以及虚拟机械臂抓取与投掷演示等功能。项目不仅可以作为一个 FPC 可穿戴硬件原型，也可以作为手势交互、人机控制和创意输入设备的实验平台。

项目功能

1. 可穿戴 FPC 手势控制器

本项目使用 FPC 柔性电路作为主要结构，整体具有轻薄、柔软、可弯折的特点。相比常规刚性 PCB，FPC 更适合贴合人体手部或手腕的弧面区域，佩戴时不容易产生明显的硬物压迫感。

设备通过魔术贴腕带固定在手腕或手背附近，传感器板可以从腕带上直接拆下，方便用户根据实际佩戴位置进行调整。该结构也便于后续更换腕带、重新固定传感器板，或拆下电路部分单独调试。

2. BLE 无线手势数据传输

设备端使用 ESP32 作为无线主控，通过 BLE 将传感器数据发送到 PC。电脑端可以实时读取姿态、加速度、角速度和动作状态，用于调试、记录和控制其他软件。

3. PPT 手势翻页

项目支持通过手势控制 PPT 翻页。典型操作为：

• 右倾 + 挥手：下一页

• 左倾 + 挥手：上一页

系统加入了方向锁定、释放抑制、冷却时间和误触过滤逻辑，降低回正、抖动和连续动作造成的误触。

4. Galgame 手势翻页

项目提供 Galgame 控制模式。通过 PC 端工具可将手势动作映射为键盘输入，例如：

• 右倾 + 挥手：按一次 Z

该模式可用于 Galgame 文本推进、确认操作或其他需要重复按键的场景。

5. 中文 PC 调试控制中心

PC 端提供中文 Apple 风格调试控制中心，支持：

• BLE 连接与状态显示

• 实时姿态、手势、加速度、角速度显示

• 参数调整

• CSV 日志记录

• PPT / Galgame / 日志模式切换

• 当前参数保持与恢复

• 中文事件日志

该工具方便调试手势阈值、观察动作识别状态，也便于后续演示和复现。

6. 虚拟机械臂抓取与投掷演示

项目还加入了一个 Camera + FlexGesture 混合交互 Demo，用于验证可穿戴手势控制在机械臂交互中的应用。

该演示中：

• 摄像头负责识别手掌位置和释放方向

• FlexGesture 负责检测甩动强度和动态力度

• 虚拟机械臂根据手掌位置移动

• 手掌前推触发抓取

• 后拉触发释放判断

• 如果释放时没有快速运动，小球自然落下

• 如果释放时有快速运动，小球会按照挥动方向和 FlexGesture 检测到的力度飞出

该功能用于展示“视觉位置追踪 + 可穿戴惯性传感器”的混合式人机交互思路。

项目亮点

1. FPC 轻薄柔软，适合可穿戴场景

本项目没有使用传统刚性 PCB 作为唯一结构，而是采用 FPC 柔性电路。FPC 具有轻薄、柔软、可弯折的特性，更适合贴合手腕、手背等人体曲面位置。对于手势识别设备来说，佩戴舒适性和贴合程度会直接影响实际使用体验，因此 FPC 结构是本项目的重要设计亮点。

2. 魔术贴固定，佩戴和拆卸方便

设备通过魔术贴腕带固定在手部，佩戴方式简单直接，不需要复杂外壳。魔术贴既用于腕带佩戴，也用于传感器板与腕带之间的连接。用户可以快速佩戴、拆下或调整位置，适合原型验证和多次调试。

3. 传感器板与腕带可分离

传感器板通过魔术贴粘在腕带上，可以直接撕下分离。这样做的优点是：

• 便于调试和烧录

• 便于更换腕带

• 便于调整传感器安装位置

• 便于维护和后续升级

• 降低一体化固定结构带来的返工成本

4. BLE 无线交互，摆脱有线限制

ESP32 通过 BLE 与 PC 通信，用户在进行 PPT、Galgame 或机械臂交互演示时，不需要再通过有线方式连接到电脑。无线化使设备更接近真实可穿戴交互设备的使用方式。

5. 多场景软件演示

本项目不只停留在传感器读数层面，而是提供了多个可直接演示的应用场景：

• PPT 手势翻页

• Galgame 手势翻页

• 中文 PC 调试控制中心

• 虚拟机械臂抓取与投掷

• CSV 数据记录与分析

这些演示能够更直观地体现可穿戴手势控制器的应用价值。

6. Camera + FlexGesture 混合式交互

在机械臂演示中，项目并没有把所有功能都交给摄像头或传感器单独完成，而是采用分工明确的混合交互方案：

• Camera = 手在哪里、释放方向

• FlexGesture = 用户的控制意图、甩动强度和动态力度

这样既利用了摄像头在空间位置追踪上的优势，也发挥了可穿戴 IMU 在动态动作检测上的优势。

硬件组成

本项目硬件主要包括：

• ESP32 无线主控

• 六轴惯性传感器

• FPC 柔性电路板

• 魔术贴腕带

• 小型电池供电模块

• PC 端 BLE 调试与演示软件

实物结构中，传感器板通过魔术贴固定在腕带上，腕带可佩戴在手腕或手背区域。由于传感器板可从腕带上拆下，因此后期调试、维护和位置调整都比较方便。

软件组成

项目软件主要包括：

1. ESP32 固件

ESP32 负责读取惯性传感器数据，并通过 BLE 发送到电脑端。数据包括姿态、加速度、角速度和动作状态。

2. PC 中文调试控制中心

PC 控制中心用于连接 BLE 设备、查看实时数据、调节参数、记录 CSV，并选择不同演示模式。

3. PPT 控制工具

通过识别右倾、左倾和挥手动作，实现 PPT 翻页控制。

4. Galgame 控制工具

通过将手势映射为键盘按键，实现 Galgame 文本推进等操作。

5. 虚拟机械臂投掷 Demo

通过摄像头和 FlexGesture 结合，实现虚拟机械臂抓球、释放和按力度投掷。该 Demo 带有中文调试面板，可实时显示手掌跟踪、夹爪状态、小球状态、释放判断、投掷力度和事件日志。

使用方法

1. 硬件佩戴

将魔术贴腕带佩戴在手腕或手背附近，再将传感器板粘贴在合适位置。佩戴时应尽量保证传感器板固定稳定，避免动作过程中大幅滑动。

2. 启动 ESP32 设备

设备上电后，ESP32 开始广播 BLE 设备名，等待 PC 端连接。

3. 启动 PC 调试工具

打开 PC 端中文调试控制中心，选择对应模式后连接 BLE 设备。连接成功后可以看到实时姿态、手势和传感器数据。

4. PPT 演示

进入 PPT 控制模式后，可通过右倾 + 挥手、左倾 + 挥手实现翻页。

5. Galgame 演示

进入 Galgame 控制模式后，可通过右倾 + 挥手模拟按键，实现文本推进。

6. 虚拟机械臂演示

运行机械臂投掷 Demo 后，摄像头负责识别手掌位置，FlexGesture 负责提供甩动强度。用户可以通过手掌前推、后拉和甩动动作完成虚拟抓球、释放和投掷。

当前版本状态

当前版本为 V0.9.9 演示版，主要完成了以下内容：

• FPC 柔性手势控制器硬件原型

• 魔术贴腕带固定结构

• 传感器板与腕带可拆分结构

• ESP32 BLE 数据传输

• PPT 手势翻页

• Galgame 手势翻页

• 中文 PC 调试控制中心

• Camera + FlexGesture 混合式虚拟机械臂投掷 Demo

• 中文调试面板

• 运行时参数调节面板

该版本主要用于功能验证、交互演示和开源分享，后续仍可继续优化结构强度、外壳设计、佩戴舒适度和真实机械臂控制。

应用场景

本项目可用于：

• 可穿戴手势控制器

• PPT 无线翻页器

• 游戏 / Galgame 辅助控制

• BLE 姿态传感器调试

• 机械臂交互控制原型

• 人机交互课程设计

• FPC 柔性电路应用展示

• 创意输入设备 Demo

后续优化方向

后续可以继续优化：

1. 设计更完整的外壳或保护层，提高 FPC 与元件的机械可靠性

2. 优化魔术贴固定结构，使佩戴更加稳定舒适

3. 改进电源管理和电池固定方式

4. 增加更多手势识别模式

5. 将虚拟机械臂 Demo 接入真实机械臂

6. 优化 BLE 数据协议和 PC 工具界面

7. 增加更多可穿戴交互应用场景

附件说明

本项目附件计划包括：

1. 完整项目源码压缩包

2. PC 工具包压缩包

3. 演示 PPT

4. 机械臂 / 投掷 Demo

5. 实物图片

6. 演示视频链接

用户可以根据附件中的源码和工具，在电脑端复现 BLE 连接、PPT 控制、Galgame 控制和虚拟机械臂投掷演示。

开源说明

本项目主要用于学习、展示和开源交流。硬件结构和软件工具仍处于演示版阶段，适合二次开发和功能扩展。欢迎基于本项目继续优化 FPC 结构、佩戴方式、手势识别算法以及更多实际控制场景。