自动吉他手《拨云》

🎸 自动吉他 — 吉他自动弹奏机器人

基于 RK3566 泰山派 · 语音控制 · AI 曲谱识别 · 全自动弹奏

📖 项目简介

年初收拾东西时翻出一把落灰多年的旧吉他，断了几根弦，修好擦干净后跟着教程学了段时间，结果脑子会了手始终学不会——于是我就想，吉他不一定非得要人弹吧？这个项目就这么开始了。

其实这个想法并不是我先想到的，市面上已经有一些类似的尝试，但它们大多结构复杂、没有开源资料，或者只能弹奏一两首预设的歌曲。于是我用 RK3566 泰山派 高性能开发板作为主控，从头打造了一套端到端的全自动方案。

整个流程全自动完成：对语音助手说出歌名，系统自动上网搜索爬取曲谱，通过 PP-OCR V4 + YOLOv8 进行 AI 识别，再交给 DeepSeek 纠错校对（准确率 95%），利用 RK3566 的 NPU 推理加速（45 分钟 → 3 分钟），最后驱动 18 个舵机在真实吉他上弹奏出来。日常还能通过 Web 网页管理歌曲库、校准舵机、配置 AI，脱离网络时也可用 OLED 屏幕独立操作。

项目分为高配版（泰山派，语音+AI+Web 全功能，复刻成本约 ¥1000）和低配版（ESP32，基础弹奏，复刻成本约 ¥600），低配版现已开发完成。整个项目代码超过 5 万行，95% 由 AI 编写，历时 4 个月，累计消耗约 35 亿 tokens。

🔧 硬件整体结构

整体结构分为3段，分别是和弦、主控、拨弦，使用螺丝夹住胶块进行固定。

🎼 和弦内部结构

按照6弦4品设计共24个点需要按压，每个舵机正向反向各按压一个点，一共12个舵机，通过齿轮齿条传动。

🎵 拨弦结构

6个舵机，每个舵机对应1个弦，具有拨片调节结构，可以前后调节拨片，使用螺丝固定。

🖥️ 主控板结构

电路3层结构，分别是泰山派主控板在最底下，中间电路是按钮、舵机驱动和充电相关电路，最顶上是电源分配板，侧面是2节18650电池并联的电池仓，顶上是OLED屏幕加上一个音频小板。

⚡ 电路设计

实际的电路只有2块板，主控扩展板和电源板，泰山派和音频板都是直接在立创商城购买即可。

🏗️ 泰山派开发板 （最低需要 2+16）

🔌 主控板拓展板

负责 PWM 通道拓展，充电放电 5V3A，USB 接口充电转接串口或程序下载等操作，根据功能可以选择性焊接。使用红色框选出来的部分电路只有在使用 ESP32 时需要焊接，使用泰山派开发板作为主控时不需要焊接这部分电路。

🔋 电源板

带锂电池保护，电池 DCDC 升压到 5V，一共两路，一路 5A 给舵机，一路 2A 给主控和外设，带电压检测、温度检测，和弦与拨弦都对应一路电流检测。

请完整仔细的阅读这个文档，我稍后会提问
TPS61088升压芯片
MODE=接地，电感=2.2uH，ILIM=100kΩ，FSW=240kΩ，FB分压48.7k/15k,
补偿网络初始值（R5=56kΩ， C5=10NF， C8=220PF）,BOOT：100nf，VCC：2.2uf，SS引脚：47NF，
输入电容22uf陶瓷电容/3个,100NF/一个，输出电容1uf/一个，22uf/3个，470uf固态电容/3个，
输入3.7V - 4.2V，输出5.1V，持续输出电流4A，短暂输出电流7A（我在输出添加的大电容就是为了应对这个短暂的大电流），会加散热片在芯片上，请你仔细检查这个参数有没有问题？
comp需要你根据实际电感电容实际情况进行计算，
芯片型号TPS61088升压芯片，电感型号：FXL1040-2R2-M，电容型号：MA10V470M6X8

🔄 舵机选用

和弦舵机 — MG996R 转动速度慢，转动力矩较大

拨弦舵机 — MG90S 转动速度快，转动力矩较低

🔋 电池电压采样 — 实时检测显示电池电量
🌡️ 温度检测 — 输出电流较大，用来做温度保护限制，避免壳内温度过热
⚡ 电流采样 — 实现自动化校准。正常舵机没有力矩与位置反馈，使用电流采样后，和弦舵机按压到琴弦电流会增大，通过电流变化实时检测舵机按压力度，来实时调整舵机行程

📷 主控模块三视图

左面
顶面	底面

🧠 程序原理解析

常见曲谱识别准确率：无 DeepSeek 纠错约 85%，有 DeepSeek 纠错可达 95%。如果曲谱不清晰或者有生僻和弦准确率会下降更多，可以在 Web 网页端手动修正或下载 CSV 表格手动修改。识别一首 3 分钟歌曲（大约 350 个音符）耗时 5 分钟左右。建议先在 Web 端进行识别确认，再使用语音控制弹奏。

第一步：爬取吉他谱 从免费曲谱网站自动搜索并下载吉他谱图片（网站收录曲谱并不全面），如果找不到想要的曲谱可以手动上传自己搜索的曲谱	第二步：定位六线谱 根据六根平行长横线定位图片中的六线谱区域
第三步：定位和弦图 根据六线谱上方的小方格定位和弦指法图（注意：部分不标准的曲谱会删减和弦指法图，这会导致和弦无法自动识别）	第四步：OCR 识别和弦 OCR 识别和弦文字，查表确定品位，错误则发 DeepSeek 纠错（常用的52种基本都能稳定识别，部分曲谱不规范使用#或其他生僻符号会导致识别出现一些误差）
第五步：定位音符 根据六线谱下方的竖线定位每个音符的位置	第六步：符尾识别 根据音符附近的横线数量确定该音符是几分音符（只能识别横线符尾，不能识别钩子符尾，钩子符尾只是少数，横线符尾才是多数）
第七步：YOLO 符头识别 根据音符上方区域的 YOLO 识别结果判断拨弦方式（YOLOV8 训练集一共有 1500+，并且还在不断新增，如果出现大量误识别或无法识别，请把曲谱发给作者，作者会将曲谱添加进训练集更新模型。YOLO 训练项目也已经开源，更新到 Gitee 上了）	第八步：汇总输出 将以上所有识别结果汇总到总表中，生成可弹奏文件
第九步：DeepSeek AI 纠错 将曲谱通过 API 发给 DeepSeek，让 AI 寻找规律进行最终校正（可选）

最后就是按谱来弹奏 🎶

📋 操作说明书

🖥️ 使用 OLED 屏幕进行控制

开机自动进入主画面。长按 ESC 按钮在主画面和设置画面之间来回切换。按 SET 确认或进入下一个页面，按 ESC 否或退出上一个页面，UP 和 DOWN 是上下移动。

OLED 实际显示效果

🌐 使用 Web 网页进行控制

将电脑或手机连接到自动吉他同一个 WiFi 下，通过吉他的 OLED 屏幕进入「设置界面 → WiFi连接 → 已连接WiFi」查看 IP 地址。然后打开浏览器访问 IP地址:5000（例如 192.168.31.74:5000）即可进入管理页面。

系统页面 — 信息总览、固件更新等操作

Web 界面还提供了可视化的舵机校准功能，方便调试和弦按压和拨弦行程：

和弦可视化校准

拨弦可视化校准

自动校准

⚠ 语音设置界面的 API 密钥需要填写 DeepSeek 的密钥（需自行前往官网注册），如不填写则无法使用 AI 相关功能。

🎵 歌曲识别

输入歌曲名字即可自动搜索曲谱：

选择图片后系统会自动识别曲谱：

如果自动搜索找不到目标曲谱，也可以手动上传图片，识别流程相同：

还可以通过对话让 AI 进行编曲（目前 AI 对复杂编曲要求的理解还不够完善）：

📝 歌曲管理与纠正

识别完成的歌曲可以进行统一管理和手动纠正：

一首歌曲最多可拥有 8 个图片源：

图片识别结果支持可视化管理，可对个别音符进行人工纠正。

🚀 程序部署教程

1. 泰山派镜像安装

根据官方教程安装 Ubuntu 20.04 系统：

📎 立创官方教程链接

📎 立创官方教程 - 镜像烧录

2. 泰山派串口修改配置

使用 TYPE-C 线连接主控板和电脑，串口切换开关切换到泰山派（靠近按钮），下载打开 MobaXterm，使用串口创建 SSH 终端，填写端口号，波特率 1500000。

📶 连接 WiFi

sudo ip link set eth0 down
sudo nmcli dev set eth0 managed no

nmcli dev wifi list

sudo nmcli dev wifi connect "你的WiFi名称" password "你的WiFi密码"

ip addr show wlan0

因为立创泰山派没有安装拓展板，有线网口会一直报错（此步骤为可选，不操作也不影响正常使用），如需禁用可创建开机自动禁用有线网口的脚本：

sudo tee /etc/rc.local << 'EOF'
#!/bin/sh -e
/sbin/ip link set eth0 down
/usr/bin/nmcli dev set eth0 managed no
exit 0
EOF

sudo chmod +x /etc/rc.local

sudo systemctl enable rc-local
sudo systemctl start rc-local

sudo systemctl set-default multi-user.target
sudo systemctl disable lightdm

sudo reboot

nmcli dev status

🔐 安装 SSH

sudo apt update
sudo apt --fix-broken install

sudo apt install openssh-client=1:8.2p1-4ubuntu0.13
sudo apt install openssh-server openssh-sftp-server

sudo systemctl enable ssh
sudo systemctl start ssh

sudo systemctl status ssh

5. 记住返回 WiFi 的 IP 地址，使用网络创建 SSH 终端。

密码和账号都是：lckfb

3. 泰山派分区扩容

泰山派官方镜像将大部分存储空间分到了一个无用的分区，需扩展分区。

sudo apt update && sudo apt install parted -y

df -h

sudo umount /dev/mmcblk0p7
sudo umount /dev/mmcblk0p8

sudo parted /dev/mmcblk0 --script rm 7
sudo parted /dev/mmcblk0 --script rm 8

sudo parted /dev/mmcblk0
print
resizepart 6
100%
quit

sudo resize2fs /dev/mmcblk0p6

df -h

sudo vim /etc/fstab

#PARTLABEL=oem   /oem    ext2    defaults        0 2
#PARTLABEL=userdata      /userdata       ext2    defaults        0 2

4. 泰山派代码部署

前期工作准备完成就可以进行代码部署了。代码存放在 Gitee 代码仓库，可以去下载或使用 git 工具拉取。目标平台：RK3566 泰山派 — Ubuntu 20.04.6 LTS (aarch64)

sudo apt install git
git clone https://gitee.com/Liguanxi00/liguanxi_Automatic_guitar.git
cd liguanxi_Automatic_guitar

bash install_deps.sh

泰山派的 GPIO 还不兼容主要的驱动库，可以根据 4.6 驱动移植与适配教程 进行移植适配 GPIO 库。一键部署脚本中已集成了这一步，你也可以自行检查部署。

🔌 ESP32版本代码部署

🏆 高配版 ESP32 程序部署

高配版使用泰山派作为主控 + ESP32 作为舵机控制协处理器。代码在 Gitee 仓库的 esp32_platformio 目录下：

📎 https://gitee.com/Liguanxi00/liguanxi_Automatic_guitar/tree/master/esp32_platformio

使用 VS Code + PlatformIO 插件 打开项目，编译后通过串口下载到 ESP32 即可。

📱 低配版 ESP32 程序部署

低配版使用 ESP32 作为独立主控（无需泰山派）。独立代码仓库：

📎 https://gitee.com/Liguanxi00/liguanxi_automatic_guitar_esp32

同样使用 VS Code + PlatformIO 插件 进行编译和下载。注意低配版需要焊接 IIC 电阻，否则 OLED 屏幕无法正常使用。

📅 项目进度

以下进度均为 2026 年

🤖 AI 编程方法

这个项目涉及代码量大于 5 万行，修改舍弃的代码也有 1 万行，从代码量来说是我目前开发过代码量最大的项目了。主要难点在于曲谱的识别这一块。

现在是2026年7月17日，上面的话已经不适用了，AI发展得太快了。不要再用那种复制粘贴单独编写函数的 AI 了，项目后期已经是使用 Claude Code 接入 DeepSeek 来进行整个项目的架构调整和代码修改。整体可以分为：提出需求 → 让 AI 理解需求出方案 → 开发者审查方案 → 不满意就提出修改意见，满意就让 AI 按方案执行。整体架构也能交给 AI 了，大部分问题 AI 也能自己排查了。

如果把这个项目编写使用的 tokens 量化，大概使用了 35 亿 左右的 tokens，大部分是 DeepSeek-V4 Pro，基本都是廉价或免费的 tokens。

📊 大模型使用量（万 tokens）

📦 电路器件 BOM 表

电路器件 66 项，总价合计：130 元。可以直接在立创 PCB 界面导出，立创商城购买价格会贵很多，如果在淘宝优信购买可以便宜三分之一的价格。

🛒 机械结构和成品电子器件

全部器件 12 项，总价合计：941.62 元

🔰 版本对比

高配版是泰山派开发板主控 + ESP32协处理器，成本大约1000元（主要是内存涨价导致泰山派疯涨）。低配版是ESP32作为主处理器，砍掉泰山派，成本大约600元，现已开发完成。

💬 项目交流

QQ群：943152897

欢迎加入交流群，一起讨论自动吉他项目

📎 可根据需求自行跳转

B站视频 整体功能演示	淘宝店铺 成品/散件购买
Gitee仓库 详细代码	拓竹网站 打印件介绍

⭐ 这个项目完全开源免费，如果你觉得对你有帮助
欢迎点赞、收藏、Star支持一下，每一个支持都是我持续更新的动力 💪
有问题可以在评论区交流，看到会回复 ✍️

🎸 自动吉他 — 开源项目 · 遵循 PolyForm Noncommercial 协议 · Gitee: Liguanxi00/liguanxi_Automatic_guitar

© 2026 Automatic Guitar Project. All Rights Reserved.