分类
技术干货
聆思CSK6语音视觉AI大模型开发板硬件资源详解
简介
提供工程下载（含设计图和BOM信息），介绍开发板使用的主要器件和原厂配套的大模型语音交互、大模型拍照识图、坐姿检测、人脸识别、活体检测、头肩追踪、手势识别、语音合成、英语评测等十几种AI能力的SDK。
简介：提供工程下载（含设计图和BOM信息），介绍开发板使用的主要器件和原厂配套的大模型语音交互、大模型拍照识图、坐姿检测、人脸识别、活体检测、头肩追踪、手势识别、语音合成、英语评测等十几种AI能力的SDK。项目简介
围绕 CSK6011A 芯片设计的具备丰富语音图像功能与硬件外设的开发板，采用具备丰富组件生态的 Zephyr RTOS作为操作系统，官方提供了十几种开源SDK，包含大模型语音交互、大模型拍照识图、文生图、人脸识别、头肩追踪、手势识别、坐姿提醒等。
聆思提供还提供了模型训练推理工具将自己的算法模型部署至芯片上，也可以配合这个工具构建自己的 AI 应用。
项目工程下载地址：https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel
开发板设计
●使用聆思 CSK6011A 芯片作为主控，板载 16MB Flash
●集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
●配套多模态应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用
●板载 DAPLINK 调试器，外接一条USB 线即可实现烧录、调试、串口日志查看
●板载网络模组，支持开发联网类应用
大模型示例SDK清单
SDK集成了星火大模型，可以二次开发改接其他大模型，示例清单见下表，可以直接通过链接进行固件烧录并下载：
| 序号 | 大模型功能 | 使用教程 | 功能说明 |
|---|---|---|---|
| 1 | 大模型多模态 | 详细文档 https://docs2.listenai.com/x/2V18-j2v2 | 套件出厂默认应用。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例，支持语音唤醒、多轮语音交互。 |
| 2 | 智能对话 | 智能问答+坐姿检测： https://docs2.listenai.com/x/W-UwdIBzk | 除了大模型语音对话，还集成了可离线运行的坐姿检测算法，是一个 大模型在线服务+离线AI能力 的示例。 |
| 3 | 智能对话 + 文生图 + 设备控制 | 详细说明：https://docs2.listenai.com/x/1PjldCQrN | 该示例展示了如何通过大模型实现语音输入意图的理解，实现对话、绘图和控制开发板屏幕颜色进行切换，用户可参考代码与教程自行修改。 |
| 4 | 接入自定义应用 | 基于模板创建应用：https://docs2.listenai.com/x/BDir5bLbD 通过编排自定义大模型交互流程： https://docs2.listenai.com/x/swDsUBmPO | 讲解如何在云端快速建立一个自定义大模型应用并接入到开发套件上实现语音交互，由浅入深地展示如何开发自己的大模型助手。 |
离线AI能力示例SDK清单
LNN AI示例SDK清单
LNN是用于移植适配算法至CSK6芯片的工具，提供了视觉、语音相关的示例SDK，如果想在CSK6上移植适配自己的算法，可以参照这些示例：
| 序号 | 能力 | 使用教程 |
|---|---|---|
| 1 | 拍照物体识别 | https://docs2.listenai.com/x/AyRl56jpS |
| 2 | 鼾声检测 | https://docs2.listenai.com/x/tD4HR_HpM |
| 3 | 英译中 | https://docs2.listenai.com/x/GxlJsvPfc |
开发板硬件资源
| 编号 | 资源 | 说明 |
|---|---|---|
| 1 | CSK USB 接口 | CSK6 芯片的 USB 接口，可通过本接口使用 CSK6 的 USB 硬件功能，支持对开发板进行供电。 |
| 2 | DAPLink 调试器接口 | 可通过本接口查看日志、烧录固件、调试仿真，支持对开发板进行供电。 |
| 3 | 电源开关 | 控制开发板总电源开关。 |
| 4 | 外扩排针 | 引出 CSK6 芯片的可用 IO 口，包括部分由扩展 IO 芯片 (19编号)外接的 IO口，开发者可按需进行使用。 |
| 5 | 摄像头模组 | 默认配套 30W 像素的摄像头模组，型号为 GC0328。 |
| 6 | 扬声器接口 | 用于连接扬声器进行播音。 |
| 7 | RGB LED | 支持编程控制的 LED。 |
| 8 | 触摸显示屏 | 分辨率 320*240 的触摸显示屏，屏显硬件接口为 SPI，触摸硬件接口为 I2C 。 |
| 9 | 麦克风 | 板载的两个麦克风，连接芯片的 Audio ADC，用于语音相关应用的录音。 |
| 10 | 硬回采开关 | 用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。 |
| 11 | SD卡槽 | 用于插入 SD 存储卡。 |
| 12 | 网络模组调试座 | 可用语烧录网络模组的固件与调试。 |
| 13 | 网络模组 | 使用 ESP32 C3 作为网络模组。 |
| 14 | 扩展按键区 | 通过扩展 IO 芯片 CH32 扩展引出的按键，支持轮询检测。 |
| 15 | CSK6 功能按键区 | 包括 CSK6 芯片的复位、BOOT、自定义功能按键。 |
| 16 | 电源LED | 指示开发板的供电状态，供电正常使，LED亮起。 |
开发板设计资料下载
| 文件 | 操作 |
|---|---|
| 大模型开发套件V2.0硬件设计 | https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel |
| CSK6系芯片引脚功能表 V1.0 | https://docs2.listenai.com/zz/3294.xlsx?shortId=nTn9kMMCU |
开发板尺寸
开发板配件
摄像头模组
套件默认配套一个摄像头模组，参数如下：
- Sensor 型号 GC0328
- 接口 DVP
- 像素 30W
摄像头安装
本摄像头可通过开发套件主板上的摄像头接口进行连接，安装摄像头时，请抬起摄像头接口座上的盖板，将摄像头软排线水平插入接口座后，盖紧盖板，安装完成后如下：
触摸屏模块
套件支持使用配套的触摸屏模块，触摸屏模块参数如下：
- 尺寸 2.4寸(显示区域尺寸)
- 分辨率 320*240
- 屏显驱动型号 ST7789V / https://docs2.listenai.com/zz/6495.pdf?shortId=nTn9kMMCU
- 屏显接口 SPI
- 触摸驱动型号 FT5336 / https://docs2.listenai.com/zz/6496.pdf?shortId=nTn9kMMCU
- 触摸接口 I2C
触摸屏安装
本摄像头可通过开发套件主板上的屏幕排针座直接进行连接，连接时，请通过屏幕模块和主板上的三角标识确认安装方向，如图：
网络模组
为了方便接入 WIFI 与 BLE 网络，配套无线网络模组型号是ESP32-C3。
网络模组以hosted的模式与开发套件的主控芯片CSK6进行通讯，完整协议栈完整地运行在CSK6上。
网络模组相关的源码信息如下：
| 项目 | 说明 |
|---|---|
| 源码路径 | SDK目录\modules\lib\esp-hosted\esp-hosted\esp\esp_driver\network_adapter |
| 编译指引 | https://docs.espressif.com/projects/esp-idf/en/latest/esp32c3/get-started/index.html |
更多使用说明
供电
开发板支持通过 DC 座或任意 Type-C 接口进行供电，因部分电脑或 USB HUB 存在供电电流不足的问题，因此建议在条件允许的情况下优先使用 DC 供电座对开发套件进行供电。
DAPLink USB口的使用
开发板板载了DAPLink调试器芯片，DAPLink 芯片与 CSK6 芯片的 SWD 接口、烧录串口(A15/A18)、日志串口(A02/A03)进行了连接，从而实现可以使用DAP_USB接口查看CSK6 芯片的日志以及对 CSK6 进行固件烧录。
开发者可通过DAPLink USB接口对CSK6芯片进行 固件烧录 、代码仿真 与 串口查看。
使用方法如下：
●1.使用TypeC数据线连接电脑USB与开发板DAPLink USB
●2.若设备运行正常，在电脑设备管理器中会出现一个虚拟串口和USB设备
虚拟串口(CDC)功能：
对CSK6芯片的 GPIOA2 和 GPIOA3 【默认UART0】引脚进行了映射，可通过串口上位机工具与串口进行通讯。
烧录、仿真功能：
配合CSK6开发工具，可通过DAPLink实现固件快速烧录以及VSCode IDE环境下进行仿真调试，详见：https://docs2.listenai.com/x/8bZfGBUtuKw。
若未能识别到设备，请检查所用的TypeC数据线是否具备数据传输功能，部分TypeC线只具备供电功能。
CSK6系芯片引脚的功能配置指引请参照《CSK6系芯片引脚功能表》，详见https://docs2.listenai.com/x/af7lMsf-Scg#%E8%8A%AF%E7%89%87%E8%B5%84%E6%96%99%E4%B8%8B%E8%BD%BD。
开发环境
可参照https://docs2.listenai.com/x/ZgVUIzY6M 与 https://docs2.listenai.com/x/GvIW8tsaE 完成开发环境的搭建以及开发所需SDK的获取，并参照各个示例下的开发指南进行开发，通过 大模型应用开发指南可以了解如何在开发套件上接入云端大模型应用并进行应用开发。
如果需要拿实物参考，可以TB搜【聆思csk6大模型开发板】
评论