加速SoC数据融合技术：高性能传感器、语音和音频处理
📑 目录
- 1. SNUG 2018
- 2. SNUG 2018
- 3. SNUG 2018
- 4. SNUG 2018
- 5. SNUG 2018
- 6. SNUG 2018
- 7. SNUG 2018
- 8. SNUG 2018
- 9. SNUG 2018
- 10. SNUG 2018
- 11. SNUG 2018
- 12. SNUG 2018
- 13. SNUG 2018
- 14. SNUG 2018
- 15. SNUG 2018
- 16. SNUG 2018
- 17. SNUG 2018
- 18. SNUG 2018
- 19. SNUG 2018
- 20. SNUG 2018
- 21. SNUG 2018
- 22. SNUG 2018
- 23. SNUG 2018
- 24. SNUG 2018
加速SoC数据融合技术：高性能传感器、语音和音频处理
会议: SNUG China 2018
作者: Rick Wang (rick.wang@synopsys.com), AE Manager
页数: 24
源文件: SNUG_CN_Dorso_Untitled_paper_2.pdf
Page 1
SNUG 2018
加速SoC数据融合技术 高性能传感器、语音和音频处理
Rick Wang (rick.wang@synopsys.com) AE Manager 2018年6月 SNUG China
Page 2
SNUG 2018
语音识别应用爆发式增长
基于自然语音的人机界面(HMI)快速普及
年复合增长率 31%
Page 3
SNUG 2018
"Always-on"应用示例
MEMS麦克风 — 出货量年复合增长率13%（2015-2019）
Page 4
SNUG 2018
IoT "Always-on"应用示例
- 移动和IoT设计正在向传感器集线器架构（片上）迁移 - 更高性能的接口对于新型传感器是必需的 - I3C标准由MIPI（移动标准）推动
移动传感器 — 出货量年复合增长率 >20%（2016-2019）
Page 5
SNUG 2018
可穿戴传感器趋势
"可穿戴传感器市场到2026年将达到61亿美元" 来源：IDTechEx研究报告 - "Wearable Sensors 2016-2026: Market Forecasts, Technologies, Players"
Page 6
SNUG 2018
IoT：巨大的机遇与挑战...
数十亿边缘设备
无线、电源管理、存储器、传感器、处理器等... 功能类型、连接性和能源使用决定成本 电池寿命期望延长，同时增加连接性 2017年需要担心的新黑客攻击：智能家居和互联汽车
Page 7
SNUG 2018
典型IoT设备及其功能
语音/讲话/传感器融合发挥关键作用
- 外设、I/O和安全性的嵌入式控制 - 低功耗和电源管理 - 低端音频DSP - 语音控制DSP - 无线连接 - 控制功能 - 9D传感器融合DSP和浮点 - 语音通信DSP
Page 8
SNUG 2018
"Always-on" IoT
应用： - IoT可穿戴设备、智能能源集线器 - 健康/健身设备 - 无线音频（蓝牙智能）
常见系统组件： - RTOS或裸机系统 - AA/纽扣电池、锂电池 - 蓝牙、802.15.4、Zigbee、Wi-Fi
独特技术和IP需求： - 嵌入式NVM (Flash/MTP) - 连接性、传感器和安全性... - 90nm向65nm、55nm或40nm迁移
共同特征：
数据融合IP子系统包含：ARC EMxD处理器、ADC、I2C、SPI、UART、定时器、ROM、GPIO、SRAM、硬件加速器、NVM(eFlash/MTP)，以及USB 2.0 Host OTG带充电检测、安全模块、无线电（WiFi、蓝牙智能、802.15.4）
Page 9
SNUG 2018
基于ARC的子系统：利用可配置性和可扩展性
- 能耗降低10倍* - 周期数减少90%* - 逻辑面积减少40-60%*
*代表90nm工艺下的传感器融合应用
典型32位处理器"基于总线"的嵌入式系统 vs ARC + APEX集成的"无总线"嵌入式系统
Page 10
SNUG 2018
ARC数据融合IP子系统：完整的硬件和软件解决方案
- 集成、预验证的Always-on应用子系统 - 减少面积和功耗：紧密耦合的存储器和外设（I2C、SPI、UART、GPIO、ADC接口） - 提高性能：EM DSP处理器提供高效的RISC和DSP性能 - 增强安全性：CryptoPack选项加速软件加密算法 - 扩展应用范围：新选项扩展支持AI语音和高性能传感器
为IoT显著节省上市时间和能源
子系统框图包含：ARC EM5/7/9/11D处理器、APEX加速器、快速数学加速器、软件库、D-Cache、I-Cache、SP/DP FPU、XY存储器、嵌入式ROM/SRAM、外设接口（I2C、UART、SPI、GPIO、ADC I/F）、定时器、中断控制器、调试接口、主机接口、DMA端口等。可授权选项包括：AHB Master/Slave、CryptoPack (AES/SHA/3DES)、mDMA、DSP Package (ARCv2DSP ISA)、设备驱动、DSP库、音频处理库、I2S、PDM、Voice/Speech选项等。
Page 11
SNUG 2018
ARC EM DSP处理器
- ARCv2DSP ISA新增超过150条面向DSP的指令：向量/SIMD、矩阵、饱和、复数 - 针对超低功耗控制和DSP优化的内核： - 高能效3级RISC流水线 - 统一单周期32x32 MUL/MAC单元 - 高能效信号处理：语音/讲话、音频和传感器数据 - XY存储器提高DSP性能 - 可授权选项：FPU、MPU、RTT（实时跟踪）、microDMA、CryptoPack（加密软件加速）、ARConnect（多核） - 丰富的DSP软件库和C/C++编译器，软件开发简便
为Always-On IoT应用进行功耗-性能优化 融合高效控制与超低功耗DSP
处理器系列： - EM5D：最高2MB I&D CCM、DSP - EM7D：最高2MB I&D CCM、I&D Cache（最高32K）、DSP - EM9D：最高2MB I&D CCM、DSP、XY存储器 - EM11D：最高2MB I&D CCM、I&D Cache（最高32K）、DSP、XY存储器
架构特性：3级流水线、cJTAG/JTAG调试、实时跟踪、浮点单元、ARC处理器扩展(APEX)、指令CCM、指令Cache、数据Cache、数据CCM、32x32乘法器/MUL-MAC、XY存储器、Memory Protection Unit、中断控制器、NVM接口、uDMA、CryptoPack、增强安全/安全包
Page 12
SNUG 2018
EM9D将MAC/周期数提高3倍
DSP密集型应用的总能量显著改善
能量对比图（EM5D vs EM9D vs 处理器A在不同RISC/DSP比例下的表现）： - 语音检测基准测试 - MP3解码基准测试
Page 13
SNUG 2018
9D传感器融合基准测试
100Hz传感器融合频率需求对比（固定点 vs 浮点(CPU+FPU)）
- EM5D vs 处理器A
Hillcrest MotionEngine在数据融合子系统(EM5D)上运行
- 传感器无关融合实现增加供应链灵活性，降低集成复杂性 - 自动磁校准动态消除硬铁和软铁效应，无需用户校准 - 无陀螺漂移：实时自动陀螺稳定消除陀螺漂移 - 最低延迟：系统优化实现最小延迟和响应感，具有可配置采样率
Page 14
SNUG 2018
语音激活基准测试
Sensory TrulyHandsfree在数据融合子系统(EM5D)上运行
工作流程：检测 -> 识别 -> 唤醒
基于ARC EM5D的数据融合子系统（TSMC 28nm HPM工艺）：
| 模式 | 频率需求 | 功耗 |
| 检测模式（Sensory LPSD功能，16kHz麦克风输入） | 0.26 MHz | 0.9 uW* |
| 识别模式（100%全周期识别，16kHz麦克风输入） | 7.6 MHz | 40 uW* |
* 逻辑动态功耗，带后版图RC的门级仿真
功耗节省 > 20倍（检测模式 vs 识别模式）
Page 15
SNUG 2018
音频处理软件库：数据融合子系统语音/讲话选项
- 带平滑的增益 - 混音器 - 自动增益控制(AGC) - 软限幅器 - DC去除滤波器 - 位宽转换器 - 均衡器 - FIFO - 上/下混音器 - 采样率转换器 - 通道路由器 - 单声道 <-> 立体声转换器
音频处理库补充ARCv2DSP库
Page 16
SNUG 2018
音频处理软件库基准测试
EM5D vs EM9D性能对比图
Page 17
SNUG 2018
PDM麦克风用例：基于语音的人机界面
远场语音处理： - 检测 - 隔离 - 跟踪 - 识别
每增加一个麦克风提高隔离质量 所有麦克风应采样精确同步
Page 18
SNUG 2018
为什么选择I3C？
I3C解决多传感器集成挑战： - I3C利用I2C和SPI两者的优势 - I2C的简单2线接口 - SPI的低功耗和速度 - I3C保持对传统I2C传感器的支持 - 额外功能：带内中断/命令支持、动态寻址、高级电源管理、更高数据速率 - 对比：12-18个SPI/I2C引脚（10+个传感器）vs 多个边带信号（中断、片选、电源管理等）
Page 19
SNUG 2018
典型I3C实现
图像传感器连接：图像传感器可以利用I3C更高性能的能力来通信控制信息并传输图像数据（替代I2C相机控制接口）
传感器集线器/级联传感器集线器：多个传感器设备根据其能力连接到I3C总线，可在不同模式和运行速度下操作。第二主设备（除主主设备外）连接到多个传感器，充当I3C集线器。
数据融合IP子系统（带集成I3C选项）
Page 20
SNUG 2018
CryptoPack
硬件扩展加速加密软件算法
支持加密算法：AES、3DES、ECC、SHA-256、RSA 提供面积优化和性能优化版本以适应系统目标
面积优化版：纯组合逻辑（无内核或辅助寄存器）、单周期、双操作数、面积小（<5%内核面积）但对性能影响较小
性能优化版：用于存储内部状态的额外寄存器、多周期、增加参数数量、高计算能力但更多门（<20%内核面积）
Page 21
SNUG 2018
可扩展的加密解决方案
决策因素非常因应用而异： - 性能需求：吞吐量、延迟 - 功耗（能耗）：加密操作使用频率？特定应用是什么？ - 面积预算：专用硬件引擎需要更多硅面积，但提供更高性能和能效
与Synopsys FAE讨论您的需求以选择最佳解决方案
常见哈希算法的相对性能：CryptoPack SHA-256增加ARC硅面积5%但性能提高7倍
Page 22
SNUG 2018
ARC应对关键IoT挑战
| 挑战 | 特性需求 | ARC实现 |
| 低功耗（电池运行要求最低功耗） | 最佳性能效率(DMIPS/mW)，用户定义指令减少周期数和能耗 | 同类最佳的性能效率 |
| 系统成本（空间受限应用需要紧凑面积、小代码尺寸） | 高度可配置性——不浪费门，优化工具链实现最大代码密度 | 可配置性 |
| 集成（片上集成传感器控制、处理和通信） | 支持紧耦合存储器、外设和加速器实现"无总线"系统设计，预集成IP子系统 | 紧耦合集成 |
| 安全性（敏感数据必须保护免受设备内和设备间攻击） | SecureShield技术实现可信执行环境，CryptoPack为关键算法提供加密加速 | 安全技术 |
Page 23
SNUG 2018
谢谢！
Page 24
SNUG 2018
问答环节
图片索引
本文共 398 张图片，为PPT型论文，存放于 _images/ 目录。
关键图表按页面分布： - 第1页：标题页 - 第2页：语音识别应用增长 - 第3页：Always-on应用示例（MEMS麦克风） - 第4页：IoT Always-on应用（移动传感器） - 第5页：可穿戴传感器趋势 - 第6页：IoT机遇与挑战 - 第7页：典型IoT设备功能框图 - 第8页：Always-on IoT系统框图 - 第9页：ARC子系统对比（总线 vs 无总线） - 第10页：ARC数据融合IP子系统详细架构 - 第11页：ARC EM DSP处理器架构 - 第12页：EM9D性能基准测试 - 第13页：9D传感器融合基准测试 - 第14页：语音激活基准测试 - 第15页：音频处理软件库 - 第16页：音频处理基准测试 - 第17页：PDM麦克风用例 - 第18页：I3C总线解决方案 - 第19页：典型I3C实现方案 - 第20页：CryptoPack加密扩展 - 第21页：可扩展加密解决方案对比 - 第22页：ARC应对IoT挑战总结 - 第23-24页：致谢和问答