一、全面摘要总结一种极简衍射光学神经网络(m-DONN)架构该系统仅由激光器、数字微镜器件(DMD)和相机三个核心组件构成实现了高效、低成本的光学神经形态计算。核心创新该研究突破了传统DONN架构的限制将DMD同时作为输入层和唯一的隐藏层并采用2级量化方案进行训练。这种极简设计和二元化处理产生了输入编码信息与输出之间高度非线性的关联从而在保持系统简单性的同时实现了强大的计算能力。关键成果指标数值MNIST数据集模拟准确率83.96%MNIST数据集实验准确率82.76%测试样本数10,000系统组件数3个激光器DMD相机应用验证该研究不仅验证了图像分类任务还将m-DONN应用于构建在线强化学习智能体成功实现了虚拟倒立摆的动态稳定控制证明了该系统在实时反馈控制和决策过程中的巨大潜力。二、研究背景2.1 人工智能计算需求的挑战随着人工智能技术的快速发展多模态大模型在文本、图像、视频处理等领域变得日益重要。然而电子计算受摩尔定律发展放缓的限制已难以满足爆炸性增长的计算需求。因此探索新的计算技术和范式变得尤为紧迫。2.2 光子计算的优势光子计算因其独特的优势成为最有前景的候选技术之一低功耗光学操作能耗极低高并行处理能力光信号天然具有并行性光速运算光的传播速度提供了理论上的极限速度近年来研究人员已开发出多种光学加速器和协处理器包括马赫-曾德干涉仪、光频梳和基于超表面的光学卷积核等。2.3 衍射光学神经网络(DONN)的兴起DONN利用自由空间光传播实现光速神经形态计算通过级联光学衍射层以像素级方式利用光的衍射和调制特性。DONN已成功应用于图像分类光学模式转换轨道角动量分选光束复用光学逻辑运算定量相位成像图像处理2.4 当前DONN面临的挑战尽管DONN具有巨大潜力但仍面临多重挑战无源器件问题器件复杂度高制造成本昂贵工艺要求严格系统精度要求高一旦制造完成不可重新编程有源器件问题器件响应不精确系统建模不完美理论优化参数难以直接应用于物理系统需要复杂的原位训练方法三、当前研究现状3.1 DONN的实现策略目前DONN的主要实现策略包括无源光学元件衍射光学元件超表面器件有源光学组件空间光调制器(SLM)数字微镜器件(DMD)3.2 非线性效应的重要性传统观点认为要增强DONN性能和处理复杂任务的能力需要模仿传统电子深度神经网络架构赋予DONN多个具有非线性激活函数的隐藏层。然而在低功率水平下标准DONN可用的非线性效应通常局限于光电转换过程。3.3 本研究的创新方法本研究受到最新进展的启发探索在线性光学范围内实现非线性神经计算数据处理通过以下创新方法将输入数据上传到多个空间位置将输入编码为光学散射系统中可重构边界的一部分这导致系统输出y成为可重构参数θ的高度非线性函数y χ(θ)四、核心技术与方法4.1 m-DONN系统架构图1说明展示了构建光学神经形态计算系统的两种数学模型。(a) 传统的线性系统视角数据编码在输入信号x中(b) 本研究采用的创新模型使用恒定探测信号xo和可重构系统参数产生高度非线性的响应-参数关系oχ(θ)。图2说明m-DONN系统利用DMD芯片的示意图。DMD被编程为同时编码输入图像和优化的二元掩码。635nm波长的连续波激光作为探测光以恒定振幅和均匀相位照射DMD芯片。从DMD芯片反射的光束通过自由空间传播到输出层由相机捕获光强度。4.2 核心创新机制公式 (3):o g(f(xo; H(θ) ◦ H(w)))其中HHeaviside函数阶跃函数◦Hadamard积元素对应相乘θ待处理信息w待优化掩码关键突破将输入图像I(x,y)和调制掩码wM(x,y)合并为单一组合层通过AND操作实现公式 (5):C(x, y) M(x, y) ◦ I(x, y)4.3 训练过程图3说明m-DONN的训练过程。(a) 训练流程图包含可微分前向模型蓝色箭头和误差反向传播路径红色箭头(b) 使用角谱方法建模的自由空间光衍射© 温度可调的sigmoid软量化函数。温度可调Sigmoid函数:S(Θ,τ) 1 / (1 e^(-τ(Θ(x,y) - 0.5)))训练策略初始阶段保持较低温度τ1允许参数探索更广泛的空间后续阶段线性增加温度τ10→100使参数逐渐收敛到二元值(0或1)最终处理应用符号函数将准二元化参数转换为绝对二元掩码五、实验结果5.1 手写数字分类任务图4说明m-DONN手写数字分类的模拟和训练结果。(a) 10个训练轮次后测试准确率达到83.82%(b) 用于手写数字分类的二元掩码最终设计© 数字’0’和’6’测试用例的组合层(d,e) 模拟和实验测量的输出平面光强度分布(f) 10个预定义检测区域的光能量分布(g,h) 所有模拟和实验的分类结果混淆矩阵。关键性能指标指标模拟结果实验结果分类准确率83.96%82.76%测试样本10,000张10,000张训练轮次20 epochs-5.2 倒立摆控制任务图5说明m-DONN用于虚拟倒立摆控制。(a) 使用m-DONN稳定控制倒立摆系统的示意图(b) 系统状态转换为DONN可识别的图像© m-DONN控制倒立摆的训练过程(d) 倒立摆图像(e) 对应的m-DONN输入图像(f,g) 模拟和实验的m-DONN输出。创新点将环境参数小车位置、小车速度、杆角度、杆角速度可视化为图像中的四个白色方块每个参数值对应方块中心的坐标。六、未来发展趋势6.1 性能提升策略针对更复杂任务场景研究提出了两种改进策略1. 时间复用衍射层在时间序列上上传多个衍射层分别与输入结合获得对应输出集成输出以获得更准确的计算结果初步结果显示Fashion-MNIST实验准确率从72.85%提升至82.14%2. 引入随机散射介质提供额外的自由度实现更高的衍射角度捕获更高空间频率分量保持现有极简硬件设置6.2 训练方法优化硬件在环训练方法将物理系统集成到训练过程中物理感知协同优化技术结合光学约束进行神经架构搜索在线训练方案包括硬件在环或纯原位训练技术6.3 应用领域拓展m-DONN的极简设计和高效计算能力使其在以下领域具有广阔前景边缘计算和物联网设备实时图像处理与识别自动驾驶辅助系统医学影像诊断智能制造质量控制6.4 技术融合趋势未来光学神经网络将呈现以下发展态势光电混合架构结合光学高速处理和电子灵活控制可重构系统基于DMD/SLM的多任务切换能力非线性增强通过创新编码方案实现更强非线性表达集成化发展向芯片级集成光学神经网络演进七、结论本研究成功提出并验证了一种极简衍射光学神经网络(m-DONN)仅使用激光器、DMD和相机三个组件即实现了高效的神经形态计算。数值模拟和实验结果表明这种极其简单的光学衍射装置可以实现高精度的神经计算其性能可与具有多个隐藏层的DONN相媲美。这一成功部分归功于数字二元化预处理引入的非线性特性以及线性光学衍射过程中的独特编码方式。这种极简DONN提供了直观的光学配置并展现出高效的计算能力其鲁棒性和可扩展性已通过图像分类任务和实时反馈控制应用得到验证。该研究为光电AI应用在各种场景下的加速铺平了道路展示了光学神经网络向实用化、低成本化发展的可行路径。参考文献[1] X. Lin, et al., Science 2018, 361, 1004[2] T. Zhou, et al., Nat. Photonics 2021, 15, 367[3] G. Qu, et al., Laser Photon. Rev. 2022, 16, 2100732[4] M. Yildirim, et al., Nat. Photonics 2024, 18, 1076[5] F. Xia, et al., Nat. Photonics 2024, 18, 1067[6] Minimalist Optical Neural Computing: Optical Diffractive Neural Network by 2-level Quantized Pixel-Wise Optical Encoding
极简衍射光学神经网络(m-DONN)
一、全面摘要总结一种极简衍射光学神经网络(m-DONN)架构该系统仅由激光器、数字微镜器件(DMD)和相机三个核心组件构成实现了高效、低成本的光学神经形态计算。核心创新该研究突破了传统DONN架构的限制将DMD同时作为输入层和唯一的隐藏层并采用2级量化方案进行训练。这种极简设计和二元化处理产生了输入编码信息与输出之间高度非线性的关联从而在保持系统简单性的同时实现了强大的计算能力。关键成果指标数值MNIST数据集模拟准确率83.96%MNIST数据集实验准确率82.76%测试样本数10,000系统组件数3个激光器DMD相机应用验证该研究不仅验证了图像分类任务还将m-DONN应用于构建在线强化学习智能体成功实现了虚拟倒立摆的动态稳定控制证明了该系统在实时反馈控制和决策过程中的巨大潜力。二、研究背景2.1 人工智能计算需求的挑战随着人工智能技术的快速发展多模态大模型在文本、图像、视频处理等领域变得日益重要。然而电子计算受摩尔定律发展放缓的限制已难以满足爆炸性增长的计算需求。因此探索新的计算技术和范式变得尤为紧迫。2.2 光子计算的优势光子计算因其独特的优势成为最有前景的候选技术之一低功耗光学操作能耗极低高并行处理能力光信号天然具有并行性光速运算光的传播速度提供了理论上的极限速度近年来研究人员已开发出多种光学加速器和协处理器包括马赫-曾德干涉仪、光频梳和基于超表面的光学卷积核等。2.3 衍射光学神经网络(DONN)的兴起DONN利用自由空间光传播实现光速神经形态计算通过级联光学衍射层以像素级方式利用光的衍射和调制特性。DONN已成功应用于图像分类光学模式转换轨道角动量分选光束复用光学逻辑运算定量相位成像图像处理2.4 当前DONN面临的挑战尽管DONN具有巨大潜力但仍面临多重挑战无源器件问题器件复杂度高制造成本昂贵工艺要求严格系统精度要求高一旦制造完成不可重新编程有源器件问题器件响应不精确系统建模不完美理论优化参数难以直接应用于物理系统需要复杂的原位训练方法三、当前研究现状3.1 DONN的实现策略目前DONN的主要实现策略包括无源光学元件衍射光学元件超表面器件有源光学组件空间光调制器(SLM)数字微镜器件(DMD)3.2 非线性效应的重要性传统观点认为要增强DONN性能和处理复杂任务的能力需要模仿传统电子深度神经网络架构赋予DONN多个具有非线性激活函数的隐藏层。然而在低功率水平下标准DONN可用的非线性效应通常局限于光电转换过程。3.3 本研究的创新方法本研究受到最新进展的启发探索在线性光学范围内实现非线性神经计算数据处理通过以下创新方法将输入数据上传到多个空间位置将输入编码为光学散射系统中可重构边界的一部分这导致系统输出y成为可重构参数θ的高度非线性函数y χ(θ)四、核心技术与方法4.1 m-DONN系统架构图1说明展示了构建光学神经形态计算系统的两种数学模型。(a) 传统的线性系统视角数据编码在输入信号x中(b) 本研究采用的创新模型使用恒定探测信号xo和可重构系统参数产生高度非线性的响应-参数关系oχ(θ)。图2说明m-DONN系统利用DMD芯片的示意图。DMD被编程为同时编码输入图像和优化的二元掩码。635nm波长的连续波激光作为探测光以恒定振幅和均匀相位照射DMD芯片。从DMD芯片反射的光束通过自由空间传播到输出层由相机捕获光强度。4.2 核心创新机制公式 (3):o g(f(xo; H(θ) ◦ H(w)))其中HHeaviside函数阶跃函数◦Hadamard积元素对应相乘θ待处理信息w待优化掩码关键突破将输入图像I(x,y)和调制掩码wM(x,y)合并为单一组合层通过AND操作实现公式 (5):C(x, y) M(x, y) ◦ I(x, y)4.3 训练过程图3说明m-DONN的训练过程。(a) 训练流程图包含可微分前向模型蓝色箭头和误差反向传播路径红色箭头(b) 使用角谱方法建模的自由空间光衍射© 温度可调的sigmoid软量化函数。温度可调Sigmoid函数:S(Θ,τ) 1 / (1 e^(-τ(Θ(x,y) - 0.5)))训练策略初始阶段保持较低温度τ1允许参数探索更广泛的空间后续阶段线性增加温度τ10→100使参数逐渐收敛到二元值(0或1)最终处理应用符号函数将准二元化参数转换为绝对二元掩码五、实验结果5.1 手写数字分类任务图4说明m-DONN手写数字分类的模拟和训练结果。(a) 10个训练轮次后测试准确率达到83.82%(b) 用于手写数字分类的二元掩码最终设计© 数字’0’和’6’测试用例的组合层(d,e) 模拟和实验测量的输出平面光强度分布(f) 10个预定义检测区域的光能量分布(g,h) 所有模拟和实验的分类结果混淆矩阵。关键性能指标指标模拟结果实验结果分类准确率83.96%82.76%测试样本10,000张10,000张训练轮次20 epochs-5.2 倒立摆控制任务图5说明m-DONN用于虚拟倒立摆控制。(a) 使用m-DONN稳定控制倒立摆系统的示意图(b) 系统状态转换为DONN可识别的图像© m-DONN控制倒立摆的训练过程(d) 倒立摆图像(e) 对应的m-DONN输入图像(f,g) 模拟和实验的m-DONN输出。创新点将环境参数小车位置、小车速度、杆角度、杆角速度可视化为图像中的四个白色方块每个参数值对应方块中心的坐标。六、未来发展趋势6.1 性能提升策略针对更复杂任务场景研究提出了两种改进策略1. 时间复用衍射层在时间序列上上传多个衍射层分别与输入结合获得对应输出集成输出以获得更准确的计算结果初步结果显示Fashion-MNIST实验准确率从72.85%提升至82.14%2. 引入随机散射介质提供额外的自由度实现更高的衍射角度捕获更高空间频率分量保持现有极简硬件设置6.2 训练方法优化硬件在环训练方法将物理系统集成到训练过程中物理感知协同优化技术结合光学约束进行神经架构搜索在线训练方案包括硬件在环或纯原位训练技术6.3 应用领域拓展m-DONN的极简设计和高效计算能力使其在以下领域具有广阔前景边缘计算和物联网设备实时图像处理与识别自动驾驶辅助系统医学影像诊断智能制造质量控制6.4 技术融合趋势未来光学神经网络将呈现以下发展态势光电混合架构结合光学高速处理和电子灵活控制可重构系统基于DMD/SLM的多任务切换能力非线性增强通过创新编码方案实现更强非线性表达集成化发展向芯片级集成光学神经网络演进七、结论本研究成功提出并验证了一种极简衍射光学神经网络(m-DONN)仅使用激光器、DMD和相机三个组件即实现了高效的神经形态计算。数值模拟和实验结果表明这种极其简单的光学衍射装置可以实现高精度的神经计算其性能可与具有多个隐藏层的DONN相媲美。这一成功部分归功于数字二元化预处理引入的非线性特性以及线性光学衍射过程中的独特编码方式。这种极简DONN提供了直观的光学配置并展现出高效的计算能力其鲁棒性和可扩展性已通过图像分类任务和实时反馈控制应用得到验证。该研究为光电AI应用在各种场景下的加速铺平了道路展示了光学神经网络向实用化、低成本化发展的可行路径。参考文献[1] X. Lin, et al., Science 2018, 361, 1004[2] T. Zhou, et al., Nat. Photonics 2021, 15, 367[3] G. Qu, et al., Laser Photon. Rev. 2022, 16, 2100732[4] M. Yildirim, et al., Nat. Photonics 2024, 18, 1076[5] F. Xia, et al., Nat. Photonics 2024, 18, 1067[6] Minimalist Optical Neural Computing: Optical Diffractive Neural Network by 2-level Quantized Pixel-Wise Optical Encoding
