本文是一篇计算机网络论文，本文的研究基于一种硅基光子计算芯片，分析了光子计算芯片的工作原理、物理构造和运算特点，介绍了基于光子计算芯片的光电混合计算系统及其运作方式。依托光电混合计算系统，充分结合光学元件计算原理和特性。
1 引言
1.1 研究背景及意义
近年来，随着现代科学技术的快速发展，人类社会已经进入到移动互联网时代。人们通过个人电脑、智能手机、pad 等设备可以从互联网获取大量的信息，直接催生了以大数据、机器学习、深度学习等为代表的一系列人工智能技术[1]。2017 年，谷歌公司研发的 AlphaGo[2]与世界围棋冠军柯洁在中国浙江上演了一场“人机大战”，最终 AlphaGo 以为 3:0 绝对优势大败柯洁，由此人工智能技术逐步进入公众视野，进一步蓬勃发展。深度学习技术是人工智能技术的一个重要领域，也是当今人工智能大爆炸的核心驱动[3]，为人类贡献出巨大的社会效益和经济效益。
基于神经网络的深度学习技术在图像识别、自然语言处理等领域取得了巨大的成功，并且展现出强劲的发展动力和应用前景。深度学习技术中最广泛使用的神经网络包括卷积神经网络（Convolutional Neural Network，CNN）、深度神经网络（Deep Neural Network，DNN）以及循环神经网络（Recurrent Neural Network，RNN）[4]，其中卷积神经网络作为计算机视觉领域的基础网络结构发挥了极其重要的作用。自从 2012 年 Krizhevsky 等人在 ILSVRC-2012 竞赛中提出 AlexNet[5]，卷积神经网络引起研究人员的极大关注，经过不断的发展和完善，衍生出许多功能强大的计算机视觉算法，广泛应用于各行各业。虽然近十年卷积神经网络在功能和准确率方面取得了长足的进步，但是这些算法结构复杂，需要运算的参数也越来越多，处理过程中存在大量的浮点运算，例如 AlexNet 算法识别一张图片需要完成 14 亿次的浮点运算。实际工程中，假设一个自动驾驶系统有 8 个 1080×1920 分辨率的 8 比特RGB 摄像头, 每秒检测 10 帧，则需要系统具有 3.8Gb/s 的数据吞吐和处理能力[6]。丰富的功能背后需要高性能的硬件运算能力作为支撑，部署先进的神经网络算法对硬件的计算能力提出了更高的要求。
针对神经网络算法设计新型的硬件计算结构成为当下人工智能领域研究的热点问题。基于神经网络算法的新型硬件结构，目前主要有图形处理器（Graphics Processing Unit，GPU）；现场可编程门阵列[7]（Field Programmable Gate Array，FPGA）、专用集成芯片（Application Specific Integrated Circuit，ASIC），例如谷歌公司推出的张量处理器（Tensor Process Unit，TPU）、类脑型芯片（例如清华大学团队研制的“天机”类脑芯片[9]）等等。
1.2 研究现状
深度卷积神经网络 人工神经网络(ANN)是目前应用最广泛的人工智能算法之一，最初是为了在软件和专用硬件[11]中模拟适应性生物神经系统。人工神经网络的研究可以追溯到 70年前，研究者对人工神经网络的关注度时冷时热。近十年来，在一些研究人员的开创性工作之后，才引发强烈的重视。多层人工神经结构可以学习复杂的非线性函数映射，学习的过程中需要提供足够的计算资源和训练数据，而且与传统的方法不同，其输出结果可以根据训练数据和不同特征层的输出进行缩放。人工神经网络在鲁棒模式识别方面取得了显著的成果之后，无论是在学术还是工业研究方面，该领域的知识体系都出现了指数级的增长。此外，多层神经网络大大减少了建立经典模式识别器所需要的大量手工工作。实际上，人工神经网络算法可以看做一个黑箱系统，需要从非结构化、高维数据中获取特征数据，从而进行分类和识别。
卷积神经网络属于人工神经网络的一个分支，最早由 LeCun[12]等人在 1998 年提出，是受人类视觉系统启发而产生的一类神经网络，被誉为卷积神经网络的“开山之作”。随后 Hinton[13]等人在 2006 年提出的深度置信网络（Deep Belief Networks，DBN）训练，引领了今天的深度学习时代，他们所提出的深度置信网络是第一个经过有效训练的深层次网络结构。而在此之前，训练深层架构几乎是不可行的。论文中提到深层次多隐藏层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。另外，深度神经网络在训练上的难度，Hinton 团队提出可以通过“逐层初始化”网络中的权重来有效克服。通过使用深度置信网络初始化权值构建的深度架构的性能优于之前的机器学习算法。深度置信网络被当作生初始化的分类模型，越来越多地被作为分类器使用，既在网络结构末端附加一个分类层，并使用标签进行监督学习，从而对整个网络结构的输出进行微调。在大多数应用中，这种对深层架构进行预训练的方法在标记数据的数量较少的情况下，也能在识别手写数字、检测行人、时间序列预测等方面有良好的表现[14]。近年来，深度置信网络在语音识别建模中也展现出优异的性能[15]，该模型相比其他先进模型，比如隐马尔可夫模型和高斯混合模型的性能提高 20%。
2 光学神经网络理论基础
2.1 人工神经网络基础理论
本文中研究的人工神经网络算法主要以卷积神经网络为主。卷积神经网络的低层网络结构一般包括卷积层和池化层的不同组合，卷积层考虑到输入像素之间的空间关系，从输入图像中提取重要的特征，在提取图像的高维度特征后，结合全连接层或者 softmax 等算法来进行分类，尤其适合进行计算机视觉领域的任务。
2.1.1卷积层
卷积层的灵感来自大脑的视觉皮层。每当我们眼睛看到物体时，大脑中一系列神经元被激活，不同的神经元会检测到不同的特征。更深层次的神经元将检测更高级更复杂的特征，以此来识别人眼所看到的内容。图像卷积借鉴了传统图像处理中滤波算子的作用，每个卷积核作为一个滤波算子来提取图像的部分特征信息。
卷积过程如图 2-1 所示，一个卷积核在输入特征图上滑动，即依次扫描特征图的每行每列，每次滑动的长度成为步长，滑动窗口中的特征值与卷积核中的权重值做矩阵元素的点乘操作后再累加输出一个特征元素则完成一次卷积，当滑动全部完成时即输出一个二维的输出特征图，最后再加上偏置。为了防止卷积过程中输出特征图变小，通常需要对输入特征图进行 padding 操作，即填充像素。当卷积核滑动时的步长为 1 时，需要对输入特征图的四周填充 0 值，使得输出特征图的维度与输入特征图保持一致，这种卷积的方式称为 SAME。不填充 0 进行卷积时的方式称为 VAILD。
2.2 光学计算模型
伴随着大数据和人工智能时代的来临，如何低功耗、高效率地对海量的数据进行处理和运算，已成为社会中各个行业的迫切需求。同时随着硅基光电子计算的发展，光学计算技术应运而生。利用集成的光子元件来实现光学计算系统，发挥光子带宽高、低功耗的优势，逐渐成为光学领域的研究重点之一。本节介绍几种先进的用光学器件实现人工神经网络的光学计算模型，然后对其分析和比较，阐明使用光学器件实现人工神经网络所面临的问题。
2.2.1全光学脉冲神经网络
2019 年，Feldmannl 等人在 Nature 上发表的论文中提出了一种全光脉冲神经网络（All-optical spiking neurosynaptic networks）[49]，这种光学神经网络系统能够以有监督和无监督的方式能够完成模式识别的原型人工智能任务。
研究人员设计了通过组合多个光子神经元的互连体系结构，如图 2-7 所示。整个网络由一个输入层和一个输出层组成，通过 N 个隐藏层进行光学连接。每个隐藏层将前一层的输出作为输入，并将其输出传递到下一层。输入层是光学接口，接收要处理的数据并将其分发到网络的下一层。网络的单层由收集器、分配器及光子神经元组成。收集器收集来自前一层的所有输出（即使用环形谐振器将上一层的输出复用到单个波导上），然后由分布器（再次使用环形谐振器进行多路分解）将这些输出均匀地分布到该隐藏层中的 N 个神经元。利用所设计的分层结构，实验中采用了一个单层神经突触系统，使用了四个神经元来实现 ABCD 四个字母的识别，每个神经元具有 15 个突触来控制权重，对应输入的 15 个像素的字母图像，整个系统由 140 多个光学元件组成。
3 光电混合神经网络计算系统 ....................... 22
3.1 系统整体架构 ....................................... 22
3.2 光学组件 .......................................... 23
4 面向光子计算芯片的神经网络算法设计 ...................... 30
4.1 与光学组件匹配的卷积层算法设计 ................................. 30
4.2 电域池化层算法设计 ............................... 34
5 算法仿真实验和分析 ...................... 41
5.1 卷积神经网络算法设计及实验 ............................... 41
5.1.1算法模型训练平台及测试数据 ...
