闵笑笑来自奥菲寺。
量子比特|微信官方账号QbitAI
不知道大家有没有这样的感觉，芯片的性能要遇到瓶颈了。
就光学芯片的工艺而言，从7nm到5nm再到3nm，越来越接近摩尔极限。
于是，很多厂商开始尝试用AI来为芯片性能提供灵感。从神经拟态到AI设计芯片,各种技术路线都被尝试过。
在这种情况下，哪些新的AI技术最有可能应用于下一代芯片？
就此，我们采访了高通工程技术副总裁侯纪磊,
侯磊博士毕业于加州大学圣地亚哥分校，并为高通工作了19年。现任高通人工智能研究项目负责人，负责高通人工智能研究的技术创新规划。
在采访中，侯博士从基础、平台、应用三个研究方向分享了人工智能研究的部分技术成果。
其中，首创主要专注于前沿和基础的人工智能技术，如神经压缩和人工智能量子计算。
基础研究主要从平台能力和创新的角度推动AI技术的发展，提高能效，进行端到端的学习，如量化技术和联邦学习；
包括平台研究移动视频AI技术和3D AI技术等。涵盖智能手机、XR、自动驾驶等行业的技术研究。
同时，侯博士还分享了很多“AI登陆狂”的秘密，将AI技术快速应用到芯片上。让我们看一看。
芯片制造商悄悄地开发这些新的人工智能。虽然高通最知名的人工智能技术是量化，但我们必须从高通人工智能研究的顶级论文中了解最新技术。
从论文来看，高通相对专注的人工智能基础技术可能在以下四个方向：应用研究,神经增强,弱监督学习和神经推理.
让我们来看看量子AI科技。目前，高通已将其用于无线通信。
平时处理无线通信信号主要有两种方式，一种是用传统滤波器算出一套公式，另一种是用AI直接训练预测结果。前者准确率低，后者训练数据太多。
高通选择将两者结合，在保留传统滤镜的基础上，让AI学会自己调整参数。
没错，就是教神经增强熟练应用和掌握那些看似晦涩难懂的公式，类似于应用卡尔曼滤波器的场景，让AI学会调整QR参数。
或者以麦克斯韦方程为例，高通选择保持y=x*H模型的线性，同时用AI学习H的分布：
如果类似的技术可以用在手机无线通信的基带，信号可能会进一步增强。
但是，神经增强只是高通神经推理研究的一部分。如果AI真的兼具逻辑思维和抽象能力，那离芯片性能的突破就不远了。
在AI自己当调参侠,这个方向一直是解决长尾问题的大趋势之一，也是AI技术落地的新场景。
就像“让AI自己学习”一样，该技术旨在避免数据标注错误导致的AI精度下降，降低标注成本等。从而用少量的标记数据达到接近甚至超过监督学习的精度效果。
侯博士介绍了和去年做的一个演示，用弱标记法训练了一个相对精度较高的定位模型。
最令人惊讶的是，这种定位模型通过弱监督学习,而不是通过视觉手段学习定位，采用弱监督和自我监督的学习方法。
定位室内场景所需的信号数据标记很复杂。通过射频感知使用弱监督学习，可以有效节约成本，提高效率。
好了，现在老板只需要知道你在哪个办公室钓鱼，通过无线信号和同事聊天(手动狗头)。
让我们再来看看射频信号。
（Neural Reasoning）技术。事实上，这里的推理并不是指单纯的模式识别，而更像是教AI学会“逻辑推断”，概念上和Yoshua Bengio之前提到的system2（逻辑分析系统）有些相似。
那么，神经推理和芯片有什么关系，可以应用在哪些方向，高通又进展到哪一步了？
据侯博士介绍，神经推理是一种将符号推理和神经网络优势结合起来的思路，让模型兼具并行性和串行性，而这个思路对于计算硬件而言同样具有借鉴性，目前高通已经利用自回归语言模型做出了一些首创成果。
最后来看看量子AI技术。
目前高通主要有进行两个方面的研究，一个是基于AI加速构建量子计算机，另一个是让AI更快在量子计算机上运行的新方法。
其中，基于AI加速构建量子计算，主要研究方向在群等变卷积神经网络上。
研究人员通过引进群等变卷积神经网络，提出了一种新的解码方式，比传统解码器运行效率更高、性能也更好。
而高通登上ICML 2021的一项新研究，还提出了一种基于量子场论，在光学量子计算中运行神经网络的新思路。
如果未来真的能用量子计算运行AI，那大模型快速运算也不是梦了。
所以问题来了，高通正在进行的这些基础研究，究竟有没有落地的可能？
距离我们用上还有多久？技术之终极意义，还是要看向应用。
实际上，高通AI研究关注前沿科技背后，更加重视的是这些技术具体如何落地。
例如在早些年AI领域还在关注图像处理的时候，高通就已经在布局视频AI技术的落地了，并产生了不少相应的首创成果。
包括在移动端将视频超分到4K 100+FPS，就是高通率先实现的。
那么在这个过程中，高通是如何实现将AI论文落地到芯片应用中的呢？
这就得说回高通AI研究的三大布局：
基础研究，涉及量子AI、强化学习、群等变卷积神经网络等，着眼于遥远的未来，通常更具有基础性。平台研究，包括软硬件协同设计、AI模型效率工具包以及模型量化、压缩和神经架构搜索等，来实现最佳的能效、性能和时延。应用研究，是指利用AI基础研究和平台研究的成果在某些特定用例中，包含视频识别与预测、指纹图谱、图形深度学习、视觉质量提升等。
一方面，高通一直以平台研究技术带动应用研究的落地。
以模型量化为例。
这是高通AI研究这几年钻研的核心技术之一，目的就是给AI模型做个“瘦身”。
在实际应用场景中，由于电量、算力、内存和散热能力受限，手机使用的AI模型和PC上的AI模型有很大不同。
在PC上，GPU动辄上百瓦功率，AI模型的计算可以使用16或32位浮点数（FP16、FP32）。而手机SoC只有几瓦功率，也难存储大体积AI模型。
这时候就需要将FP32模型缩小成8位整数（INT8）乃至4位整数（INT4），同时确保模型精度不能有太大损失。
以AI抠图模型为例，我们以电脑处理器的算力，通常能实现十分精准的AI抠图，但相比之下，如果要用手机实现“差不多效果”的AI抠图，就得用到模型量化的方法。
值得一提的是，基于模型量化快速部署，高通在2020年开源的AI模型增效工具包（AIMET）。
这其中包含了同年以及上年被ICML、ICCV收录的技术方法。
量化的结果之一就是，更多应用方向的AI模型被“压缩”并优化，然后加速部署到芯片中。
比如视频语义分割上，首次在移动端上以FHD分辨率实现实时街景；神经视频压缩方面，首次在移动端实现了实时高清解码……
从这些行业首次落地的成果中可以直观感受到，高通AI研究在结合前沿学术、应用需求上的考量。
侯纪磊博士在采访中表示，高通的AI技术从最初发现到形成开源或商业化生态，只需要2-3年时间。
另一方面，从应用和平台需求上反过来push基础研究技术的进展，催生出更多交叉领域。
比如联邦学习、图像预内核优化，就是基础与平台研究相交叉产生的领域；音视频压缩、面向无线领域和射频感知的AI等，则是基础和应用研究相结合的体现。
也就是说，高通在基础、平台、应用三方面上的研究，完整地将AI技术落地所需的算法模型、数据、软硬件、应用场景几大要素囊括其中，以支持边缘AI，走的是全栈AI研究的路线，并首次在移动终端上演示了概念验证。
以此，高通希望能通过研究“可以应用并落地的AI”，快速推动技术落地的进程。
侯博士表示，其实高通本身在平台和应用上投入比重就会更大，此外在基础研发过程中，产品团队还会深度参与，方便技术人员更加了解应用需求。从AI研究到落地往往非常复杂，需要考虑更多现实世界中的问题（如长尾场景等）。
高通AI研究的目的不仅在于技术创新，也是实际场景应用中的创新。
目前，高通光是实现落地的AI首创研究成果，就有这么多：
由此可见，高通AI研究在首创技术之外，更致力于将这些成果成功运行到终端上。
例如前段时间发布的骁龙X70，就是经过这样的历程问世的。作为全球首款引入AI处理器的5G调制解调器及射频系统系统，骁龙X70预计后续会集成到骁龙年度的8系旗舰平台上。
猜猜，下一代5G手机的信号、图像、音视频处理等技术会不会更强？
你最期待哪些顶会AI技术应用到手机上呢？
参考链接：
<1>https://www.youtube.com/watch?v=Tavl2nWHKU8&t=938s
<2>https://www.qualcomm.com/research/artificial-intelligence/ai-research
― 完 ―
量子位 QbitAI 头条号签约
关注我们，第一时间获知前沿科技动态
