诺磊科技Raymond Wu：解决AI应用落地，“小”芯片也能办大事情丨GACS 2023

2023-10-30 04:10

深度解密感算一体AI光谱分析芯片阵列，高算力非唯一解。

编辑 | GACS

9月14日-15日，2023全球AI芯片峰会（GACS 2023）在深圳市南山区圆满举行。在第二日的高能效AI芯片专场中，诺磊科技创始人、CEO Raymond Wu分享了主题为《感算一体AI光谱分析芯片阵列技术解析》的主题演讲。

诺磊科技推出的集成CIS+AI+MCU光谱识别功能的感算一体AI光谱分析芯片阵列技术“Eye with Brain”，能做到“1个眼睛照顾8个大脑”，还能实现对多频段光谱的检测与分析。有别于AI业界的传统算法，诺磊科技的产品配合高度集成机器影像辨识传感器，能独立运行实现影像侦测、追踪及识别。

诺磊科技创始人、CEO Raymond Wu谈道，诺磊科技在首款110nm工艺量产芯片NB1001上，结合WLO（晶圆级光学）技术，将光学元件集成到半导体晶圆上，设计为类似于麦克风阵列的光谱检测阵列。

Raymond Wu还提到曾经一枝独秀的影像解决方案CCD由于系统体积大、成本高、功耗大、落地难逐渐被CIS（CMOS图像传感器）取代。这与当下AI应用有相似性，他认为高算力并不是能百分之百解决所有AI应用的手段，AI应用的算力需求取决于具体应用的场景，单一化应用没有必要做复杂的AI芯片。

以下为Raymond Wu的演讲实录：

大家好！大家可以叫我Raymond，今天我要讲的不单是一个产品，我要讲的是一个市场应用的未来方向，大概至少要三四十年，这个方向都不会变。

我不知道大家有没有用过CIS，我是OmniVision（美国豪威科技）的联合创始人，所以OmniVision的名字是我取的，在1995年。

01.

大算力非唯一解，

“小芯片”也能加速AI应用落地

我今天讲的是方向，大家都在往这个方向走，不单是说哪一个人的产品特别，跟别人不一样，我相信大家几乎都一样。用豪威科技的CIS来说，我1995年的时候做出了CIS，大家可以看，1995年到2023年，二十几年了，CIS还是没有被替换掉，各位手机上假如没有CIS，手机就没有摄像头，摄像头完全依赖于CIS。

为什么讲到CIS？我先讲一下历史，CIS是一个方向，在1995年的时候市场上只有一种解决方案，叫CCD，CCD在市场上活了快二十年，一直到1995年慢慢被CIS替换了。

为什么会被替换？几个大问题：一是系统体积很大，二是成本高，三是功耗很大，四是落地很难。所以要把CCD的解决方案做好，全世界真的没有多少人会做，所以说CCD一直在世界上占着不可或缺的地位。

一直到了1995年，CIS出来了，CIS就把这四个最大的问题：体积、成本、功耗、落地一次全解决了。当然你可以说，1996年就有奇迹出现了吗？其实不是，CIS替代CCD大概花了15年的时间，差不多到了2005年左右，CCD慢慢就消失了，取代的全是CIS。

我今天讲的是边缘计算，我相信大家一定都知道AI应用，我们现在很多的AI应用，人工智能的应用，你会发现跟CCD有同样的问题：功耗大、体积大、又贵、落地难，这些问题跟CCD是一样的，只是CCD是1995年发生的，人工智能的应用是我们现在看到的。

我要讲的就是，我们现在一直追求高算力，为什么一定要追求高算力呢？高算力越走越高，那应用场景是不是越来越小了。所以高算力并不是一个百分之百解决所有应用的唯一手段。

我认为，人工智能应用的存在绝对不是靠算力，人工智能的应用完全取决于应用。比如我今天走进门的时候，门要自己开，门开了以后门关起来了，就这么简单，我需要20T的算力吗？当然不用，需要多少T？像这种简单的应用，大概0.1T、0.2T就做完了。所以这些算力取决于你的应用，应用很单一化的话，真的没有必要去做这么复杂的芯片，简单的就可以了。

我先讲一下功能，我相信在座的大家都是做IC（集成电路）的，第一行110nm工艺，现在大家讲的最小也要到22纳米，或者10纳米，甚至到7纳米，目的是在追求算力。

我今天要讲的是，我这110nm的只有0.3T的，我能做什么，大家有空可以到外面看一下，我们有一些方案，就是用单一芯片就可以达到人眼的追踪、手势识别，我们都可以做到。

我们的解析度现在是320×320 CIS，像素尺寸是3um×3um，Always on工作模式功耗300mW，内存288K SRAM，就跟刚才存算一体的有很大的差别，里面除了这288K以外，我们在外面是没有任何芯片的，就是单一芯片。我也不要说把所有东西存在内存，所有的一颗芯片全搞定。

这是两个完全不同的方向，一个追求高算力，另一个是怎么集成，以诺磊首款量产芯片NB1001为例，这个芯片连镜头都做在里面了，所以只需要在PCB上面打件，就可以做人脸（识别）。外面有展示，你们可以看。

我想说的是有很多解决方案，高算力是一种解决方案，低算力在应用上假如对的话，也是一个很好的解决方案。

我们公司做的就是把信息输入眼睛里，因为我们的眼睛已经放在IC里面了，所以眼睛可以看到所有的东西，然后眼睛看到的东西传到IC里面来，大脑也在里面，记忆也在里面，所有的判断也在里面，算法也在里面，最后就是输出一个结果，比如说做剪刀石头布，它就直接跟你说剪刀石头布，外面什么都不要。所以这个做法跟想法，和现在高算法的AI SoC有很大的不同。

（见PPT）右边上面这个是我们这颗IC的做法，第一个，图像处理，因为只有288k，所以单次仅读取4列，这288K里面还含着所有的固件、软件，所有的都直接灌到这288k里面。

其中144k是里面的Operation用的。它的开发时间很短，功耗当然很低，需求量就会做得很大，因为它是最基础的IoT的解决方案。现在想到的，不想做的重复的动作，几乎这颗芯片都帮你做掉了。

那这跟高算力有很大不一样，高算力第一个问题就是有隐私的问题，我们因为没有存整幅的影像，隐私度非常高。另外芯片外面没有内存，开发成本也更低。

我们公司因为是卖IC的，所以我们把我们的SDK完全公布出来了，不管任何一个人想要研发任何一个应用，想要用我们的芯片，可以来我们公司，我们会给你们一个SDK，不收钱，也会教你怎么用，目的就是我们是卖IC的。

02.

解密AI光谱分析芯片阵列，

鉴定黄金和猪肉其实是“一回事”

我刚才讲的是很简单的，接下来讲的更专业。因为（芯片）面积很小，我可以做出一个阵列，就跟麦克风阵列一样的，我们这个是光的阵列，这个在外面也有展示，大家等下可以去看，因为这是一个非常新的想法。

这个芯片有一个优点，它是WLO（Wafer Level Optic），怎么做呢？大家知道我们的IC都是一片一片的，现在就是把一片8寸的镜片直接叠在晶圆上，连续两片，就相当于两片重叠，然后胶水一浇，一切，切完就是大家手上看到的东西。

所以它的生产变得非常快，而且非常准，它不用再调焦了，因为上面有眼睛，可是需要镜头，镜头需要调焦，用这种做法都不需要调焦了，只要拿来以后，SMT打在板上就可以用了，连镜头都含在里面了。这是一个预估，这是一个最快最好最准的解决方案。

这个是黑白的，大家不要把它当作高解析度的照相，它是一个机器识别，一般来说机器识别的解析度并没有必要到4000万象素或者1000万象素，320×320就已经解决了60%、70%的IoT应用。

大家可以看一下，人眼可以做的，我们这个IC都可以做得到。所以最下面这一行，它就是人眼的延伸，所以它能够做GIGI，GIGI的意思就是能够做引导、检查、测量、识别，这四样东西完全在一个里面就可以做到。

我们公司把它取了一个名字，叫Eye with Brain，我们现在人类是眼睛跟大脑分开，所以一个大脑要照顾两个眼睛，英伟达的芯片是一个大脑要照顾8个眼睛，我们是一个眼睛一个大脑，要是有两个眼睛就有两个大脑，四个眼睛就是四个大脑，完全平行处理，每个眼睛可以定义它，让它做不同的事情，所以四个眼睛可以同时做四个不同的事情。

每个眼睛有它自己的大脑，它不需要3T、5T，每个眼睛可能1T就够了。需要五个眼睛就用5T，要是需要10个眼睛就用10T，它是分布式的，所以每个眼睛就是1T。

这个影像阵列必须经由刚才的一颗一颗的小芯片来实现。我们现在做的是2×3，就是6颗。我凭什么可以做到6颗，第一个是我们单颗IC，在自然风室温下的IC温度只有40度，因为它0.3W的关系，所以它的整颗IC温度只有40度。也因为这样，我才有办法做成2×3，因为它不会很热，所以加起来的温度散热仍然可以达到40度的平均温度。

2×3的并行能力、运算能力，现在不是单一芯片的高算力了，而是现在有6颗一般算力的加在一起用，所以它可以做海量的图像数据的并行处理。第二，它的扩展性很高，采用模块式的设计。

诺磊NB100X系列中的2x3阵列有6颗（小芯片），大家看到为什么18mm，因为一颗是6mm，3颗就是18mm，它的宽度是4mm，所以两颗就是8mm，所以这边有6颗，所以六个大脑六个眼睛放在一起。假如说其中一颗坏了，另外一颗可以取代，所以说不用怕坏了以后整个系统就坏了。

功耗也可控，为什么？因为这六颗可以随时关掉一颗两颗，用的时候再开，所以非常好控制。

热管理对我们来说非常容易，我们的应用绝对不需要风扇或者水冷，就是一般的温度就可以了。结构很规整，大家看得到，这个是在wafer上面的，它不是在PCV板上焊在一起的，是wafer上就连在一起的。

可以看一下2×2阵列，所以我们测试也很快，这四颗在一个测试板上就可以测试完了。设计也可以重复利用。

这是3×3的阵列也一样，因为我们是在晶圆上，所以它的平整度非常高，晶圆平整度绝对是世界上最高的。而且它的间距绝对不会变，它的间距一致性比在PCB板上的一致性好。

还有4×1的阵列，制造简单，材料利用效率高，这方面都实现了。这也是一些它的优点：封装、良率可以提高。

我现在讲一下结论：上面的是单颗芯片的IC，下面是经过IC，经过WLO，组成3×2的产品，所以下面这个有六个大脑、六个眼睛，上面这个是一个大脑、一个眼睛。

刚才讲的是小的应用，我现在讲一下另外一个应用，这跟刚才那个还不一样，因为我们的IC里面有AI，所以可以在IC上面加上光谱，就可以接受很特定的光谱。

比如今天要看看黄金买的是真假，那可以用这颗IC，上面有定义好的专门检测黄金真假的光谱，一照这个IC就会跟你讲，你今天买的黄金是真是假。或者你买到的玉是玻璃还是石头，都可以从光谱里面直接抓出来。

甚至以后买的肉是好是坏，多久了，坏了没有，都可以经过光谱议测试出来。但是有一个差别，这个光谱议可以像一根手电筒一样照它，跟你说玉是好还是坏，黄金是真是假，都可以做出来，因为每一个都有它特定的光谱，所以只要把这个东西放在IC上的话，就可以测出来特定光谱在特定应用的真实性。

（见PPT）除了这个，我还可以做成光谱的矩阵。人是两个眼睛的，所以可以看到立体，四个眼睛看的立体更强烈，这是用在光谱上，所以说这一个里面可以做不同镜头的角度；第二可以做不同的光谱；第三可以把它当成很多应用来用。应用就很多了，可以做医疗健康、环保、自然生态等。

这里讲的是spectrum（光谱）可以用在哪里，可以用在调光、摄像头图像增强、增强现实等方面，刚才单颗的就是放在VR里面，等一下给大家放一个视频。这个就是我们实际上放在眼镜里面，追踪你眼球的移动。这是眨眼，再看另外一边。不管眼球转多快，都会跟得上。这里面没有什么所谓的高算力，对IC来说是很简单的事。

不知道大家有没有什么问题，没有问题的话我在后面有一个展台，欢迎大家过来看，不能说黑科技，都是很普通的东西，只是大家没有讲过而已。谢谢大家！

以上是Raymond Wu演讲内容的完整整理。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章