清华微电子13年磨一剑终示人，造出首枚多模态AI芯片 独家专访
两年前，《麻省理工科技评论》曾经率先报道过一项来自清华大学微电子所 的智能芯片学术突破——思考者（Thinker）多模态神经网络计算芯片，称其为“至上突破”（a crowning achievement）。
如今，当年这项研究中的核心技术——可重构计算——已经走出实验室。
图｜Thinker 芯片（来源：清华）
以清华微电子所可重构计算团队为背景于 2018 年成立的新公司“清微智能”（清代表清华，微代表微电子），在不久前的阿里云栖平头哥生态论坛，发布其全球首款可重构多模态智能芯片“TX510”。
在眼下行业纷纷推出专用 AI 芯片的大潮中，这颗面向通用计算而问世的 AI 芯片，似乎是个异类。
未来 AI 会究竟走向通用计算还是专用计算？
在这个巨大悬念之上，可以看到的是，一众人马在不断地提升工艺，这自然能提升芯片性能，但随着摩尔定律逐渐趋缓，在后摩尔时代，底层架构创新也已呈现来势汹汹、异军突起之势。
“可重构计算”：清华团队13年的芯片底层架构创新
作为一种架构创新，可重构计算可根据算法和应用的不同灵活配置硬件资源，执行不同的任务，同时具备通用芯片的灵活性和专用集成电路的高效性。
就像是芯片领域的“变形金刚”：硬件跟着软件变，软硬件双编程，“兵来将挡，水来土掩”。
图｜云栖现场展示的 TX510（来源：清微智能）
随着云计算、大数据、物联网等技术的发展，需要芯片具有更强的算力；万物智能孕育了巨大的市场需求，但这个市场碎片化，需求具有多样性，这要求芯片更灵活，更高效，能够适应不同的应用场景，同时，在对功耗敏感的场景下，依然能够保持一个较高的算力，可重构计算被寄予厚望以满足这样的需求。
而这也正是可重构计算在国际上备受重视的原因：《国际半导体技术路线图》称可重构技术是最具前景的未来计算架构。美国国防部高级研究计划局从 2017 年开始，投入巨大精力支持“运行时快速重构”的硬件架构研究。
不过，美国比较成型的研究和产品开发大概在 2016 年左右出现。在可重构技术的研究上，中国并不是跟随者：可重构计算是一种全新的芯片架构技术，拥有完全中国自主知识产权。
领导清华可重构计算研究的清华大学微电子学研究所所长魏少军教授也曾公开表示，“可重构计算芯片技术是集成电路领域非常有希望的差异化技术，具有广泛适用性。”
乍看之下，可重构计算和当下的主流做法异构计算有些类似，异构计算同样会调用不同的计算单元去执行各单元擅长的任务。
但事实上，两者并不相同。清微智能首席科学家、清华大学微电子所副所长尹首一在接受 DeepTech 独家专访时解释道：“异构计算相对容易，因为 CPU、DSP 等都是现成的，将它们集成在一起即可。可重构计算是更底层的计算架构技术创新，本身具有挺高的技术含量和门槛。”
图｜清微智能首席科学家、清华大学微电子所副所长尹首一教授（来源：清微智能）
清华微电子团队从 2006 年开始研究可重构计算。在成立公司之前，团队总共在实验室内开发了共四颗芯片，并进行了技术验证。且自研究的初始，团队的目标就是朝向通用计算。
“可重构计算使得芯片有能力去做通用计算，诸如 DSP、FPGA 这种相对通用的处理任务，都能很好在重构计算上完成，从 2015 年开始，我们把这个技术应用到一些AI计算中，发现它也能发挥出很好的效果。可重构计算这个技术本身的特点验证了它能够处理通用计算”，他说。
2016 年，第一颗基于可重构计算的芯片在清华的实验室中诞生。
当时的成果也以论文的形式发表在行业的顶刊 IEEE Journal of Solid-State Circuits（《IEEE固态电路期刊》），也正是那时候，《麻省理工科技评论》英文版专门报道了那颗芯片。
“经过实验室的多次验证以后，我们基本上对技术已经非常自信了，花了一些时间继续打磨，并对商业以及落地的方向，整个技术与产品模式做了规划，差不多在 2017 年开始筹备公司，2018 年公司成立”，他说。
成立之后，清微智能于去年推出第一款产品语音芯片“TX210”，主要面向智能耳机。最新带来的 TX510，不仅支持视觉智能处理，也支持语音智能处理。典型功耗为 400mW，峰值算力达 1.2TOPS@INT8，支持混合精度计算和稀疏神经网络，AI 计算有效能效比达 5.6TOPS/W@INT8。
图｜可重构计算的特点（来源：清微智能）
“多模态”定义的未来计算任务
拆分最新问世的 TX510 芯片，除了核心的“可重构”之外，另一个重点在于“多模态”的计算。
多模态则是指，其面向的计算任务的类型的多样性，一方面包括深度学习神经网络的图像算法、语音算法，另一方面，除了 AI 算法之外，还可以执行经典算法诸如传统的视频信号处理算法等。
现场展示的一款智能门锁应用，就是一个需要这种能力的场景。当然，这种“多模态”的能力同样源于可重构计算这一底层的基础架构创新。不过尹首一认为，广义来看，凡是需要语音，或者更高精度身份识别的场景，都可以应用 TX510。
尹首一指出，未来 AI 应用发展走向多元化，带来的计算任务也将是多元的，一款芯片产品应该同时可以进行经典计算、AI 计算，在 AI 计算中也可以跑不同类型的算法，而回归到真正的计算任务角度， AI 计算本质上也需要很多不同类型的算法合作。
“以人脸识别为例，其中除了神经网络、深度学习的算法，还有很多图像处理的算法。图像要缩放、旋转、对齐，这些属于经典的信号处理。因此，从应用的角度来说，即使它是 AI 应用，也应当具备相对通用的计算能力，才能真正地完成任务，否则只是一个单纯的神经网络加速器，不足以支撑一个完整的应用”，他说。
图｜现场展示的人脸识别门锁应用（来源：DeepTech）
为了更好地面向未来的视觉场景，TX510 搭载了时下热门的 3D 结构光引擎，据介绍可支持单、双目 3D 结构光，3D 活体检测、红外活体检测、可见光活体检测等，可以抵御照片、视频等二维攻击，面具等三维攻击。误识率千万分之一的情况下识别率大于 90%，大大高于指纹误识率五万分之一的安全指标，响应时间不超过 30ms。
3D 视觉是目前计算机视觉的一个热门产业话题，同样是经过了非常多年的积累，早期主要用于运动捕捉，近几年得益于技术的成熟实现了主布的小型化，价值结构光传感器的发展，3D 视觉的应用开始得以小型化，能够被集成到诸如手机等小型设备上。基于 3D 结构光引擎可以实现深度视觉信息的处理，3D 人脸识别、工业场景中的空间建模，也将是这款芯片的应用场景。
“我们认为，将来所有用到视觉的地方可能都会是 3D 视觉，因为人的视觉本身是立体的，3D 信息背后还隐藏着很多信息，3D 智能视觉肯定是未来的必然趋势，只是现在还受限于一些应用场景或者产品开发问题”，他说。
但 TX510 的 3D 结构光引擎中，3D 视觉深度生成的相关算法并未采用一众视觉算法公司的解决方案，而是团队自研。
图｜TX510 芯片架构（来源：清微智能）
另外值得一提的是，TX510 集成了阿里平头哥的两款 IP Core，团队也已经在和定位“AIoT 基础设施提供商”的平头哥有着密切的合作，例如应用无剑平台进行芯片设计，可在使用现成的通用模块级基础上，团队更专注于把架构做好。
“从这角度来讲，我们会长期的和平头哥合作下去，这样我们互相之间的优势就能很好的能够结合起来”，尹首一说。
据悉，TX510 的第一批客户，将阿里生态圈中的合作伙伴。预计到明年，清微智能的语音芯片和可重构多模态芯片 TX510 的总出货量可能在 4000 万颗左右。
对于未来市场可能的不确定性，他认为，可重构计算作为一种新技术出现在市场中，如果真实表现出了非常优越的能效比算力，存在各方面的优势，相信市场会很快接受它，这将是一个不断普及的一个过程。
那么，可重构计算追求实现通用计算，是否有什么会被牺牲掉了？
尹首一认为，做到通用，未必一定会牺牲一些其他的长处：“就像每一代 CPU 的更新，比如英特尔 CPU 一直在不断地进步，它并没牺牲什么。对于这个芯片来讲也是一样，它本身底层的架构是一种创新。如果是 trade-off 思维，技术就不会有进步，因为总是会牺牲了一些东西。
只有技术没进步的时候，我们才会说总得牺牲点什么才能换点什么。如果技术真的进步了，就不需要牺牲，芯片能力才是真正的提升”。
芯片国产化的先驱者中星微电子，铸就“中国芯”二十载丨亿欧解案例
打破中国无“芯”的历史、抢占了全球PC图像输入领域60%以上，带着传奇色彩的中星微电子走过了20年的征程。在芯片国产化呼声渐高的背景下，中星微电子有将有哪些准备？
为此，12月28日由中国半导体行业协会主办、“星光中国芯工程”办公室与中星微电子集团联合协办的“星光中国芯”创新成果与展望报告会在北京人民大会堂举办。在会议期间，“星光中国芯工程”总指挥邓中翰院士作“星光中国芯工程”创新成果与展望工作报告并进行工作表彰。
芯片自主可控至关重要，中星微为解决“卡脖子”做了哪些工作？
1958年，美国人杰克·基尔比发明了集成电路的理论模型；1959年，英特尔公司创始人鲍勃·诺伊斯，就发明了一项名为掩膜版曝光刻蚀的技术。其实早在1956年，中国提出“向科学进军”，国家制订了发展科学的“十二年科学技术发展远景规划”。同一时期，国内外的研究团队开始着手布局半导体行业。
由于历史原因，中国的计算机技术和芯片的发展进程被拖慢。改革开放尤其在中国进入WTO以后，中国采用“市场换技术”的方式，引进芯片生产设备。当中美贸易战拉开帷幕以后，芯片的自主可控变得至关重要。
1999年，在周光召院士的热情倡导下，在国家工业和信息化部（原信息产业部）、财政部、科学技术部、发展改革委、北京市政府的直接领导下，在国家电子发展基金的资金支持下，邓中翰等一批海外爱国博士企业家响应号召，回国承担并启动实施“星光中国芯工程”，在北京中关村设立中星微电子公司，承建数字多媒体芯片技术国家重点实验室，致力于超大规模集成电路芯片的研发、设计及产业化工作。
2001年，中国第一颗百万门级超大规模数字多媒体芯片“星光一号”诞生。其后数年间，“星光多媒体”系列芯片被苹果、三星、飞利浦、惠普、LG、索尼、戴尔等国外知名品牌规模采用，占领了全球计算机图像输入芯片60%以上的市场份额，彻底结束了中国无“芯”的历史，极大增强了我国集成电路企业自主研发和争取市场成功的信心。
2005年，中星微电子率先在纳斯达克证券市场上市，成为我国芯片设计领域第一家在美国纳斯达克上市的公司，标志着“中国芯”获得全球认可。国家电子发展基金的1000万元原始投资也获得了二十二倍的回报，创造了良好的经济效益和社会效益，形成了国家工程、国家重点实验室、国家级高新技术企业互为支撑、高效运作的创新体系，形成了具有中国特色的“中星微模式”。
以数字多媒体芯片为突破口，彻底结束中国无“芯”的历史
值得一提的是，中星微电子在国产芯片的工作的确可圈可点。在政府的支持下，“星光中国芯工程”确立了以数字多媒体芯片为突破口、实现核心技术产业化、将具有自主知识产权的“中国芯”打入国际市场的战略目标。2001年3月11日，“星光一号”研发成功，宣布国内首枚具有自主知识产权的多媒体芯片诞生。
市场化的战略加之扎实的技术团队，使得中星微电子“星光”数字多媒体芯片成功打入国际市场，在PC和手机这两个多媒体芯片产品系列上全球销售量先后突破一亿枚，占领全球计算机图像输入芯片60%以上的市场份额，在国际上彻底结束了中国无“芯”的历史。在活动现场，邓中翰表示：“集成电路是电子信息产业的核心，集成电路产业是国家战略性基础性先导性产业，集成电路技术是一个国家科技水平和综合国力的重要标志。充分发挥新型举国体制的优势，瞄准国内外巨大的市场需求，大力促进集成电路芯片自主研发规模化应用，通过‘星光中国芯工程’解决核心芯片卡脖子问题，并以此作为体魄，是我国集成电路产业进入国际先进行列的一条路径。”
城市汇聚着全球最多的资源、最多的人口以及大量的创新力，目前世界各国都在积极探索智慧城市的建设路径的底层技术，而中国是全球人口最多的国家，中国的城镇化需求在全球有着典型代表意义。于是，如何更好地实现智慧城市便成为“星光中国芯工程”新的目标。
近年来，“星光中国芯工程”针对国家重大战略需求，在公安部、工信部、国标委组成SVAC国家标准推进领导小组的直接领导下，与公安部第一研究所作为联合组长单位共同牵头制定并推广了两代公共安全SVAC国家标准。SVAC国家标准大量采用新一代人工智能技术以及大数据、云计算、物联网等新技术，基于自主开发的、安全可控的芯片、算法、设备和软件，其技术总体处于世界“领跑”水平，我国也成为世界上第一个在公共安全视频信息安全领域出台技术标准的国家。公共安全SVAC国家标准在国家天网工程、雪亮工程、智能交通、数字边防、平安城市、智慧城市等重大项目建设中发挥了关键作用。
换道超车，AI芯片机遇不容错失
市场的先发优势加之技术的日渐成熟与革新，中星微在安防领域逐渐深入布局。恰逢此时人工智能时代来临，图像辨识的工作也逐渐转向深度算法上。于是，中星微于2016年推出了“星光智能一号”，“基于数据驱动并行计算架构的卷积神经网络处理器技术”“嵌入式深度学习机器视觉SoC技术”等核心技术，率先实现了SVAC国标技术成果的产业化，构建起了从芯片、软件、终端设备到系统平台的整体解决方案，开启了安防监控智能化的新时代。
近些年来，随着摩尔定律逼近物理极限，业界对于集成电路产业未来发展之路的讨论十分热烈。邓中翰院士认为：“在物理层面智能芯片的发展已经受到了物理规律的限制，看似已经接近了极限的时候，在信息层面的技术创新还远远没有碰到天花板。”
近年来，“星光中国芯工程”探索了集成电路设计技术深层次发展路径，提出了 “智能摩尔之路”。智能摩尔之路就是跳出二维，走向三维，从物理层面延伸到信号层面，借鉴人脑的机制，通过算法的升级以及芯片架构的更新，形成更加智能的计算，从而达到进一步提升信息处理能力，达到最优的性能/功耗比。
摩尔定律即将触达顶峰，芯片在提高性能的同时，更加专注于针对应用场景进行优化。如今，AI芯片的应用场景更多集中在智能手机、安防摄像头、自动驾驶等终端的产品上，这三大场景所占的市场份额分别是35%、40%和11%。
据Gartner，Tokyo Electron的数据显示，2019年，AI芯片的市场规模为63.07亿美金，按照40%的占比推算，芯片在安防领域的市场规模可以达到约25.228亿美金。中星微选择安防于人工智能这两条赛道的正确性也在时间长河中不断被验证，其产品也在不断经受市场的考验。
第二个十年，中星微抓住了人工智能的机遇。不过，随着人工智能落地速度加快，芯片的需求量将会不断攀升，市场竞争也会愈加激烈，中星微也将面临更多考验。
未来十年，“星光中国芯工程”计划投资100亿元，用于芯片技术研发、标准研究制定、系统应用开发、以及大规模产业化，并基于XPS数字像素智能传感技术和XPU多核异构智能处理器芯片技术，协同研究小样本机器学习技术、深空探测感知系统技术、基于视觉关注的多模信息实时处理技术等八大关键核心技术，服务更多国家战略需求。
相关问答
华润 微电子 可以生产什么 芯片 ?华润微电子公司目前主营业务可分为两大业务板块:产品与方案(IDM模式,聚焦于功率半导体、智能传感器与智能控制领域)、制造与服务(代工模式,晶圆制造、封装...
上海 微电子 制造出 芯片 了吗?是的,上海微电子已经制造出芯片。上海微电子是中国领先的半导体公司之一,其生产的芯片涵盖了广泛的应用领域,包括物联网、汽车、工业、通信、消费电子等。上海...
上海 微电子 能在2025年前攻克7nm光刻机吗?我们国人还有问能不能在2025年前攻克5纳米光刻机的呢,是不是与中国芯片自给率到2025年达到70%的要求有关?肯定与心里格外焦急有关,更有关,急不可待似的!是...
【阅读下面的文字，完成文后各题。硅片上创造的奇迹— 微电子 ...[最佳回答]1.一是电子设备和系统微型化了,二是使传统元器件由单个变成整个系统。关键是将组成电路的元器件和连线做在一块硅片上。2.①晶体管的出现揭开了微...
中科院研究所哪个擅长 芯片 研究?靠,肯定是微电子所啊科研团队也很强,研究所共有各类职工500余名,其中中国科学院、工程院院士共5名,正高级专业技术人员70名,国家杰出青年科学基金获得者5人,美国...
微电子 与集成电路的区别，那一个专业好就业?微电子和集成电路共同属于微电子学系下的专业,很多课程是相同的。但是在最后的划分,集成电路更偏向设计类,数字模拟系统,但是微电子有点偏制造和底层,常见的...
东南大学(中国) 微电子 学院怎么样?设有哪些专业? 申请方[回答]~接下来我为大家简单介绍一下我们东南大学(中国)的微电子学院开设的专业以及研究情况学院简介:东南大学集成电路学院成立于2003年12月,承担国家集成...
基因 芯片 的 应用 ?基因芯片利用微电子、微机械、生物化学、分子生物学、新型材料、计算机和统计学等多学科的先进技术,实现了在生命科学研究中样品处理、检测和分析过程的连续化...
上海 微电子 的90纳米光刻机已经通过了验收，现在在哪个公司有实际 应用 ?并没有所谓的90纳米光刻机一说。包括什么28纳米光刻机。90纳米,28纳米是指芯片的加工工艺制程,并不是光刻机参数。现在能生产先进制程芯片的主要是DUV和EUV浸...
微电子 与集成电路哪个方向比较好?两个方向都不错首先,二者没有本质的差别,微电子涵盖集成电路方向,选哪个可以根据自己的兴趣,无须纠结;其次,从未来学科与技术发展趋势来看,综合性专业人...