|簡體中文

比思論壇

 找回密碼
 按這成為會員
搜索



查看: 284|回復: 0
打印 上一主題 下一主題

中科院取得多模态神经感知研究进展,有助研发高智能机器人

[複製鏈接]

5229

主題

1

好友

1萬

積分

教授

Rank: 8Rank: 8

  • TA的每日心情

    2024-4-17 22:16
  • 簽到天數: 247 天

    [LV.8]以壇為家I

    推廣值
    0
    貢獻值
    1
    金錢
    7461
    威望
    15989
    主題
    5229
    跳轉到指定樓層
    樓主
    發表於 2022-6-10 22:36:58 |只看該作者 |倒序瀏覽

    躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性,并对物体的状态做出准确判断。尤其是不同受体的感觉信号在一定的条件下还可被神经元整合并发送到大脑皮层作进一步处理(图1a)。与单模态感知相比,多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中,多模态信息的处理多采用串行计算架构,传感信号需转换为数字模式才能被处理器处理,产生了较大的功耗和通信带宽开销。此外,传统半导体技术在脉冲域构建这种多模态感知系统还面临着器件集成和电路复杂性方面的挑战,迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点,显示出克服传统困境的巨大潜力。

    近日,微电子所刘明院士团队和复旦大学刘琦教授团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,该阵列由异质集成的压力传感器和NbOx忆阻器构成(图1b),其中压力传感器用来感知压力,NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时,多模态的模拟感觉信息可以融合为一个脉冲序列,显示出优异的数据压缩和脉冲转换能力。此外,通过解耦输出脉冲的频率和振幅,还可从融合信号中获得独立的压力和温度信息,支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络(SNN)结合构建了一种人工多模态感知系统,成功地模拟了人体躯体感觉系统中的多模态信息(温度和压力)感知和多模态物体(不同温度、重量和形状的物体)的分类能力。该工作使构建高效的多模态脉冲感知系统成为可能,为发展高智能机器人技术提供了新思路。

    该工作得到了国家重点研发计划、国家自然科学基金委、国家重大科技专项、中国博士后科学基金等项目的资助。成果以题“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”发表在国际知名学术期刊《Advanced Materials》上。微电子所博士研究生朱佳雪为本文的第一作者,复旦大学芯片与系统前沿技术研究院刘琦教授和博士后张续猛为共同通讯作者。


    您需要登錄後才可以回帖 登錄 | 按這成為會員

    重要聲明:本論壇是以即時上載留言的方式運作,比思論壇對所有留言的真實性、完整性及立場等,不負任何法律責任。而一切留言之言論只代表留言者個人意見,並非本網站之立場,讀者及用戶不應信賴內容,並應自行判斷內容之真實性。於有關情形下,讀者及用戶應尋求專業意見(如涉及醫療、法律或投資等問題)。 由於本論壇受到「即時上載留言」運作方式所規限,故不能完全監察所有留言,若讀者及用戶發現有留言出現問題,請聯絡我們比思論壇有權刪除任何留言及拒絕任何人士上載留言 (刪除前或不會作事先警告及通知 ),同時亦有不刪除留言的權利,如有任何爭議,管理員擁有最終的詮釋權。用戶切勿撰寫粗言穢語、誹謗、渲染色情暴力或人身攻擊的言論,敬請自律。本網站保留一切法律權利。

    手機版| 廣告聯繫

    GMT+8, 2024-12-5 20:57 , Processed in 1.029265 second(s), 25 queries , Gzip On.

    Powered by Discuz! X2.5

    © 2001-2012 Comsenz Inc.

    回頂部