(相關(guān)資料圖)
清華大學(xué)電子工程系日前與字節(jié)跳動(dòng)的火山語(yǔ)音團(tuán)隊(duì)攜手合作,推出一款開源大語(yǔ)言模型 SALMONN。SALMONN 模型支持語(yǔ)音、音頻以及音樂輸入,它可以感知和理解不同類型的音頻內(nèi)容輸入,并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。
官方表示,SALMONN 支持語(yǔ)音、音頻以及音樂輸入,可以感知和理解不同類型的音頻內(nèi)容輸入,并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。
目前 SALMONN 能夠勝任英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到中文的語(yǔ)音翻譯、情感識(shí)別、音頻字幕生成、音樂描述等重要的語(yǔ)音和音頻任務(wù),同時(shí)又涌現(xiàn)出多種在模型訓(xùn)練中沒有專門學(xué)習(xí)過的多語(yǔ)言和跨模態(tài)能力,涵蓋非英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到(中文以外)其他語(yǔ)言的語(yǔ)音翻譯、對(duì)語(yǔ)音內(nèi)容的摘要和關(guān)鍵詞提取、基于音頻的故事生成、音頻問答、語(yǔ)音和音頻聯(lián)合推理等任務(wù)。
目前該模型已經(jīng)發(fā)布于 GitHub 中。
關(guān)鍵詞:
福建省首個(gè)公用型原油保稅倉(cāng)庫(kù)在泉州斗尾港區(qū)啟用 記者從泉州海關(guān)獲悉,8月22日,在泉州斗尾港區(qū)中化青蘭山10 泊位,經(jīng)泉
車展陣容曝光 MG Cyberster將首次亮相 [愛卡汽車?國(guó)內(nèi)新車?原創(chuàng)] MG官方正式公布了成都車展參展陣容,傳
我國(guó)首個(gè)獨(dú)立知識(shí)產(chǎn)權(quán)的大連達(dá)思科航運(yùn)指數(shù)發(fā)布 8月18日,大連東北亞國(guó)際航運(yùn)中心和國(guó)際物流中心建設(shè)10周年高端論壇,
再下一城!中國(guó)U18男籃71分大勝中國(guó)澳門 明天下午17:00,中國(guó)U18男籃將迎戰(zhàn)中國(guó)香港隊(duì),球迷朋友可以登錄企鵝
李易峰回國(guó)后顯窘狀!獨(dú)自窮游頂烈日排隊(duì)買票,幫老人抬繩有善心 近日,消失將近一年的李易峰罕見現(xiàn)身成都機(jī)場(chǎng),還有很多粉絲去接機(jī),場(chǎng)
非對(duì)稱“降息”!8月LPR報(bào)價(jià)出爐:1年期降10BP,5年期按兵不動(dòng) 非對(duì)稱“降息”!8月LPR報(bào)價(jià)出爐:1年期降10BP,5年期按兵不動(dòng),降息,央
清華聯(lián)合字節(jié),開源聽覺大語(yǔ)言模型SALMONN 清華大學(xué)電子工程系日前與字節(jié)跳動(dòng)的火山語(yǔ)音團(tuán)隊(duì)攜手合作,推出一款開