應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

實(shí)時(shí)感知!英偉達(dá)新VLM研究出爐 - 涉及機(jī)器人,結(jié)合激光雷達(dá)和視覺(jué)圖像

2024-12-12 16:35 芯傳感
關(guān)鍵詞:激光雷達(dá)

導(dǎo)讀:日前,加州大學(xué)研究人員和英偉達(dá)共同發(fā)布了新的視覺(jué)語(yǔ)言模型“NaVILA”。亮點(diǎn)在于,NaVILA模型為機(jī)器人導(dǎo)航提供了一種新方案。

日前,加州大學(xué)研究人員和英偉達(dá)共同發(fā)布了新的視覺(jué)語(yǔ)言模型“NaVILA”。

亮點(diǎn)在于,NaVILA模型為機(jī)器人導(dǎo)航提供了一種新方案。

無(wú)地圖可實(shí)時(shí)感知

視覺(jué)語(yǔ)言模型(VLM)是一種具備多模態(tài)生成能力的AI模型,它能夠?qū)ξ谋?、圖像以及視頻等多種提示進(jìn)行智能推理。通過(guò)將大型語(yǔ)言模型(LLM)與視覺(jué)編碼器進(jìn)行有機(jī)結(jié)合,VLM賦予了LLM“視覺(jué)感知”的能力。

以往,機(jī)器人在行動(dòng)時(shí)通常需要依賴預(yù)先繪制的地圖以及復(fù)雜的傳感器系統(tǒng)。而NaVILA模型不需要預(yù)先的地圖,機(jī)器人只需“聽(tīng)懂”人類的自然語(yǔ)言指令,結(jié)合實(shí)時(shí)的視覺(jué)圖像和激光雷達(dá)信息,實(shí)時(shí)感知環(huán)境中的路徑、障礙物和動(dòng)態(tài)目標(biāo),就可以自主導(dǎo)航到指定位置。

不僅擺脫了對(duì)地圖的依賴,NaVILA還進(jìn)一步將導(dǎo)航技術(shù)從輪式擴(kuò)展到了足式機(jī)器人,希望讓機(jī)器人應(yīng)付更多復(fù)雜場(chǎng)景,使其具備跨越障礙和自適應(yīng)路徑規(guī)劃的能力。

微信截圖_20241212160134.png

在相關(guān)論文中,加州大學(xué)的研究人員采用了宇樹(shù)的Go2機(jī)器狗和G1人形機(jī)器人進(jìn)行了實(shí)際測(cè)試。根據(jù)團(tuán)隊(duì)的實(shí)測(cè)數(shù)據(jù),在家庭、戶外以及工作區(qū)等真實(shí)環(huán)境中,NaVILA的導(dǎo)航成功率高達(dá)88%,而在復(fù)雜任務(wù)中的成功率也達(dá)到了75%。

圖解機(jī)器人分類


11.jpg


來(lái)源:同花順

“機(jī)器人+行業(yè)應(yīng)用”場(chǎng)景不斷深化

在應(yīng)用上,“機(jī)器人+行業(yè)應(yīng)用”的場(chǎng)景不斷深化,已覆蓋65個(gè)行業(yè)大類、206個(gè)行業(yè)中類,制造業(yè)機(jī)器人密度已達(dá)到每萬(wàn)名工人392臺(tái)。無(wú)論是傳統(tǒng)產(chǎn)業(yè)還是新興行業(yè),無(wú)論是民生領(lǐng)域還是重大工程,都有機(jī)器人大顯身手。

據(jù)央視新聞報(bào)道,在制造上,中國(guó)已經(jīng)連續(xù)多年都是全球工業(yè)機(jī)器人銷量最多的國(guó)家,2023年上半年工業(yè)機(jī)器人產(chǎn)量達(dá)到22.2萬(wàn)套,同比增長(zhǎng)5.4%。

根據(jù)工信部發(fā)布的數(shù)據(jù),我國(guó)機(jī)器人領(lǐng)域?qū)>匦隆靶【奕恕逼髽I(yè)達(dá)273家,10家機(jī)器人企業(yè)成長(zhǎng)為制造業(yè)單項(xiàng)冠軍。

我國(guó)正在加緊布局,推動(dòng)人形機(jī)器人產(chǎn)業(yè)占得先機(jī)并行穩(wěn)致遠(yuǎn)。目前,我國(guó)已創(chuàng)建了機(jī)器人智能傳感器、智能語(yǔ)音等國(guó)家制造業(yè)創(chuàng)新中心,組織揭榜掛帥攻關(guān),推進(jìn)關(guān)鍵軟硬件的適配。

據(jù)不完全統(tǒng)計(jì),中國(guó)人形機(jī)器人本體制造企業(yè)已超過(guò)50家。中國(guó)的人形機(jī)器人本體企業(yè)既包括在該領(lǐng)域耕耘近十年的老牌企業(yè),如優(yōu)必選、理工華匯、鋼鐵俠科技等,也有剛剛成立不久的的初創(chuàng)公司,如智元、星動(dòng)紀(jì)元、開(kāi)普勒探索等。

22.jpg


來(lái)源:同花順

此外,近年來(lái)人形機(jī)器人領(lǐng)域跨界入局者增多,許多互聯(lián)網(wǎng)企業(yè)及汽車(chē)企業(yè)都瞄準(zhǔn)了這一新的經(jīng)濟(jì)增長(zhǎng)點(diǎn),如小米、小鵬、科大訊飛等,競(jìng)爭(zhēng)態(tài)勢(shì)愈發(fā)激烈。

就在前幾天,12月10日消息,小米系首家大模型機(jī)器人公司——北京小雨智造科技有限公司完成億元A輪融資,小雨智造是小米集團(tuán)下專注開(kāi)發(fā)適用工業(yè)領(lǐng)域的大模型機(jī)器人技術(shù)的科技公司,目前有自研的“Xiaoyu Brain”通用機(jī)器人大腦和機(jī)器人大模型解決方案,使得機(jī)器人能夠在工業(yè)環(huán)境中執(zhí)行各種任務(wù)。

10月,國(guó)家地方共建人形機(jī)器人創(chuàng)新中心聯(lián)合行業(yè)頭部企業(yè)和機(jī)構(gòu)發(fā)布了《人形機(jī)器人分類分級(jí)應(yīng)用指南》和《具身智能智能化等級(jí)分級(jí)指南》,定義了人形機(jī)器人相關(guān)術(shù)語(yǔ),并進(jìn)行了分類和智能化等級(jí)劃分。

近期,多地發(fā)布促進(jìn)機(jī)器人產(chǎn)業(yè)發(fā)展的政策,如重慶、杭州等。南京、四川天府新區(qū)等地也發(fā)布了相關(guān)政策。深圳憑借制造業(yè)基礎(chǔ)和高科技企業(yè)優(yōu)勢(shì),吸引大量投資,成為人形機(jī)器人融資熱點(diǎn)城市之一。市政府還制定了行動(dòng)計(jì)劃,并設(shè)立100億元的產(chǎn)業(yè)基金,集中投資于人工智能和具身機(jī)器人領(lǐng)域。

今年的IOTE 2024第二十二屆國(guó)際物聯(lián)網(wǎng)展·深圳站特設(shè)了12號(hào)場(chǎng)館為人工智能專題展區(qū),其中人形機(jī)器人展區(qū)成為了整場(chǎng)展會(huì)的亮點(diǎn)之一。人形機(jī)器人作為人工智能展區(qū)的明星展品,受到了展會(huì)觀眾的極大關(guān)注和熱烈追捧,在為期三天的展覽中吸引了眾多科技愛(ài)好者和行業(yè)專家的目光與駐足留步。

微信圖片_20241212164139.jpg

值得一提的是,“2024‘物聯(lián)之星’”中國(guó)物聯(lián)網(wǎng)行業(yè)年度榜單評(píng)選活動(dòng)也吸引了眾多人工智能與機(jī)器人相關(guān)領(lǐng)域企業(yè)的積極參與。

“2024‘物聯(lián)之星’”中國(guó)物聯(lián)網(wǎng)行業(yè)年度榜單評(píng)選活動(dòng)已于2024.10月15日正式啟動(dòng),現(xiàn)已有超百家AIoT企業(yè)參與到活動(dòng)中的申報(bào)中來(lái)。掃描下方二維碼或搜索網(wǎng)頁(yè)鏈接即可填寫(xiě)資料進(jìn)行申報(bào),“2024‘物聯(lián)之星’”期待您的加入!

微信圖片_20241212164147.jpg

現(xiàn)在,“2024‘物聯(lián)之星’”中國(guó)物聯(lián)網(wǎng)行業(yè)年度榜單評(píng)選的投票打榜環(huán)節(jié)也已開(kāi)啟,掃描下方二維碼即可參與到投票環(huán)節(jié)中來(lái)。歡迎行業(yè)內(nèi)專業(yè)人士與愛(ài)好者們通過(guò)“物聯(lián)之星”評(píng)選活動(dòng)來(lái)了解行業(yè)內(nèi)的前沿訊息,每個(gè)用戶每日可在官網(wǎng)與小程序?yàn)榇虬竦漠a(chǎn)品、案例、企業(yè)、人物各投上寶貴的一票。

5.png