PaLM-E 具身大模型亮相:5620 億引數,把視覺直接注入機器人大腦
研究團隊提出具身多模態語言模型 PaLM-E。它將影像等連續感測器資料直接編碼進大語言模型的嵌入空間,最大模型引數達 562B。這意味著大模型不僅能看懂現實世界,還能指揮機器人規劃並執行多步驟長任務,遇到從未見過的新物體也能自主泛化完成操作。
研究團隊提出具身多模態語言模型 PaLM-E。它將影像等連續感測器資料直接編碼進大語言模型的嵌入空間,最大模型引數達 562B。這意味著大模型不僅能看懂現實世界,還能指揮機器人規劃並執行多步驟長任務,遇到從未見過的新物體也能自主泛化完成操作。
12 月,AI 智慧體駕駛洛克希德·馬丁的 VISTA X-62A 戰術訓練機持續飛行超過 17 小時。這是 AI 首次操控戰術飛機,系統通過模擬演算法模擬人類飛行員。該測試旨在將 AI 技術與新型無人機設計並行驗證,加速實戰能力落地。
IEEE Spectrum 報道 UCLA 團隊開發出寬頻衍射光學處理器,用光子替代電子執行計算。該系統通過波長複用,能以光速同時處理數千個波長通道的矩陣運算,除光源外幾乎不耗電,有望化解 AI 算力的能耗危機。
斯特靈大學與 Hack the Planet 團隊研發的 AI 相機陷阱在加彭雨林完成實測。它無需地面網路即可用端側 AI 識別目標,並通過衛星發警報;識別大象準確率達 82%,平均 7 分鐘通知巡護員,旨在緩解偷獵與人象衝突。
據報道,哥倫比亞大學團隊負責人 Hod Lipson 正研發具意識的機器人。他將意識定義為「想像自身未來的能力」,希望機器據此自我進化。不過學界對意識定義與擬人化傾向仍存很大爭議。
週三,BMW 在拉斯維加斯 CES 上聯合 Arnold Schwarzenegger 釋出概念車 i Vision Dee。寶馬將其稱為「下一代人機互動」,Dee 代表「數字情感體驗」。整車最抓人的是外殼採用了電子墨水,能在 32 種顏色和圖案間自由切換,展示了軟硬體融合的可能。
斯坦福大學研究人員研發出一種噴霧式智慧皮膚。這種生物相容性材料可像防曬霜一樣噴在手背上,由可拉伸的奈米網感知皮膚伸展時的電導率變化,再通過機器學習演算法識別手勢並打出文字,用後也能輕鬆清洗去除。
在 CES 2023 上,Nvidia 宣佈對機器人模擬工具 Isaac Sim 進行重大升級。新版本支援在倉庫等場景中模擬人類搬運、推車等行為,讓機器人提前學會避讓人群。同時還推出了面向機械臂操作訓練的 Isaac ORBIT 工具,並支援 RTX 模擬雷射雷達等高精度感測器模擬。
Samsung 在 CES 2023 上釋出 Bespoke AI 壁掛烤箱,最大亮點是內建攝像頭,不僅能識別 80 種菜品並在快烤焦時報警,還能把烘焙過程線上直播。新機配有 7 英寸彩屏,預計 2023 年晚些時候在北美上市,售價暫未公佈。
普林斯頓大學團隊公佈新研究 ATLA,利用 GPT-3 生成工具的形狀與功能描述來訓練機械臂。在推、提、掃等任務中,加入語言資訊的機械臂能更快掌握沒見過的工具。最值得關注的是,大模型的語言常識被直接轉化為了機器人的物理操作能力。