PaLM-E 具身大模型亮相:5620 亿参数,把视觉直接注入机器人大脑
研究团队提出具身多模态语言模型 PaLM-E。它将图像等连续传感器数据直接编码进大语言模型的嵌入空间,最大模型参数达 562B。这意味着大模型不仅能看懂现实世界,还能指挥机器人规划并执行多步骤长任务,遇到从未见过的新物体也能自主泛化完成操作。
研究团队提出具身多模态语言模型 PaLM-E。它将图像等连续传感器数据直接编码进大语言模型的嵌入空间,最大模型参数达 562B。这意味着大模型不仅能看懂现实世界,还能指挥机器人规划并执行多步骤长任务,遇到从未见过的新物体也能自主泛化完成操作。
12 月,AI 智能体驾驶洛克希德·马丁的 VISTA X-62A 战术训练机持续飞行超过 17 小时。这是 AI 首次操控战术飞机,系统通过仿真算法模拟人类飞行员。该测试旨在将 AI 技术与新型无人机设计并行验证,加速实战能力落地。
IEEE Spectrum 报道 UCLA 团队开发出宽带衍射光学处理器,用光子替代电子执行计算。该系统通过波长复用,能以光速同时处理数千个波长通道的矩阵运算,除光源外几乎不耗电,有望化解 AI 算力的能耗危机。
斯特灵大学与 Hack the Planet 团队研发的 AI 相机陷阱在加蓬雨林完成实测。它无需地面网络即可用端侧 AI 识别目标,并通过卫星发警报;识别大象准确率达 82%,平均 7 分钟通知巡护员,旨在缓解偷猎与人象冲突。
据报道,哥伦比亚大学团队负责人 Hod Lipson 正研发具意识的机器人。他将意识定义为「想象自身未来的能力」,希望机器据此自我进化。不过学界对意识定义与拟人化倾向仍存很大争议。
周三,BMW 在拉斯维加斯 CES 上联合 Arnold Schwarzenegger 发布概念车 i Vision Dee。宝马将其称为「下一代人机交互」,Dee 代表「数字情感体验」。整车最抓人的是外壳采用了电子墨水,能在 32 种颜色和图案间自由切换,展示了软硬件融合的可能。
斯坦福大学研究人员研发出一种喷雾式智能皮肤。这种生物相容性材料可像防晒霜一样喷在手背上,由可拉伸的纳米网感知皮肤伸展时的电导率变化,再通过机器学习算法识别手势并打出文字,用后也能轻松清洗去除。
在 CES 2023 上,Nvidia 宣布对机器人仿真工具 Isaac Sim 进行重大升级。新版本支持在仓库等场景中模拟人类搬运、推车等行为,让机器人提前学会避让人群。同时还推出了面向机械臂操作训练的 Isaac ORBIT 工具,并支持 RTX 模拟激光雷达等高精度传感器仿真。
Samsung 在 CES 2023 上发布 Bespoke AI 壁挂烤箱,最大亮点是内置摄像头,不仅能识别 80 种菜品并在快烤焦时报警,还能把烘焙过程在线直播。新机配有 7 英寸彩屏,预计 2023 年晚些时候在北美上市,售价暂未公布。
普林斯顿大学团队公布新研究 ATLA,利用 GPT-3 生成工具的形状与功能描述来训练机械臂。在推、提、扫等任务中,加入语言信息的机械臂能更快掌握没见过的工具。最值得关注的是,大模型的语言常识被直接转化为了机器人的物理操作能力。