佛羅里達大學用街景做建築安全體檢：數月排查縮短至幾小時
佛羅里達大學研究團隊藉助 NVIDIA DGX A100 與 Google 街景影像，開發出建築安全自動評估模型。災後需要耗時數月的人工排查被縮短至數小時，按 FEMA 標準評估準確率超 85%。目前該系統正在墨西哥等地的城市展開實測。
AI算力
檢視更新的新聞
高通驍龍 8 Gen 3 規格曝光：專為生成式 AI 打造，支援 INT4
MSPoweruser 曝光了高通驍龍 8 Gen 3 的完整規格表。作為首款專為生成式 AI 打造的移動平臺，它升級了 Hexagon NPU 並支援 INT4 精度，還加入了虛幻 5.2 光追。最值得關注的是，安卓旗艦的端側大模型算力底座終於要來了。
AMD 宣佈收購 Nod.ai：補齊開源 AI 編譯器短板
AMD 宣佈簽署協議收購開源 AI 軟體初創公司 Nod.ai。Nod.ai 是 SHARK 與 Torch-MLIR 的核心貢獻者，其編譯器技術可降低多架構部署門檻。AMD 正藉此加速構建開源軟體生態，追趕競爭對手。
機構預測：生成式 AI 將在 2024 年迎來「冷水澡」
分析機構 CCS Insight 釋出預測，稱生成式 AI 將在 2024 年迎來「冷水澡」式的現實檢驗。算力成本高昂令普通機構難以承受，現實阻力正取代狂熱炒作。報告還預計歐盟 AI 監管將反覆推遲，搜尋引擎也將被迫給 AI 內容打標籤。
傳 OpenAI 考慮自研 AI 晶片：缺卡太嚴重，甚至想收購晶片廠
據路透社報道，OpenAI 正在考慮自研專用 AI 晶片，甚至評估過收購晶片製造企業。隨著大模型爆發，輝達 GPU 供不應求且開銷巨大。Altman 已將晶片供應列為頭等大事，但自研晶片通常耗時數年且需耗資數億美元。
路透社曝 OpenAI 擬自研 AI 晶片：擺脫輝達依賴，或考慮收購
據路透社報道，OpenAI 正探索自研 AI 晶片以緩解算力短缺，方案包括自主設計或收購晶片製造商。CEO Sam Altman 已將獲取晶片列為頭等大事。此舉旨在降低高昂運營成本，但晶片研發極耗資金且週期長，面臨不小風險。
AWS 宣佈 Bedrock 全面可用：一個 API 聚合多家主流大模型
AWS 宣佈生成式 AI 全託管平臺 Amazon Bedrock 全面可用，企業可通過統一 API 呼叫 Anthropic、Meta 等多家頂級基礎模型。同時，支援 8000 token 上下文的 Titan Embeddings 向量模型同步上線，AWS 還為 CodeWhisperer 增加了私有程式碼定製功能。
Cloudflare 推出邊緣 AI 套件：按需呼叫就近 GPU，主打降本與低延遲
Cloudflare 推出 Workers AI、Vectorize 和 AI Gateway 三款工具。開發者可按需呼叫就近 GPU 執行 Llama 2 等模型，配合向量資料庫與用量監控降低延遲和成本。推理資料保留在本地且不參與模型訓練。
亞馬遜向 Anthropic 投資至多 40 億美元：全面押注 Claude 並接入自研晶片
Amazon 宣佈將向 AI 初創公司 Anthropic 投資至多 40 億美元並持有少數股權。AWS 將成為 Anthropic 的主要雲服務商，Anthropic 將採用 Trainium 和 Inferentia 晶片訓練與部署模型，並通過 Amazon Bedrock 向企業深度開放 Claude 2 模型。
CZI 斥資搭建千卡 H100 叢集：用生成式 AI 搞醫學研究與「虛擬細胞」
Chan Zuckerberg Initiative 宣佈資助搭建包含 1000 多塊輝達 H100 的計算叢集。該系統旨在通過生成式 AI 構建模擬健康與患病狀態的「虛擬細胞」，幫助科學家預測人體對疾病或新藥的反應。最值得關注的是，CZI 打算將這些細胞模型公開發布，降低科研人員使用頂尖 AI 算力的門檻。
FTC 盯上生成式 AI：嚴查算力排他與產品捆綁
美國聯邦貿易委員會（FTC）釋放反壟斷訊號，警告將嚴查生成式 AI 領域的排他交易與捆綁銷售。監管方重點盯防手握算力與雲服務的巨頭通過獨家合同限制新玩家，或將 AI 工具與成熟產品強行捆綁，關鍵資料和人才併購也將被重點審查。
訓練 GPT-4 到底多耗水：微軟資料中心用水激增 34%，提問幾十次喝掉半升
美聯社報道披露，微軟與 OpenAI 在愛荷華州為訓練 GPT-4 抽取了大量河水為超算降溫。微軟 2022 年全球用水量激增 34%，外部研究測算向 ChatGPT 提問 5 至 50 次就要消耗約 500 毫升水。這讓生成式 AI 背後高昂的水資源代價浮出水面。
NVIDIA 開源 TensorRT-LLM：H100 推理吞吐翻 8 倍
NVIDIA 推出開源庫 TensorRT-LLM，專為加速大語言模型推理設計。它引入動態組批與 FP8 精度，在 H100 上相比 A100 帶來最高 8 倍吞吐提升，Llama 2 推理提速 4.6 倍。開發者通過 Python API 即可呼叫底層並行最佳化，大幅降低算力與電費支出。
Intel 押注 AI 走向端側：Meteor Lake 晶片年內落地
Intel CEO Pat Gelsinger 表示，受成本、延遲和隱私影響，AI 必將從雲端走向邊緣。Intel 計劃年內推出搭載專用 AI 硬體的 Meteor Lake 晶片。憑藉超 80% 的 x86 PC 市場份額，Intel 押注端側算力能幫軟體商大幅削減昂貴的雲端開銷。
美國擴大 AI 晶片出口管制：Nvidia 與 AMD 對中東出貨需申請許可
美國政府擴大高階 AI 晶片出口限制，要求 Nvidia 和 AMD 在向中東部分國家出口 A100、H100 等晶片前必須取得許可。兩家公司均表示該限制短期內不會對營收產生實質影響。最值得關注的是，這意味著針對尖端算力的出口審查正在向全球更多區域擴散。
Google Cloud 聯手輝達：搭載 H100 的 A3 例項正式商用
Google Cloud 宣佈搭載 NVIDIA H100 GPU 的 A3 例項正式商用。雙方同時深化了軟體層面的合作，支援 PaxML 框架利用輝達 GPU 進行加速並上線 NGC 容器庫，以滿足大模型暴漲的算力需求。
Google Cloud 釋出第五代自研 TPU：每美元訓練效能翻倍，支援萬卡擴充套件
Google Cloud 推出第五代自研 TPU 處理器，重點提升能效與價效比。相比上代，單位美元訓練效能提升 2 倍、推理提升 2.5 倍，單個任務可跨叢集擴充套件至數萬顆晶片。此外，搭載輝達 H100 的 A3 虛擬機器也將於下月正式開放。
Google 全面升級 Vertex AI：引入 Claude 2 與 Llama 2，自研模型上下文翻倍
Google 在 Cloud Next 大會上升級 Vertex AI 平臺。官方不僅更新了 Codey 與 Imagen，還將 PaLM 2 上下文擴充套件至 32k token，並在模型庫中直接引入 Claude 2 和 Llama 2。此外還推出了外掛機制與搜尋對話套件，正面反擊 AWS Bedrock。
Tesla 啟動 1 萬張 H100 超算叢集：算力超越全球第四，專攻 FSD
Tesla 正式啟動配備 10000 張 Nvidia H100 GPU 的全新 AI 超算叢集。該叢集提供 340 FP64 PFLOPS 算力，超越全球第四大超算 Leonardo，專門用來加速訓練 FSD 自動駕駛。加上自研的 Dojo，Tesla 正在全力打破自動駕駛的算力瓶頸。
SemiAnalysis 分析 Google Gemini：預訓練算力年底或達 GPT-4 的 5 倍
SemiAnalysis 發文指出，Google 正全力加速 Gemini，其預訓練算力預計年底達 GPT-4 的 5 倍，明年可達 20 倍。報告劃分了「算力富人」與「算力窮人」，直言中小團隊正陷入低算力內捲，而手握 TPUv5 的 Google 是抗衡輝達算力壟斷的關鍵變數。