跳到正文
IFAI

開源專案

OpenAI 開源 Privacy Filter:本地執行脫敏 8 類隱私資料

首次發布 傳播指數 50

OpenAI 開源隱私過濾模型 Privacy Filter,可脫敏 8 類隱私資料。其總引數 1.5B、啟用引數僅 50M,支援 128,000 token 上下文,在修正基準測試中 F1 達 97.43%。資料無需上傳即可在本地完成脫敏。

OpenAI 開源 Privacy Filter:本地執行脫敏 8 類隱私資料
圖:openai.com

OpenAI 開源的 Privacy Filter 是一個專門用來在文本里抓取並脫敏個人隱私資訊(PII)的小模型。它最大的賣點是可以在本地跑,未處理的敏感資料完全不用傳上雲端,在自己的機器上就能完成打碼。

模型總引數只有 1.5B,實際啟用引數僅 50M。這意味著它非常輕量,但同時支援高達 128,000 token 的長上下文,能一口氣處理很長的文件。

它能做什麼

傳統的隱私脫敏工具大多靠正則匹配,比如找找手機號和郵箱的固定格式。一旦碰到複雜的上下文,或者人名剛好跟地名重合,傳統工具就很容易誤判或漏判。

Privacy Filter 走的是語言模型理解路線。它預設了 8 個隱私分類,包括個人姓名、私人地址、郵箱、電話、私人網址、私人日期、銀行卡或賬號資訊,以及密碼和 API 金鑰這類機密。

它能分清同樣一句話裡,哪些是公開資訊該保留,哪些是個人隱私該遮蔽。比如同樣是人名或日期,它會結合上下文判斷對方是公眾人物還是普通對話者,只把需要保護的欄位打上標籤。

怎麼做到的與實測表現

在架構上,它沒有用那種一個詞一個詞往外蹦的自迴歸生成方式,而是把預訓練語言模型改造成了雙向詞元分類器。輸入一段文本,模型只需單次前向傳播就能完成所有詞元的打標,再通過約束維特比解碼整理出完整的脫敏區間。

這種設計讓它跑起來極快,吞吐量很高,很適合直接塞進企業的資料索引、訓練集清洗或日誌脫敏流水線裡。

在基準測試 PII-Masking-300k 上,Privacy Filter 拿到了 96% 的 F1 分數,精確率 94.04%,召回率 98.04%。如果在排除了測試集標註瑕疵的修正版本上看,它的 F1 分數能達到 97.43%,精確率 96.79%,召回率 98.08%。

微調錶現也挺搶眼。官方測試顯示,即使用少量領域資料做適配,它在特定業務上的 F1 分數也能從 54% 快速拉昇到 96%。

程式碼和權重已經在 GitHub 和 Hugging Face 上完全公開,採用寬鬆的 Apache 2.0 許可證,不僅能自由下載,還能直接商用或二次微調。不過官方也提醒,在醫療、法律或金融等極端敏感的高風險場景下,它依然不能直接替代合規審查或人工複核。

為什麼重要

如果你正在搭建企業內部的 RAG 系統、大模型清洗流水線或者客服日誌審計,這個工具非常值得現在就下下來測一測。之前很多團隊拿大模型脫敏,既慢又費錢,還要承擔把原始資料往外送的洩漏風險;而正則規則又太笨,漏網之魚不斷。

Privacy Filter 聰明的地方在於,它沒有執著於把模型做大,而是用極小的啟用引數量(50M)去解決一個非常具體但關鍵的工程痛點。我們認為,這種小而專的開源端側元件,正是眼下企業把 AI 落地到生產環境時最缺的一塊積木。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選