螞蟻發佈大模型內生式安全護欄SingProbe，讓AI邊生成邊識別風險

大模型正在進入日常問答、辦公輔助、客戶服務等真實業務場景。用戶期待AI快速給出有用的回答，也需要這些回答安全、可靠。如何及時發現不安全內容和編造信息，同時減少安全審核對響應速度和用戶體驗的影響，成為大模型應用落地需要解決的問題。國家網絡安全宣傳週期間，螞蟻AI安全實驗室正式發佈大模型內生式安全護欄SingProbe，將安全檢測融入模型生成過程。它如同一個內置的“安全探頭”，讓AI一邊生成回答，一邊輸出風險提示，以較低的額外計算開銷，為大模型應用提供更及時的安全防護。例如，用戶向AI諮詢健康問題時，會關心它是否給出不恰當的用藥建議；使用AI查找資料時，也需要警惕它編造不存在的文獻或事實依據。

面對這些風險，SingProbe能夠在回答生成過程中持續提供風險信號，幫助應用系統及時採取中止回答、重新生成等措施。目前，大模型應用通常通過獨立的外置護欄模型審核輸入或輸出。這種方式通用、直接，但需要額外處理待審核內容，增加計算和部署成本。如果等完整回答生成後再檢查，風險內容可能已經呈現給用戶；如果提高檢查頻率，又會進一步增加運行負擔。SingProbe嘗試讓安全判斷與模型生成同步進行。它複用大模型推理過程中已經產生的內部信息，通過輕量化的安全檢測模塊，持續輸出風險分數。

這意味著，模型在生成回答的同時，就能給出當前內容是否存在安全或事實可靠性風險的信號，供系統及時採取告警、終止生成、重試等措施。據研發團隊在Ling-3.0-flash模型生產環境中的實測，SingProbe在解碼階段引入的額外開銷低於0.5%。團隊評測顯示，flash版本在回答安全分類和流式安全檢測任務上超過所選公開基線，在幻覺檢測任務上與參考基線基本持平，為兼顧檢測能力與運行效率提供了新的技術路徑。針對流式生成場景，此次還同步發佈了評測基準SingStreamBench。

該基準關注模型從正常回答轉向風險內容的具體時刻，不僅檢驗護欄能否發現風險，還考察是否過早觸發、發現是否及時，以更貼近實際應用的方式衡量安全防護效果。在醫療生成場景中，研發團隊進一步探索了從風險識別到按需糾偏的技術應用，提出SingProbe-Med：持續監測生成過程中的醫療風險，僅在達到觸發條件後，對局部高風險內容進行解碼干預。據團隊在AntAngelMed-100B上的醫療評測，完整干預能夠糾正基線模型中25.03%原本出錯的回答，展示了內生風險信號用於生成過程安全控制的潛力。目前，SingProbe已適配Ling-3.0系列、GLM-5.2/5.

3、Qwen、DeepSeekV4等29個主流開源大模型，並接入SGLang、vLLM推理框架，相關代碼、模型和評測基準同步開源。後續，團隊將逐步擴展對更多開源模型的支持，推動安全防護更緊密地融入大模型推理與部署流程。