Kyutai Releases MuScriptor: An Open-Weight Decoder-Only Transformer for Multi-Instrument Music Transcription to MIDI

法國人工智慧研究實驗室 Kyutai 與 Mirelo 團隊近日釋出了 MuScriptor，這是一款專為多樂器自動音樂轉錄（Automatic Music Transcription, AMT）設計的開源權重模型。AMT 的目標是將音訊檔案轉換為符號化的樂譜表示，最常見的格式是 MIDI。過去單一樂器的轉錄已經有不錯的表現，但要處理包含多種樂器的完整混音，一直是一項艱鉅的挑戰。MuScriptor 的出現正是為了填補這個缺口——它採用真實的多樂器錄音進行訓練，涵蓋多種音樂類型，並以開放權重的方式提供給研究社群使用。 MuScriptor 的核心是一個僅解碼器（decoder-only）的 Transformer 架構。它的運作流程是：先讀取一段短音訊的梅爾頻譜（mel-spectrogram），然後以自迴歸（autoregressive）的方式預測類似 MIDI 的 token，包含音高、時間與樂器類別。換句話說，整個轉錄過程被轉化為一個語言建模任務，採用了 MT3 的標記化方案。團隊在 Hugging Face 上發布了三種權重版本，分別是小型（103M 參數）、中型（307M 參數，為預設版本）以及大型（1.4B 參數）。推理程式碼以 MIT 授權釋出，權重則採用 CC BY-NC 4.0 授權，因此商業使用會受到限制。 MuScriptor 的設計理念著重於資料而非架構，因此訓練流程分為三個階段，並且後一階段是建立在前一階段的基礎上。第一階段是預訓練，使用約 145 萬個 MIDI 檔案（稱為 D_Synth）。在訓練過程中，系統會即時合成這些 MIDI 檔案，並加入各種擴增技術，包括音高移位、速度變化、力度調整以及隨機化樂器配置。團隊使用了超過 250 組音色庫，並配合隨機的微調（detuning），從而產生幾乎無窮無盡的音訊樣本變化。 第二階段是微調，使用的資料集為 D_Real，這是 Kyutai 內部收錄的 17 萬筆真實錄音，總時長超過 11,000 小時，並附有對齊的音符標註。這些標註主要透過音訊與符號資料的同步技術來取得，包括內插法與動態時間扭曲（dynamic time warping）。品質較差的配對則會根據扭曲距離與最大時間伸縮因子進行過濾排除。 第三階段是採用強化學習的後訓練，使用 D_RL 資料集，包含 300 筆人工驗證過的曲目。團隊應用了類似 GRPO（Group Relative Policy Optimization）的方法，結合 REINFORCE 演算法與群組相對優勢正規化（group-relative advantage normalization）。獎勵函數是由三個 F1 分數加總而成：起音（onset）、音框（frame）與結束（offset）。這樣的設計讓模型傾向於產出更乾淨、更準確的轉錄結果。 根據論文中的評測數據，以 1.3B 參數的版本在測試集 D_Test 上，起音 F1 分數達到 60.4，多樂器 F1 分數達到 48.2。從預訓練階段到微調階段，各項指標約提升了 20 個百分點；而強化學習後訓練則進一步降低了誤報與漏報的情況，並使起音時間更加精準。從實際的鋼卷窗（piano roll）展示可以看出，不同階段的模型表現有明顯差異：僅用合成資料訓練時，模型只能抓到粗略的音高活動，常有漏音與樂器標記錯誤；微調後的模型大幅改善了辨識能力；加入強化學習後，假正例（false positive）顯著減少，整體轉錄品質更接近真實演奏。 MuScriptor 的推出為多樂器自動轉錄領域提供了一個強而有力的開放工具。由於權重採用非商業授權，研究人員可以在學術與非營利場景下自由使用與改進。團隊也提供了完整的推理程式碼，讓有興趣的使用者可以直接在本地或雲端環境中運行模型，將音訊檔案轉換為 MIDI。隨著這類模型的持續發展，未來音樂資訊檢索、教育輔助、音樂製作等應用都有望獲得更大的突破。