谷歌推出 Magenta RealTime 2 本地實時音樂 AI 模型：延遲降低至 1/15

### 谷歌推出 Magenta RealTime 2：延遲銳減 15 倍，在 MacBook 上與 AI 即興合奏

谷歌 Magenta 團隊於 2026 年 6 月 4 日正式發表新一代即時音樂生成 AI 模型「Magenta RealTime 2」（MRT2），同時免費推出獨立樂器應用程式「Jam」與 DAW（數位音樂工作站）插件「MRT2」。這款模型的核心定位，是讓用戶能像操作真實樂器一樣，與 AI 進行即興合奏與即時互動。長期以來，AI 音樂生成大多停留在「輸入描述、生成完整樂曲」的離線模式，缺乏演奏般的即時反饋，而 Magenta RealTime 2 試圖打破這項限制，讓 AI 真正成為音樂人手中的「樂器」，而非只是自動作曲機。

MRT2 最顯著的進展在於延遲表現的突破。前一版本的 Magenta RealTime 需要仰賴 TPU 或高效能 GPU，控制延遲約 3 秒，且以 2 秒的完整音訊塊為單位進行生成。MRT2 改採逐幀生成機制，每幀僅 40 毫秒，實際端對端控制延遲約 200 毫秒，相較前代大幅降低至約 15 分之一。這樣的延遲水準讓模型對於輸入變化的反應更為靈敏，更接近真實樂器的演奏手感。此外，MRT2 在控制方式的完整性上也超越前代。用戶可以同時運用文本描述、音訊風格參考與 MIDI 音符訊號來引導模型生成，模型還能根據使用者輸入的音符即時跟隨調整。

在產品發布的同時，谷歌也釋出了多款可直接體驗的應用工具。獨立應用程式「Jam」讓用戶在上方輸入欄位描述想要的音樂風格，模型就會開始生成音樂，下方則設有虛擬鍵盤，可調整音高與音階。輸入方式不僅支援滑鼠點擊，也相容 MacBook 鍵盤與實體 MIDI 鍵盤，讓即時控制更加貼近傳統電子樂器與數位編曲的工作流程。對於已經習慣在成熟 DAW 環境中創作的進階使用者，MRT2 的 DAW 插件則提供了完整的接入路徑——只需安裝插件，就能在自己慣用的編曲軟體中直接呼叫 Magenta RealTime 2 的即時生成能力。

MRT2 提供兩種不同規模的模型版本，以滿足不同場景的需求。高品質模型「mrt2_base」擁有 24 億個參數，能產生更豐富細膩的音訊品質；高速模型「mrt2_small」則僅有 2.3 億個參數，體積更輕巧、運算更快。谷歌特別強調，這兩個版本均針對 Apple Silicon 晶片進行最佳化，其中 mrt2_small 可在搭載 M1 及後續晶片的 MacBook 上直接即時運行。技術層面上，MRT2 仍屬於 Codec Language Model（編解碼器語言模型），基於 SpectroStream 音訊編解碼器處理 48kHz 的立體聲音訊，並以每秒 25 幀的幀率生成音訊標記。

谷歌 Magenta 專案的歷史可以追溯至 2016 年，當時由 Google Brain 團隊發起，目標是探索機器學習在音樂與藝術創作中的應用可能。Magenta 不僅是一項研究工作，更致力於打造開放原始碼工具與社群，讓藝術家與程式開發者能夠攜手合作。一路走來，Magenta 團隊從 2017 年的 NSynth 神經合成器開始，到 Piano Genie、DDSP-VST，再到第一代 Magenta RealTime，始終堅持「AI 是音樂人的工具，而非替代品」這項核心理念。Magenta RealTime 2 也可視為 Google DeepMind Lyria RealTime API 的開放權重版本，讓開發者能在本機環境中打造自己的即時音樂應用。

從產業影響的角度來看，MRT2 的低延遲架構與開源權重的策略，可能帶來幾個重要的變化。首先，這款模型大幅降低了即興即時合奏的技術門檻——過往 AI 輔助音樂創作多以離線生成為主，難以融入現場演出或即興演奏的場景，而 MRT2 的即時互動特性，讓即興 AI 音樂的「演奏」首次真正進入可行性範圍。其次，開源權重策略意味著開發者、研究者與藝術家都能在此基礎上進行二次開發，未來可能出現更多以 MRT2 為核心的創新應用，例如結合感測器與手勢控制的互動樂器。再者，隨著 AI 音樂工具越來越普及，關於作品歸屬、授權、原創性與版權的討論勢必會更加熱烈，這項技術的成熟也將加速相關政策與法規的演進。

關於後續值得關注的發展方向，有幾個面向值得讀者留意。MRT2 目前僅針對 macOS 與 Apple Silicon 提供最佳化支援，未來是否會進一步擴展至 Windows 平台或更多硬體架構，值得後續觀察。此外，隨著這類即時互動型 AI 音樂模型逐步成熟，我們也可以期待更多第三方開發者利用開源權重與推理框架，打造出更具創意與實驗性的音樂應用。對於有志於深入探索的創作者，Magenta 官方已開源完整的 Python 推理函式庫與 C++ 推論引擎，可透過 pip install magenta-rt 直接安裝。整體而言，Magenta RealTime 2 的發布不僅是技術規格上的躍進，更代表 AI 音樂創作正逐步從「生成工具」走向「互動樂器」的典範轉移。未來幾個月內，社群與開發者社群的反應與回饋，將是觀察這項技術能否真正落地普及的關鍵。

用户DEEP_SEARCH需要一篇关于谷歌Magenta RealTime 2的原创整理稿，要求包含重点整理、背景脉络、可能影响和读者可关注的后续。目前提供的信息只有标题和简要内容，细节很少。为了获取足够的信息来撰写这篇稿件，需要从多个角度进行搜索，包括模型的技术细节、延迟降低的具体数据、应用和插件的功能、与前代的对比、团队背景、市场影响以及未来计划等。FINISHED提供了不少链接。为了全面了解Magenta RealTime 2，需要同时打开几个看起来最有价值的页面：一个中文新闻来源（结果0），一个可能包含官方博客的页面（结果1），一个日文报道（结果0），以及GitHub页面（结果5）和Hacker News讨论（结果4）。这些页面应该能覆盖模型的技术细节、官方介绍、应用案例和社区讨论。FINISHEDFINISHEDFINISHEDFINISHEDFINISHED页面提供了丰富的信息。现在需要了解Magenta RealTime 2与Lyria RealTime API等前代技术的关系，以及Magenta项目的整体背景。另外，关于模型可能带来的影响，以及读者可以关注的后续开发方向，也需要进一步搜索补充。FINISHED到的资料已经比较充分，涵盖了模型的核心特性、技术细节、应用场景以及Magenta项目的历史脉络。可以围绕用户要求的几个方面来组织稿件：先概述发布信息和核心亮点，再深入技术细节，接着梳理项目背景，然后探讨对音乐创作的影响，最后提供读者可以关注的后续方向。