蘋果的最新研究揭示了語音識別模型如何通過處理心音圖來確定人的心率，這可以用于AirPods。周四，在蘋果發布其與機器人技術相關的人形機器人政策研究一周后，該公司又發布了一項探索健康應用的新研究，具體來說，是心率估算。

最新研究題為“通過聽診估計心率的基礎模型隱藏表示”，該公司的研究人員解釋了如何使用基礎模型通過錄音確定心率，即使這些模型的創建目的有所不同。

蘋果測試了六種流行的基礎模型，包括用于音頻轉錄的 Whisper ，以確定它們是否可以在其預期用途之外使用。此外，蘋果還測試了一個內部 CLAP（對比語言-音頻預訓練）模型。

基礎模型不是用來處理錄音的語音，而是用來處理心音圖記錄或心音，總共約 20 小時。

所討論的錄音屬于公開的 CirCor DigiScope 心音圖數據集，長度從 5.1 秒到 64.5 秒不等。

蘋果公司對約 20 小時的心音圖音頻文件進行了測試。圖片來源：蘋果

人工注釋員對心音圖音頻文件中的心臟雜音進行了注釋，并將文件分割成每秒變化的五秒片段。整個過程共生成了23381個心音片段，用于轉換為心率測量數據。

該公司的研究解釋說，其內部 CLAP 模型在此任務中的表現優于現有模型。“我們觀察到，內部 CLAP 模型的音頻編碼器的表征在不同數據分割中實現了最低的平均絕對誤差 (MAE)，優于使用標準聲學特征訓練的基線模型。”

與該公司以相同方式測試的 Whisper、wav2vec2 和 wavLM 不同，其內部 CLAP 模型采用的音頻數據訓練，其內容不僅僅局限于錄音語音。研究指出，多樣化的訓練數據“可能增強了其捕捉與心音相關的非語音特征的能力，從而有助于提高其有效性”。

蘋果公司內部開發的 CLAP 模型表現優于其他基礎模型。圖片來源：蘋果

蘋果公司的研究人員表示，為語音處理創建的基礎模型“可以有效地適應聽診和生命體征估計，為一些傳統方法提供強大而有效的替代方案”。該公司的研究結果還表明，較大的基礎模型在確定心率方面并不總是表現更好。

研究表明，對基礎模型進行額外的微調或能獲得更準確的心率估計。該公司的研究人員看到了其在“心肺音病理分析”方面的潛在應用，這可能有助于更準確地檢測心律失常和雜音等異常情況。

至于設備應用，鑒于蘋果對健康相關功能的興趣，該公司可能會將這項技術融入未來的 AirPods 型號中。例如， AirPods Pro 2支持一系列聽力健康功能，并通過內置麥克風提供主動降噪 (ANC) 功能。

2024年12月有傳言稱，蘋果正在考慮在AirPods中集成心率傳感器、溫度傳感器等。該公司可能會將AirPods現有的麥克風與新的傳感器結合使用，以實現更精確的心率測定。