MP3 Codec Design 吳炳飛教授. Chaotic Systems & Signal Processing Lab, CSSP Lab. CSSP Lab:

Transcription

1 MP3 Codec Design 吳炳飛教授 國立交通大學 電機與控制工程學系 CSSP Lab: Chaotic Systems & Signal Processing Lab, CSSP Lab July 5, 2004

2 Chapter 1 Introduction to MP3

3 Chapter 1: Introduction to MP3 Audio 簡介 音訊乃泛指頻率在 10 至 20K Hz 間, 人耳所能感知的聲音訊號, 其中又以 2K 至 4K Hz 的感知最為敏銳 以 CD 音訊為例, 它是取樣頻率為 44.1 khz 的 16-bit PCM 訊號, 即每個樣本以 16 位元表示,SNR 為 96dB 因此, 單聲道音訊約為 705.6K bps, 雙聲道音訊則為 1.4 Mbps! 為有效處理 儲存或傳送如此龐大的資料量, 我們必須對音訊做壓縮編碼 3

4 Chapter 1: Introduction to MP3 由於人耳的聽覺特徵, 有些聲音會被同時發生 與其頻率相近的其它聲音所遮蔽 所以在音訊編碼上, 我們常利用聲響心理學模型 (Psychoacoustic Model) 來模擬人耳的聽覺感知, 先除去聽不到的訊號部份, 以減少音訊編碼的資料量 在 1988 到 1992 年間, 國際標準化組織 (ISO) 發展出 MPEG-1 Audio, 做為數位儲存媒體上音訊編解碼的標準 支援的聲道有 monophonic,dualmonophonic,stereo mode,joint-stereo mode 4

5 MP3 Principle MPEG Audio 簡介 (Continued) MP3 Audio: MPEG-1 Layer 3 Audio MPEG-1 Audio 可將取樣頻率為 32K 44.1K 或 48K Hz 的 16-bit PCM 單聲道或雙聲道聲音訊號, 編碼成 512K~1536Kbps 44.1Ksamples/sec 16 bits/sample,ch 2 ch=1411kbps 32K for broadcasting audio, 44.1K for CD audio, 48K for high quality audio 5

6 MP3 Principle MPEG Audio 簡介 (Continued) 一般常用之壓縮率約為 1:11(44.1K) 或 1:12(48K), 即每秒 128 Kbps (44.1K) 1411Kbps/128Kbps= (48K) 48K 16 2 Kbps/128Kbps= K 的由來 525 scan lines/frame 490 visible lines/frame 30frames/sec 490 lines/frame 3 samples/line=44.1ksamples/sec 6

7 MP3 Principle Digital Audio Signal 32-Chennel Polyphase Analysis Filterbank window switching MDCT SMR Bit Allocation Loop Quantization Huffman Coding Coding of Side-Infomation Bitstream Formatting Coded Audio Data FFT Psychoacoustic Model II 編碼框包含 1152 個取樣,16bits/sample 7 輸入的 16-bit PCM 音訊經過濾波器排 (Filter Bank) 分析, 轉換成 32 個等頻寬的子頻帶訊號 (Subband Signals)

8 MP3 Principle MPEG-1 Audio Encoding (Continued) 然後透過改良式離散餘弦轉換 (MDCT,Modified Discrete Cosine Transform), 將每個子頻帶訊號, 再細分為 18 個次頻帶 然後根據第二聲響心理模型 (Psychoacoustic Model II) 所提供的訊號遮噪比 (SMR, Signal-to- Mask Ratio), 對每一子頻帶訊號, 做位元分配及量化編碼 最後只要將編碼後的資料依照 MPEG-1 定義的位元串的型式輸出即可 8

9 MP3 Principle MPEG Audio Decoding (Continued) MPEG-1 Audio 解碼方式, 為音訊編碼系統之逆運算 值得注意的是, 在音訊編碼系統中, 需利用聲響心理學模型提供資訊, 做位元分配及量化編碼 ; 而在解碼系統中, 則只需做反量化編碼即可 因此, 解碼系統的複雜度通常低於編碼系統, 可以 Real-Time 解碼 所以在欣賞音樂時, 不致於因解碼時間過長, 而造成音樂不連貫 位元串輸入解碼後音訊編碼框資料反量化編碼合成濾波器 位元串拆封 重建分析訊號 排 9

10 MP3 Principle Subband Coding 音樂訊號對不同頻率有不同的表現特性, 例如 : Dynamic Range 不同 能量分佈不同等等 ; 再加上人耳對不同頻率的聽覺感知能力也不相同 在進行音訊編碼時, 經常先利用分析濾波器排將原始音訊轉換成數個子頻帶訊號, 再分別依各個子頻帶訊號的特性, 以及人耳對各子頻帶的敏感度, 使用不同的量化編碼方式, 以達較佳的編碼效果 10

11 MP3 Principle Subband Coding 在 MPEG-1 Audio 中, 第一及第二編碼層使用相同的濾波器排, 將音訊轉成 32 個等頻寬的子頻帶訊號 第二編碼層使用較大的編碼框 (Frame), 以利用鄰近資料間的相關性, 得到更多的壓縮空間 至於第三編碼層為達較佳的頻率解析度, 故採用兩階段的濾波器排 11

12 MP3 Principle Layer III Coding MPEG-1 Audio 第三編碼層的概念來自 ASPEC (Audio Spectral Perceptual Entropy Coding) 由於 32 個等頻寬濾波器排之頻率解析度約為 700 Hz, 其對音訊所做的分析並不符合人耳的聽覺特性, 尤其在低頻部份, 濾波器排所提供之頻率解析度, 遠寬於人耳感知的臨界頻寬, 因此, 需將輸入訊號的轉換到頻域後, 再套用人耳聽覺感知之聲響心理模型 12

13 MP3 Principle Layer III Coding 有鑑於 32 個等頻寬濾波器排的頻率解析度不足, 第三編碼層先將原始音訊經由如同第一及第二編碼層的濾波器排, 分成 32 個子頻帶訊號後, 再將每個子頻帶訊號經改良式餘弦轉換 (MDCT, Modified Discrete Cosine Transform) 細分成數個頻線訊號 13

14 MP3 Principle 聲響心理學模型 聲響心理學模型用於模擬音訊在人耳聽覺感知上所形成的遮蔽效應 (Masking Effects), 提供頻率軸上的遮噪門檻曲線 (Masking Thresholds), 以決定各子頻帶訊號所需量化層的數目, 使得量化誤差 (Quantization Error) 能不被聽見 因此, 聲響心理模型之準確與否, 直接影響到編解碼後的音訊品質, 以及編碼壓縮率 14

15 MP3 Principle MPEG-1 Audio 有兩個聲響心理學模型 : 第二聲響心理學模型較複雜, 其能在低傳輸率時, 提供較佳的音訊品質適合 MP3 音訊輸入聲響心理模型時, 首先要經過 Hanning 窗框截取欲處理之音訊 在第一聲響心理模型中, 是以 512 點的 Hanning 窗框來截取第一編碼層的一個編碼框 ( 包含 384 個 PCM 訊號 ), 而對於一個編碼框含有 1152 個 PCM 訊號的第二 三編碼層則是用 1024 點的 Hanning 窗框來處理 15

16 MP3 Principle 對 MPEG-1 Audio 的三個編碼層, 第二聲響心理模型皆用 1024 點的 Hanning 窗框來截取欲處理之音訊 : 在第一編碼層仍將 384 個取樣值, 涵蓋於窗框的中心 ; 而在第二及第三編碼層, 則將 1152 個取樣值分成前後兩區塊, 分別涵蓋於窗框的中心, 依聲響心理模型取最後的遮噪門檻曲線 16

17 MP3 Principle 靜音門檻曲線 ( 虛線 ) 非單頻訊號之遮罩性 17

18 Quality vs. Compressing ratio Sound Quality Bandwidth khz Mode Bitrate kbps Reduction Ratio Telephone sound 2.5 Mono 8 96:1 Better than Short-wave 4.5 Mono 16 48:1 Better than AM radio 7.5 Mono 32 24:1 Similar to FM radio 11 Mono :1 Near-CD 15 Stereo 96 16:1 CD >15 Stereo :1 18

19 Data Compression Lossless Compression Y = X Lossy Compression Y X Why lossy? 19

20 一般而言, 無失真壓縮約略提供大約 1~5 倍壓縮 而失真壓縮的壓縮倍數會在大上幾個數量級, 就以 MP3 為例子, 在 128K bps 的品質下, 就提供了 11~12 倍的壓縮比, 若是影像壓縮如 JPEG 或是動態影像壓縮 MPEG1 MPEG2 或是 MPEG4 則可以具有數十倍, 甚至上百倍的壓縮比 無失真壓縮 (Lossless Compression) 大多屬於編碼熵編碼 (entropy coding), 主要根據資料的機率分佈, 來決定要以多少個位元來代表一個符號 (symbol) 出現機率大的符號, 使用較少的位元數編碼 ; 出現機率小的, 則用較多的位元數 Huffman 編碼, 算數編碼 (Arithmetic coding, AC) 等 20

21 失真壓縮 (Lossy Compression) 剛好與無失真壓縮不同, 其重建後的資料會損失某些資訊 因為人類的眼睛和耳朵無法分辨出訊號上的細微變化, 而且只能接收有限頻帶的訊號, 頻率過高或過低, 我們都無法感知 當然, 耳朵和眼睛還有許多的特性, 可以被利用在壓縮上, 如視覺暫留 遮罩效應等 21

22 語音訊號壓縮 語音壓縮的應用, 常見的有電話系統 數位留言機或是數位錄音機 PSTN 網路取樣頻率是 8k Hz 若以每個取樣為 12 位元計算 G.711 的壓縮標準 ; 傳輸量為 8k sample/sec * 8bits/sample=64k bps, 則 G.711 壓縮 1.5 倍 GSM 電話網路的壓縮技術是 GSM HR/EFR, 傳輸量為 5.6/12.2 kbps, 則 GSM 壓縮 17.1 和 7.9 倍 ADPCM :8/16 bits 2,3,4,5 bits CELP 2.4Kbps/4.8Kbps/5.6Kbps 22

23 音訊訊號壓縮 音訊壓縮大都採用 perceptual coding 技術, 它提供較高的位元速率, 較好的聲音品質, 因為聆聽音樂很講究原音的重現, 這點就和語音不同, 語音的用途只是為了傳達語意, 因此可容許較大的失真 一般都會要求 CD 品質 所謂的 CD 音質 (CD-quality), 相當於雙聲道的聲音訊號以 44.1kHz 的頻率來取樣, 再使用 16 個位元來做量化而得到的數位資料所能達到之聲音品質 所以為了達到 CD 音質, 每秒鐘約有 1.4 Mbits 的資料量, 若以一首四分半鐘的歌曲來估計, 就需要至少 47 MByte 23

24 音訊訊號壓縮 音訊壓縮採用的技巧較語音複雜 壓縮演算法會考慮人耳的聲響心理學模型 (psychoacoustic model), 利用人耳在先天上的遮罩特性, 以決定可以失真的地方 音訊壓縮還會使用 濾波器排 (filter bank) 頻譜分析 (frequency analysis) 預測 (prediction) 無失真壓縮 (lossless compression) 位元率分配 (bit allocation) 和量化 (quantization) 等技術 24

25 音訊訊號壓縮 25 音樂壓縮技術眾多, 有 MPEG4 規格內的 AAC 和 OGG QuickTime 的 MOV 微軟的 WMA 日本 NNT 公司的 VQF, 它是第一個認真挑戰 MP3 的壓縮格式 RealNetwork 的 Real Audio 格式, 是最老的音樂壓縮格式, 被設計用來進行語音在網頁上的傳遞, 後來改為同時支援 audio 和 video 的壓縮 MP3 Pro, 由 FhG 實驗室所開發出來的壓縮技術, 相容於 MP3 就品質和壓縮比而言,MP3 不是最好的技術, 甚至還低於上述大部分的演算法 話雖如此,MP3 仍是至今最普及的數位音樂交換格式 Why? Open Structure Fast Access for Academic and Industry Research

26 Measures of Performance 26 The relative complexity of the algorithm. The memory required to implement the algorithm. How fast the algorithm performed on a given machine? The amount of compression. Compression ratio & Bit rate How the Distortion Mathematical difference : SNR, PSNR Perceptual difference : MNR

27 Speech vs. Audio 27 Frequency limitation Involved Technique Speech 20Hz ~ 4KHz Modeling Waveform coding Differential coding Subband coding Quantization Parametric coding Audio Complexity Low High Algorithm G. 711 GSM HR/EFR ADPCM G Hz ~ 20KHz Modeling Transform coding Perceptual coding Predictive coding Subband coding Quantization Parametric coding Lossless coding Bit allocation MPEG Audio (MP3, AAC, Ogg Vorbis) MOV VQF WMA Real Audio

28 Sampling Nyquist theorem The sampling frequency should be at least twice the highest frequency contained in the signal. fc : The highest frequency Sampling frequency fs 2 f 1 Sampling period Ts = f s c 0 Ts 2Ts 3Ts 4Ts 5Ts 6Ts 7Ts 8Ts 9Ts t 28

29 Quantization Uniform quantization quantization level number code word After sampling 0 Ts 2Ts 3Ts 4Ts 5Ts 6Ts 7Ts 8Ts 9Ts t 29

30 Uniform Quantization 30 quantization level number n : bits per sample Quantization Level Mean square error code word σ M 2 q = 2 n 2 = 12 After quantization 0 Ts 2Ts 3Ts 4Ts 5Ts 6Ts 7Ts 8Ts 9Ts t Step size = 2X M max SNR(dB) = 6. 02n db