多媒體系統(tǒng)

多媒體可分為感覺媒體、表示媒體、表現(xiàn)媒體、交換媒體。

• 感覺媒體：直接使人產(chǎn)生感覺的媒體，比如聲音、圖像、視頻。
• 表示媒體：計(jì)算機(jī)中記錄感覺的數(shù)據(jù)格式。
• 表現(xiàn)媒體：記錄感覺的輸入設(shè)備，呈現(xiàn)感覺媒體的輸出設(shè)備。
• 交換媒體：存儲、傳輸感覺的物理介質(zhì)，如存儲器、各類連接線。

聲音

聲音是一種連續(xù)的波，稱為聲波。使用幅度和頻率描述。

• 幅度：單位分貝（dB），描述聲波的振幅。
• 頻率：單位赫茲（Hz），描述聲波每秒變化次數(shù)。

按照Hz的大小，聲波可分為人耳可聽見的音頻信號（20Hz~20kHz），次聲波信號（小于20Hz），超聲波信號（大于20kHz）。
聲波會包含多種不同頻率的振動。具有清晰可辨音高的振動頻率，稱為基音頻率，其他頻率為泛音。

• 樂音：泛音頻率是基音頻率的整數(shù)倍。
• 噪音：泛音頻率不是基音頻率的整數(shù)倍。

聲音轉(zhuǎn)換成計(jì)算機(jī)處理的數(shù)據(jù)，需要進(jìn)行數(shù)字化。包含3個步驟：

1. 采樣：時間連續(xù)的信號在時間軸上離散化。
2. 量化：連續(xù)的幅度值轉(zhuǎn)換為離散值。
3. 編碼：對數(shù)字化信息壓縮編碼，減少數(shù)據(jù)量，便于存儲、處理、傳輸。

數(shù)字化后，聲音的主要參數(shù)由采樣頻率、量化位數(shù)、聲道數(shù)目、數(shù)據(jù)率、壓縮比。
數(shù)字化表示聲音的方式分波形聲音信息，非波形聲音信息。波形聲音是直接對實(shí)際聲音進(jìn)行采樣、量化獲得。非波形聲音是使用參數(shù)、模型等數(shù)據(jù)方法對聲音進(jìn)行簡要描述，并通過重構(gòu)聲音。

圖形與圖像

表示圖形、圖像的兩個要素是形狀和顏色。

• 圖形：使用矢量，如直線、曲線、圓弧等表示形狀。
• 圖像：使用像素點(diǎn)描述形狀。

顏色的三要素是色調(diào)，飽和度，亮度。三基色是指紅、綠、藍(lán)，使用三基色混合可得任意一種顏色。

• 色調(diào)：顏色的類別，例如紅、綠、藍(lán)。
• 飽和度：某一顏色的深淺程度。
• 亮度：給人的明暗程度感覺。

圖像轉(zhuǎn)換成計(jì)算機(jī)處理的數(shù)據(jù)，需要進(jìn)行數(shù)字化。
對顏色信息進(jìn)行量化，是將實(shí)際連續(xù)的色彩值離散化表示。
根據(jù)數(shù)字化圖像應(yīng)用場景不同，有不同的顏色模型。

• RGB顏色模型，也叫加色模型，用于熒光屏顯示圖像，發(fā)射不同強(qiáng)度的電子光束，混合得到不同顏色。
• CMY顏色模型，也叫減色模型，用于打印，因打印紙不是自發(fā)光的，無法通過混光產(chǎn)生不同顏色。
• YUV顏色模型，可以分離亮度Y，色度信息U,V。為黑白電視信號兼容提供支持。

真彩色：圖像的R,G,B像素值直接決定顯示設(shè)備的基色強(qiáng)度。
偽彩色：圖像像素值作為地址索引，在顏色表查找色彩進(jìn)行表示。
對形狀信息進(jìn)行量化，是將空間連續(xù)的位置離散化表示，最終得到一個矩陣/網(wǎng)格。
由于圖像數(shù)據(jù)量大，經(jīng)過壓縮更利于存儲、傳輸。圖像壓縮分有損壓縮、無損壓縮兩種。

• 有損壓縮：壓縮后有不可恢復(fù)的信息丟失，比如損失人眼不敏感的圖像信息。
• 無損壓縮：壓縮前和解壓后的數(shù)據(jù)完全一致。

動畫和視頻

動畫、視頻是將靜態(tài)的圖像按照時間順序顯示，形成連續(xù)的動態(tài)畫面。
按照運(yùn)動控制方式，分為實(shí)時動畫、矢量動畫。

• 實(shí)時動畫：用各種算法實(shí)現(xiàn)運(yùn)動物體的控制。
• 矢量動畫：矢量圖產(chǎn)生運(yùn)動效果形成的動畫。

按照視覺空間，分為二維動畫、三維動畫。

• 二維動畫：調(diào)整三維空間視點(diǎn)，看到的內(nèi)容不變。
• 三維動畫：調(diào)整三維空間視點(diǎn)，能看到不同的內(nèi)容。

三維動畫物體建模稱為造型，有3種記錄形式。

• 線框模型：用線條描述物體，包括頂點(diǎn)、棱邊。
• 表面模型：用面的組合描述物體。例如，用6個面描述立方體。
• 實(shí)體模型：用基本形體組合物體的模型是實(shí)體模型。

按信號源，分為模擬視頻、數(shù)字視頻。

• 模擬視頻：由連續(xù)的模擬信號組成的視頻，例如電視系統(tǒng)傳播的信號。每秒25幀，人眼不會感到閃爍。
• 數(shù)字視頻：活動的、連續(xù)的圖像序列。

視頻編碼分為幀內(nèi)壓縮，幀間壓縮。

• 幀內(nèi)壓縮：單獨(dú)圖像幀當(dāng)作靜態(tài)圖像，應(yīng)用靜態(tài)圖像壓縮算法實(shí)現(xiàn)壓縮。
• 幀間壓縮：利用幀間信息冗余，實(shí)現(xiàn)高效數(shù)據(jù)壓縮。