一、紋理基礎
3D圖形渲染中最基本的操作就是對一個表面應用紋理。紋理可以表現(xiàn)只從網(wǎng)格的幾何形狀無法得到的附加細節(jié)。
紋理的形式:2D紋理、2D紋理數(shù)組、3D紋理和立方圖紋理
紋理通常使用紋理坐標應用到一個表面,紋理坐標可以視為紋理數(shù)組數(shù)據(jù)中的索引。
2D紋理
2D紋理是最基本和常用的紋理形式,是一個圖像的二維數(shù)組,一個紋理的單獨數(shù)據(jù)元素作為“紋素”
2D紋理的紋理坐標用一對2D坐標(s, t)表示, 也稱做(u, v)坐標
紋理的基本格式
格式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?紋素數(shù)據(jù)描述
GL_RED ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(紅)
GL_RG ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? (紅, 綠)
GL_RGB ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? (紅, 綠, 藍)
GL_RGBA ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(紅, 綠, 藍, Alpha)
GL_LUMINANCE ? ? ? ? ? ? ? ? ? ? ? ? ? ? (亮度)
GL_LUMINANCE_ALPHA ? ? ? ? ? ? ? ? (亮度,Alpha)
GL_ALPHA ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (Alpha)
GL_DEPTH_COMPONENT ? ? ? ? ? ? ? ?(深度)
GL_DEPTH_STENCIL ? ? ? ? ? ? ? ? ? ? ? ? (深度, 模板)
GL_RED_INTEGER ? ? ? ? ? ? ? ? ? ? ? ? ? ? (整數(shù)紅)
GL_RG_INTEGER ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (整數(shù)紅, 整數(shù)綠)
GL_RGB_INTEGER ? ? ? ? ? ? ? ? ? ? ? ? ? ? (整數(shù)紅, 整數(shù)綠, 整數(shù)藍)
GL_RGBA_INTEGER ? ? ? ? ? ? ? ? ? ? ? ? ? (整數(shù)紅, 整數(shù)綠, 整數(shù)藍, Alpha)
紋理圖像的左下角由st坐標(0.0, 0.0)指定,右上角由st坐標(1.0, 1.0)指定。
立方圖紋理
由6個單獨2D紋理面組成的紋理。3D立方圖由多種高級使用方式,但最常用的是所謂的環(huán)境貼圖特效。
3D紋理
3D紋理可以看作是2D紋理多個切片的一個數(shù)組,它用一個3元(s, t, r)坐標訪問,這與立方圖很相似
2D紋理數(shù)組
2D紋理數(shù)組與3D紋理相似,但用途不同。3D紋理過濾發(fā)生在切片之間,2D紋理數(shù)組的讀取只從一個單獨的切片采樣。mip貼圖也不一樣。
紋理對象和紋理的加載
1、創(chuàng)建一個紋理對象。紋理對象是一個容器對象,保存玄灘所需要的紋理數(shù)據(jù)。紋理對象用一個無符號整數(shù)表示,使用的函數(shù)是 glGenTextures:
void glGenTextures(GLsizei n, GLuint *textures);
參數(shù)說明:
n : 指定要生成后的紋理對象數(shù)量
textures : 保存 n 個紋理對象ID的無符號整形數(shù)組
當不再需要的時候,也可以刪除。刪除函數(shù)是 glDeleteTextures(GLsizei n, GLuint *textures)
2、生成紋理對象ID之后,需要對紋理對象ID進行綁定操作。使用函數(shù)是glBindTexture
void?glBindTexture(GLenum target, GLuint texture);
參數(shù)說明:
target : 將紋理對象綁定到GL_TEXTURE_2D、GL_TEXTURE_3D、GL_TEXTURE_2D_ARRAY、GL_TEXTURE_CUBE_MAP目標
texture : 需要綁定的紋理對象句柄
綁定紋理目標后,紋理對象在刪除之前一直綁定到它的目標上。
3、使用紋理的下一個步驟是真正地加載圖像數(shù)據(jù)。用于加載2D和立方圖紋理的基本函數(shù)是glTexImage2D,此外,可以使用多種替代方法指定2D紋理,包括不可變紋理(glTexStorage2D) 和 glTexSubImage2D 的節(jié)后。
void glTexImage2D(GLenum target, GLint level, GLenum internalFormat, GLsizei width, GLsizei height, GLint border, GLenum format, GLenum type, const void* pixels)
參數(shù)說明:
level : 指定要加載的mip級別。第一個是0,后續(xù)的mip貼圖級別遞減。
internalFormat : 紋理存儲的內(nèi)部樣式;可以是未確定大小的基本內(nèi)部樣式,或者是確定大小的內(nèi)部樣式。
未確定大小的內(nèi)部格式有:
GL_RGBA、GL_RGB、GL_LUMINANCE_ALPHA、GL_LUMINANCE、GL_ALPHA
其他為確定大小的內(nèi)部格式
width : 圖像的像素寬度
height : 圖像的像素高度
format : 輸入的紋理數(shù)據(jù)格式,格式為基本的紋理格式
type: 輸入像素數(shù)據(jù)的類型, 可以是 GL_UNSIGNED_BYTE、GL_BYTE、GL_UNSIGNED_SHORT、GL_SHORT、GL_UNSIGNED_INT、GL_FLOAT等基本像素格式
pixels 包含圖像的實際想素數(shù)據(jù)。數(shù)據(jù)必須包含 (width * height * 深度) 個像素,像素行必須對齊到用glPixelStorei 設置的GL_UNPACK_ALIGNMENT
void glPixelStorei(GLenum pname, GLint param)
pname : 指定設置的像素存儲類型。
下面的選項影響調(diào)用glTexImage2D、glTexImage3D、glTexSubImage2D 和 glTexSubImage3D 時數(shù)據(jù)從內(nèi)存中解包的方式:
GL_UNPACK_ROW_LENGTH,GL_UNPACK_IMAGE_HEIGHT,GL_UNPACK_SKIP_PIXELS, GL_UNPACK_SKIP_ROWS, GL_UNPACK_SKIP_IMAGES, GL_UNPACK_ALIGNMENT
下面選項影響glReadPixels時數(shù)據(jù)打包到內(nèi)存中的方式:
GL_PACK_ROW_LENGTH,GL_PACK_IMAGE_HEIGHT,GL_PACK_SKIP_PIXELS, GL_PACK_SKIP_ROWS, GL_PACK_SKIP_IMAGES, GL_PACK_ALIGNMENT
param : 指定解包或包裝選項的整數(shù)值
整個紋理對象創(chuàng)建和加載的過程如下:
紋理過濾和mip貼圖
紋理坐標用于生成一個2D索引,以從紋理貼圖中讀取,但設置為GL_NEAREST是,就會發(fā)生點采樣/最近采樣。 最近采樣可能產(chǎn)生嚴重的視覺偽像,這是因為三角形在屏幕空間中變得較小,在不同像素間的插值,紋理坐標有較大的跳躍。解決此類偽像的方案是mip貼圖(mipmapping). mip貼圖的思路是在構建一個圖像鏈——mip貼圖鏈。
紋理渲染時發(fā)生兩種過濾:縮小與放大。
縮小發(fā)生在屏幕上投影的多邊形小于紋理尺寸的時候,即紋理尺寸要大于顯示區(qū)域的大小
放大發(fā)生在屏幕上投影的多邊形大于紋理尺寸的時候,即紋理尺寸不夠填充顯示區(qū)域時
對于放大,mip貼圖不起作用,因為我們總是從最大的可用級別進行采樣。對于縮小,則可以使用不同的采樣模式。
過濾模式用glTexParameter指定
glTexParameteri(GLenum target, GLenum pname, GLint param)
glTexParameteriv(GLenum target, GLenum pname, const GLint * params)
glTexParameterf(GLenum target, GLenum pname, GLint param)
glTexParameterfv(GLenum target, GLenum pname, const GLint * params)
參數(shù)說明:
target : 紋理目標可以是GL_TEXTURE_2D、GL_TEXTURE_3D、GL_TEXTURE_2D_ARRAY、GL_TEXTURE_CUBE_MAP
pname : 設置參數(shù),可以是 GL_TEXTURE_BASE_LEVEL、GL_TEXTURE_COMPARE_FUNC、GL_TEXTURE_COMPARE_MODE、GL_TEXTURE_MIN_FILTER、GL_TEXTURE_MAG_FILTER、GL_TEXTURE_MIN_LOD、GL_TEXTURE_MAX_LOD、GL_TEXTURE_MAX_LEVEL等
params 紋理參數(shù)設置值
例子,加載一個2d mip貼圖鏈
運行程序,得到的mipmap2d效果是這樣的:
無縫立方圖過濾
3.0的新變化,就是立方圖過濾現(xiàn)在是無縫的,各個面的邊緣能夠形成更平滑的過濾。
自動貼圖生成
3.0提供了glGenerateMipmap自動生成mip貼圖的機制
void glGenerateMipmap(GLenum target)
參數(shù)說明:
target : 為之生成mip貼圖的紋理目標, GL_TEXTURE_2D、GL_TEXTURE_3D、GL_TEXTURE_2D_ARRAY 或 GL_TEXTURE_CUBE_MAP
紋理坐標包裝
用于指定紋理坐標超出[0.0, 1.0]范圍時所發(fā)生的行為,用glTexParameter設置
包裝模式如下:
GL_REPEAT ? ? 重復紋理
GL_CLAMP_TO_EDGE 限定讀取紋理的邊緣
GL_MIRRORED_REPEAT 重復紋理和鏡像
注意,紋理包裝模式也影響過濾行為。當紋理坐標在紋理的邊緣時,線性過濾核心可能越過紋理的邊緣。這種情況下,包裝模式將決定對于核心在紋理邊緣外的部分要讀取哪些紋素
我們來看看示例,在2d mip貼圖基礎上修改
運行程序,得到的效果如下:
紋理調(diào)配
紋理調(diào)配控制輸入的R、RG、RGB或RGBA紋理中的顏色分量在著色器中讀取時如何映射到分量。
紋理細節(jié)級別
在所有紋理mip貼圖級別可用之前就能夠開始顯示場景是很實用的。
深度紋理對比(百分比漸進過濾)
GL_TEXTURE_COMPARE_FUNC 和 GL_TEXTURE_COMPARE_MODE 參數(shù)是為了提供百分比漸進過濾(PCF)功能,執(zhí)行陰影貼圖技術時,片元著色器需要比較一個片段的當前深度值和深度紋理中的深度值,確定片元是在陰影之內(nèi)還是之外。過濾需要在采樣深度值與參考值比較之后發(fā)生,否則會產(chǎn)生鋸齒。
GL_TEXTURE_COMPARE_MODE 默認是GL_NONE,當它被設置為GL_COMPARE_REF_TO_TEXTURE時,(s, t, r)的r坐標與深度紋理的值比較,然后將比較結果作為陰影紋理讀取的結果。比較函數(shù)用GL_TEXTURE_COMPARE_FUNC設置,可以設置為GL_LEGUAL、GL_GEQUAL、GL_LESS、GL_GREATER、GL_EQUAL、GL_NOTEQUAL、GL_ALWAYS、GL_NEVER
紋理格式
OpenGLES 3.0 中的格式數(shù)量比 OpenGLES 2.0 增加了許多。如果紋理用未確定大小的格式指定,則OpenGLES 可以自由選擇紋理數(shù)據(jù)存儲的內(nèi)部表現(xiàn)形式,否則將選擇至少與指定位數(shù)相同的格式。
浮點紋理格式
OpenGLES 3.0 引入
整數(shù)紋理格式
允許紋理規(guī)范在片元著色器中以整數(shù)形式讀取。不可過濾。但是R、RG和RGBA變種可以用作幀緩沖區(qū)對象中渲染的顏色附著(color attachment),此時忽略Alpha混合狀態(tài)。
共享指數(shù)紋理格式
共享指數(shù)紋理是為不需要浮點紋理使用的那么多深度位數(shù)的RGB紋理提供的一種存儲方式。通常用于高動態(tài)(HDR)圖像,這種圖像不需要半浮點或全浮點數(shù)。
sRGB紋理格式
OpenGLES3.0引入。大部分圖像存儲實際上都是sRGB顏色空間,這種非線性顏色空間使得人類能夠在不同亮度級別更好地區(qū)分顏色。
深度紋理格式
允許應用程序從幀緩沖區(qū)對象的深度附著中讀取深度值,在高級渲染算法中作用比較大。
在著色器中使用紋理
1、vertex shader
2、fragment shader
頂點著色器以一個二分量紋理坐標作為頂點輸入,并將其作為輸出傳遞給片元著色器。片元著色器消費該紋理坐標,并將其用于紋理讀取。片元著色器聲明一個類型為sampler2D的統(tǒng)一變量s_texture,采樣器是用于從紋理貼圖中讀取的統(tǒng)一變量加載一個指定紋理綁定的紋理單元的數(shù)值。在openGLES中,紋理用glActiveTexture函數(shù)綁定到紋理單元。
3、接下來就是繪制過程,如下圖所示:
4、繪制完成后,運行程序我們可以看到屏幕上繪制的畫面:
使用立方圖紋理示例
上面介紹完2D紋理,接下來我們介紹一下立方圖紋理的繪制
創(chuàng)建texture
加載glsl
vertex:
fragment:
繪制
運行程序,效果如下圖所示:
加載3D紋理和2D紋理數(shù)組
加載3D紋理和2D紋理數(shù)組的函數(shù)是glTexImage3D,它與glTexImage2D很類似。
void glTexImage3D(GLenum target, GLint level, GLenum internalFormat, GLsizei width, GLsizei height, GLsizei depth, GLint border, GLenum format, GLenum type, const void * pixels);
參數(shù)說明:
target : 指定紋理目標。應該為GL_TEXTURE3D或GL_TEXTURE_2D_ARRAY
level :指定加載的mip級別。0 表示基本級別,更大的數(shù)值表示各個后續(xù)的mip貼圖級別
internalFormat : 紋理存儲的內(nèi)部格式。可以是未確定大小的基本內(nèi)部格式或確定大小的內(nèi)部格式
width : 以像素表示的圖像寬度
height : 以像素表示的圖像高度
depth : 3D紋理的切片數(shù)量
border : 這個參數(shù)是在OpenGLES 被忽略,它是為了與桌面OpenGL接口兼容二保持的,應該為0
format :輸入紋理數(shù)據(jù)的格式
type : 輸入像素數(shù)據(jù)的類型
pixels : 包含圖像的實際像素數(shù)據(jù)。這些數(shù)據(jù)必須包含 width * height * depth 個像素,每個像素根據(jù)格式和類型規(guī)則有相應數(shù)量的字節(jié)。圖像數(shù)據(jù)應該按照2D紋理切片的順序存儲。
二、壓縮紋理
壓縮紋理可以減少紋理在設備上的內(nèi)存占用。其次,壓縮紋理節(jié)約了著色器中讀取紋理時消耗的內(nèi)存帶寬。最后壓縮紋理減少必須存儲的圖像數(shù)據(jù),從而減少了應用程序的下載大小。
OpenGLES 3.0 引入了必須支持的標準紋理壓縮格式 —— ETC2 和 EAC。
用于加載2D 紋理和立方圖壓縮圖像數(shù)據(jù)的函數(shù)是 glCompressedTexImage2D, 用于2D紋理數(shù)組的對應函數(shù)是glCompressedTexImage3D。ETC2/EAC不支持3D紋理,但可以加載供應商專用的3D紋理壓縮格式
三、紋理子圖像規(guī)范
用glTexImage2D 上傳紋理圖像之后,可以更新圖像的各個部分。加載2D紋理圖像其中一部分的函數(shù)是glTexSubImage2D。
void glTexImage2D(GLenum target, GLint level, GLint xoffset, GLint yoffset, GLsizei width, GLsizei height, GLenum format, GLenum type, const void *pixels);
target : 指定紋理目標,可以是GL_TEXTURE_2D或者立方圖面目標之一(GL_TEXTURE_CUBE_MAP_POSITIVE_X、GL_TEXTURE_CUBE_MAP_NEGATIVE_X等)
level :指定更新的mip級別
xoffset :開始更新的紋素x索引
yoffset :開始更新的紋素y索引
width :更新圖像子區(qū)域?qū)挾?/p>
height : 更新圖像子區(qū)域高度
format : 輸入紋理格式
type : 輸入像素數(shù)據(jù)的類型
pixels : 包含圖像子區(qū)域的實際像素數(shù)據(jù)
更新壓縮的2D紋理圖像的子區(qū)域 —— glCompressedTexSubImage2D
四、從顏色緩沖區(qū)復制紋理數(shù)據(jù)
OpenGLES3.0 支持的另一個紋理功能是從顏色緩沖區(qū)復制數(shù)據(jù)到一個紋理。
由于OpenGLES 3.0 只支持雙緩沖EGL可顯示表面,因此,所有在顯示器上繪圖的OpenGLES程序都有一個既用于前臺顯示又用于后臺緩沖區(qū)的顏色緩沖區(qū)。這個緩沖區(qū)當前是前臺還是后臺緩沖區(qū),有對eglSwapBuffers 的最近一次調(diào)用決定。當從可顯示EGL表面的顏色緩沖區(qū) 中復制圖像數(shù)據(jù)時,總是會復制后臺緩沖區(qū)的內(nèi)容。如果渲染到一個EGLpbuffer,則復制將發(fā)生在pbuffer表面。如果渲染到一個幀緩沖區(qū)對象, 則所復制的幀緩沖區(qū)對象的顏色附著通過調(diào)用帶GL_COLOR_ATTACHENT參數(shù)的glReadBuffer函數(shù)設置。
void glReadBuffer(GLenum mode)
mode : 指定讀取的顏色緩沖區(qū)。這將為未來的glReadPixels、glCopyTexImage2D、glCopyTexSubImage2D 和 glCopyTexSubImage3D調(diào)用設置源顏色緩沖區(qū)。該值可能為GL_BACK、GL_COLOR_ATTACHMENT 、GL_NONE
從顏色緩沖區(qū)復制到紋理的函數(shù)是glCopyTexImage2D、glCopyTexSubImage2D 和 glCopyTexSubImage3D
使用時需要注意,紋理圖像格式的分量不能多于顏色緩沖區(qū)。復制到顏色緩沖區(qū)的數(shù)據(jù)時,可以轉(zhuǎn)換為分量較少的格式,但是不能轉(zhuǎn)換為分量較多的格式。
五、采樣器對象
glTexParameter設置紋理參數(shù)可能造成大量不必要的API開銷。每個紋理對象設置采樣器成相同的狀態(tài)造成大量額外的開銷,為了緩解這個問題,引入了采樣器對象。將采樣器狀態(tài)與紋理狀態(tài)分離。采樣器對象可以用于許多紋理,降低API開銷。
1、用于生成采樣器對象的函數(shù)是 glGenSamplers
void glGenSamplers(GLsizei n, GLuint *samplers)
n : 指定生成的采樣器對象數(shù)量
samplers : 一個無符號整數(shù)數(shù)組,將容納 n 個采樣器對象ID
void glDeleteSamplers(GLsizei n, const GLuint *samplers)
n : 指定要刪除的采樣器對象
samplers :一個無符號整數(shù)數(shù)組,容納要刪除的n個采樣器對象ID
2、生成采樣器對象ID后,應用程序必須綁定采樣器對象以使用其狀態(tài)。采樣器對象綁定到紋理單元,取代glTexParameter進行的所有紋理對象狀態(tài)設置。用于綁定采樣器對象的函數(shù)是glBindSampler
void glBindSampler(GLenum unit, GLuint sampler)
unit : 指定采樣器綁定到的紋理單元
sampler : 所要綁定的采樣器對象的句柄
六、不可變紋理
不可變紋理是OpenGLES 3.0 中引入的另一種有助于改進應用程序的功能是不可變紋理。使用glTexImage2D 和 glTexImage3D 等函數(shù)獨立地指定紋理的每個mip貼圖級別。這對OpenGLES驅(qū)動程序造成的問題是驅(qū)動程序在繪圖之前無法確定紋理是否已經(jīng)完全指定。必須檢查每個mip貼圖級別或子圖像的格式是否相符、每個級別的大小是否正確以及是否有足夠的內(nèi)存。繪圖時檢查的代價可能會很高,使用不可變紋理可以避免這種情況。
一旦紋理不可變,格式和大小不會在變化。但可以通過使用glTexImage2D、glTexSubImage3D、glGenerateMipMap 或者渲染到紋理加載圖像數(shù)據(jù)。
使用glBindTexture 綁定紋理后,用glTexStorage2D 或glTexStorage3D 分配不可變存儲,即可創(chuàng)建不可變紋理。
創(chuàng)建不可變紋理后,在紋理對象上調(diào)用glTexImage、glCompressedTexImage、glCopyTexImage 或glTexStorage 都會無效,包GL_INVALID_OPERATION錯誤。