前言
這篇文章是有感而發,從一開始做實時美顏視頻錄制到現在大概能真正開始用,找了無數資料,也經歷了很長一段時間,真的感覺比較艱難,我現在寫這篇文章也希望能幫助到更多的人。
首先我需要特別感謝下程序員扛把子同學,講真,我感覺是技術大佬沒的說,最最關鍵具有共享精神,要不是他的《Android+JNI+OpenGL開發自己的美圖秀秀》我估計根本沒任何辦法完成美顏錄制。
代碼已上傳至GitHub
特別附上MagicCamera工程
提示:工程需要下載NDK
正文
其實一開始叫我做美顏錄制我是拒絕的,因為不能你叫我做我就做,最關鍵的是......
我不會啊?。?!
我就是一開發Android的,你叫我做這個明顯是超出的能力范圍的?。。?!
好吧,領導最大,你叫我做我就做,然后我就開始找這方面的資料,最先找到的就是GPUImage,后來找到了MagicCamera,可以說它已經實現了全部的功能,你唯一需要考慮的就是如何將它移植到你的工程中去。
其實上面的都不是本文的重點n(≧▽≦)n**
重點來了
我上面說過MagicCamera已經實現了全部的功能,包括實時濾鏡瀏覽到最后的錄制成MP4,但問題就出在錄制這里。
MagicCamera采用的是錄制方案來自于grafika,這是個神器,你可以從里面了解到GLSurfaceview的很多知識,據說是Google工程師fadden業余時間寫的。
這個方案實際上最終就是利用MediaCodec錄制,MediaCodec的顏色模式里有個MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
常量,設置MediaFormat.KEY_COLOR_FORMAT
后就可以通過mEncoder.createInputSurface()
創建一個Surface,然后你就可以通過OpenGL將圖像繪制到這個Surface上,MediaCodec就可以通過這個Surface錄制出H264,具體代碼可以看VideoEncoderCore。
上面方案其實非常好,效率也非常高,因為是直接硬編碼的H264,比起一般使用ffmpng的軟編碼效率要高不少,但是有個非常致命的缺點,無法設置fps。
MediaCodec有個MediaFormat.KEY_FRAME_RATE
參數,它可以設置fps,但是我發現我不管設置什么最終讀出的fps都是25幀,后來我谷歌到了《MediaCodec KEY_FRAME_RATE seems to be ignored》才知道MediaCodec不會丟幀,如果要降低fps,必須減少傳給MediaCodec的幀數,但事實上我就算減少了幀數,最終錄制出來的H264的fps還是25幀,我不知道為什么。
這里我跟yasea的作者begeekmyfriend討論過《關于取得美顏數據的效率問題》還是沒得到結果,如果有誰知道請留言告訴我下,謝謝。
如果你對MediaCodec不熟悉的話,可以看下Google官方文檔的翻譯版本《Android多媒體--MediaCodec 中文API文檔》然后結合grafika學習。
解決問題
然后我沒辦法只能尋找其他方法解決。
我這里列舉下我查找過的方法
- GLES20.glReadPixels():OpenGL方法,用于讀取像素,但我測試過只有在索尼或者三星的手機上效率可以,在國產的機子上效率低的可以差不多接近100ms,這是完全不可接受的。
- PBO:詳細請看我的另一篇文章《Android 關于美顏/濾鏡 利用PBO從OpenGL錄制視頻》。
- EGLImageKHR:它要用到一個叫GraphicBuffer的類,但是谷歌后我才知道這個類早在2.X就已經在NDK刪除了,不允許你使用,后來我找到了替代GraphicBuffer,但是想想還是算了,既然被刪除了就一定有他的道理。
- ImageReader:這個就是我最終的方案,效率完全可以接受,但是要求4.4以上。
ImageReader
這個方案是我從《Android5.0錄屏方案》中得到的靈感,這篇文章說MediaProjection是通過createVirtualDisplay()
創建的,并且它接受一個Surface,通過創建ImageReader后調用getSurface()
方法得到一個Surface后傳遞給MediaProjection,然后就可以通過ImageReader相關的API進行錄制。
這我發現跟MediaCodec創建Surface的方式一模一樣,唯一不同的就是MediaCodec錄制出來的是H264,而ImageReader拿出來的是BGRA的,用《Android ImageReader使用》的話說就是**ImageReader類允許應用程序直接訪問呈現表面的圖像數據 **。
ImageReader首先要求4.4及以上(稍微有點瑕疵,但是現在4.4以下的機子應該比較少了),并且拿出來的是BGRA的(跟Bitmap的ARGB_8888是不一樣的,這里要注意),而且在使用過程中要注意內存對齊的問題。
這里需要注意,我在Demo中是480x640的,如果是原來的1280x1080那這效率還是遠遠跟不上的。
接下來我們的思路就很清楚了
- 創建ImageReader后獲得Surface。
- TextureMovieEncoder獲取這個Surface,然后將圖像繪制到這個Surface。
- 通過
setOnImageAvailableListener
設置回調,然后通過acquireNextImage()
方法獲取每一幀。 - 將取出來的數據BGRA轉換為YUV420,通過MediaCodec或者ffmpng編碼成H264。
我們現在要做的就是替換VideoEncoderCore,創建一個ImageEncoderCore。
完整代碼請看ImageEncoderCore
public class ImageEncoderCore {
private static final int MAX_IMAGE_NUMBER = 25;//這個值代表ImageReader最大的存儲圖像
private ImageReader mImageReader;
private Surface mInputSurface;
public ImageEncoderCore(int width, int height) {
this.mImageReader = ImageReader.newInstance(width, height, PixelFormat.RGBA_8888, MAX_IMAGE_NUMBER);
mInputSurface = mImageReader.getSurface();
mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
@Override
public void onImageAvailable(ImageReader reader) {
Image image = reader.acquireNextImage();//獲取下一個
Image.Plane[] planes = image.getPlanes();
int width = image.getWidth();//設置的寬
int height = image.getHeight();//設置的高
int pixelStride = planes[0].getPixelStride();//像素個數,RGBA為4
int rowStride = planes[0].getRowStride();//這里除pixelStride就是真實寬度
int rowPadding = rowStride - pixelStride * width;//計算多余寬度
byte[] data = new byte[rowStride * height];//創建byte
ByteBuffer buffer = planes[0].getBuffer();//獲得buffer
buffer.get(data);//將buffer數據寫入byte中
//到這里為止就拿到了圖像數據,你可以轉換為yuv420,或者錄制成H264
//這里我提供一段轉換為Bitmap的代碼
//這是最終數據,通過循環將內存對齊多余的部分刪除掉
// 正常ARGB的數據應該是width*height*4,但是因為是int所以不用乘4
int[] pixelData = new int[width * height];
int offset = 0;
int index = 0;
for (int i = 0; i < height; ++i) {
for (int j = 0; j < width; ++j) {
int pixel = 0;
pixel |= (data[offset] & 0xff) << 16; // R
pixel |= (data[offset + 1] & 0xff) << 8; // G
pixel |= (data[offset + 2] & 0xff); // B
pixel |= (data[offset + 3] & 0xff) << 24; // A
pixelData[index++] = pixel;
offset += pixelStride;
}
offset += rowPadding;
}
Bitmap bitmap = Bitmap.createBitmap(pixelData,
width, height,
Bitmap.Config.ARGB_8888);//創建bitmap
image.close();//用完需要關閉
}
}, null);
}
/**
* 返回surface
*/
public Surface getInputSurface() {
return mInputSurface;
}
/**
* 釋放
*/
public void release() {
if (mImageReader != null) {
mImageReader.close();
mImageReader = null;
}
}
}
工程我直接用的是MagicCamera,將VideoEncoderCore替換成ImageEncoderCore,然后將獲取的圖像傳回主界面顯示。
結尾
實時上ImageReader對于獲取大尺寸的圖像的效率還是不是非常高,所以我在工程中使用的是480x640的分辨率,老實講我還是覺得MediaCodec的方法應該更加的好,畢竟ImageReader還需要多2步轉換過程(BGRA轉ARGB轉YUV420)。
就這些吧,共勉。