人間觀察
你什么時候覺得自己好孤獨
這篇我們介紹如何在Android中實現硬編碼為H264，用camera或者其它數據來源也行，我們先不用camera，camera還是蠻復雜的（比如前后置攝像頭預覽，yuv數據轉換，camera2等等）。本篇采用錄屏（錄制手機屏幕）然后編碼h264到文件。
如果你看了上篇文章了解了硬編碼和h264，這篇就很簡單了。
代碼用kotlin實現，學kotlin中，練練手。。。
錄屏
Android中的錄屏功能是在Android 5.0 API 21 上新增的，不需要root，但需要授權。一般直播的APP都會有這個功能，實現方案就是這個。
方案：
視頻來自屏幕，音頻來自麥克風或者播放器（如果只需要播放器的聲音的話），然后視頻編碼為h264，音頻編碼為aac，交給混合器MediaMuxer將音頻數據和視頻數據分別寫入同一個文件中的音頻軌道和視頻軌道合成為mp4,然后把mp4文件上傳到服務器。
在APP中錄屏是一種很危險的操作，必須很強制的提醒用戶，所以系統進行了彈窗授權。
錄屏請求授權
錄屏主要用到的API是MediaProjectionManager和MediaProjection。MediaProjectionManager和其它系統服務一樣，比如AlarmManager，ConnectivityManager等，通過getSystemService方法獲取。
private lateinit var mediaProjectionManager: MediaProjectionManager
mediaProjectionManager =
getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
val intent: Intent = mediaProjectionManager.createScreenCaptureIntent()
startActivityForResult(intent, REQUEST_CODE)
請求后，系統會彈個對話框提醒是否允許用戶截取屏幕上顯示的所有內容。如果允許/拒絕，則回調onActivityResult方法，系統采用這種機制說明錄屏只能在Activity中使用。
override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {
super.onActivityResult(requestCode, resultCode, data)
if (resultCode == RESULT_OK && requestCode == REQUEST_CODE) {
val mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data!!)
encodeThread = H264EncodeThread(mediaProjection)
encodeThread?.startEncode()
}
}
ok，簡單的介紹下使用方法即可，我們重點在h264的編碼，錄屏只是作為我們視頻數據的采集方式，所以錄屏這個名字應該加屏幕視頻數據的采集更貼切。
H264硬編碼
我們實現的demo是把錄屏采集的畫面經過MediaCodec編碼后寫入到文件中。還是用MediaCodec硬編碼，關于MediaCodec的使用可以參考上一篇。
初始化編碼器
init {
// H264/avc的編碼器
mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
val mediaFormat =
MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, WIDTH, HEIGHT)
mediaFormat.setInteger(
MediaFormat.KEY_COLOR_FORMAT,
MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
)
// 碼率
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, WIDTH * HEIGHT)
// i幀間隔,MediaCodec一般會按照KEY_FRAME_RATE輸出
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
// 幀率，每25幀后一次關鍵幀，即使畫面不動
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 25)
// 第4個參數需要設置為CONFIGURE_FLAG_ENCODE=1
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
// surface，錄屏和編碼的進行關聯
val surface = mediaCodec.createInputSurface()
mediaProjection.createVirtualDisplay(
"screen-h264", WIDTH, HEIGHT, 2,
DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
)
}
其中主要的一點就是如何吧屏幕采集的數據和編碼器輸入進行關聯，我們這里是屏幕采集用的是surface。系統的編碼器提供了mediaCodec.createInputSurface方法來創建一個surface，然后mediaProjection的
mediaProjection.createVirtualDisplay(
"screen-h264", WIDTH, HEIGHT, 2,
DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
)
進行關聯。這樣對于上層API調用的時候就簡單了，不需要手動的通過mediaCodec的queueInputBuffer來輸入數據給編碼器了。
- 我們傳入的是surface，這個就有了很好的可操控性，比如可以用opengl來截取屏幕指定區域的地址，或者加貼紙，水印，變色等等操作。后續文章可能會介紹
- 不需要手動給mediaCodec輸入數據了。
編碼處理
如上所訴這樣編碼的代碼就很簡單了如下：
while (!isStop) {
mediaCodec.queueInputBuffer()
val outIndex = mediaCodec.dequeueOutputBuffer(info, 10_1000)
if (outIndex >= 0) {
// 取出編碼后的H264數據
val byteBuffer = mediaCodec.getOutputBuffer(outIndex)
val data = ByteArray(info.size)
byteBuffer?.get(data)
check(data)
// to file
fos.write(data)
// 編碼。給false 不需要渲染
mediaCodec.releaseOutputBuffer(outIndex, false);
}
}
通過mediaCodec.getOutputBuffer(outIndex)采取出編碼后的h264數據寫入到文件中。同時我們有一個check方法，主要是看一下當前是SPS,PPS,IDR還是非IDR幀。
private fun check(data: ByteArray) {
var index = 4 // 00 00 00 01
if (data[2].toInt() == 0X1) { // 00 00 01
index = 3
}
// NALU的數據類型,header 1個字節的后五位
val naluType = (data[index].and(0x1F)).toInt()
if (naluType == 7) {
Log.d(TAG, "SPS")
} else if (naluType == 8) {
Log.d(TAG, "PPS")
} else if (naluType == 5) {
Log.d(TAG, "IDR")
} else {
Log.d(TAG, "非IDR=" + naluType)
}
}
按照h264碼流的結構解析，檢查視頻壓縮數據的NAL單元（NAL Unit，NALU），取出NALU的類型進行判斷，然后進行了打印。
同時我們把生成的h264文件，16進制的方式打開，截取開頭的帶SPS,PPS,IDR幀的數據，和我們之前分析的H264碼流結構一樣。
0000 0001 6742 c01f da02 d028 4400 0000
0168 ca8f 2000 0000 0165 b841 dfff ff04
4245 0001 003f 1c00 0407 2381 be3e 8047
ee36 a6ff e00d 5d26 f9ec 6cc8 d973 dfff
ff82 1580 8666 44f9 95ba 5bff 8f0c 2bc5
952c 51bd 80de 68d2 7e7f fffe 081f 012c
4eec f9bf ffc2 0b89 8030 96cc f002 7538
8045 e9ff ff87 a05a f003 67b2 4383 dfcd
40cd 218c 9edf fff8 7a0e 930e b532 200f
// 省略其它數據...
h264碼流的結構分析參考：
Android音視頻【二】 H264碼流結構
編碼器的銷毀
最后就是釋放操作
isStop = true
mediaProjection.stop()
mediaCodec.stop()
mediaCodec.release()
整體代碼參考源碼
