Android Camera-Camera2使用

上篇文章介紹了Camera1的使用,本篇介紹Camera2的使用。
Camera2(android.hardware.camera2)是從 Android 5.0 L 版本開始引入的,并且廢棄了舊的相機框架Camera1(android.hardware.Camera)。
相比于Camera1,Camera2架構上也發生了變化,API上的使用難度也增加了。Camera2將相機設備模擬成一個管道,它按順序處理每一幀的請求并返回請求結果給客戶端。

設計框架

來自官網的模型圖,展示了相關的工作流程

相機核心操作模型

重新設計 Android Camera API 的目的在于大幅提高應用對于 Android 設備上的相機子系統的控制能力,同時重新組織 API,提高其效率和可維護性。
在CaptureRequest中設置不同的Surface用于接收不同的圖片數據,最后從不同的Surface中獲取到圖片數據和包含拍照相關信息的CaptureResult。

優點

通過設計框架的改造和優化,Camera2具備了以下優點:

  • 改進了新硬件的性能。Supported Hardware Level的概念,不同廠商對Camera2的支持程度不同,從低到高有LEGACY、LIMITED、FULL 和 LEVEL_3四個級別
  • 以更快的間隔拍攝圖像
  • 顯示來自多個攝像機的預覽
  • 直接應用效果和濾鏡

開發流程

框架上的變化,對整個使用流程變化也非常大,首先了解一些主要的開發類

CameraManager

相機系統服務,用于管理和連接相機設備

CameraDevice

相機設備類,和Camera1中的Camera同級

CameraCharacteristics

主要用于獲取相機信息,內部攜帶大量的相機信息,包含攝像頭的正反(LENS_FACING)、AE模式、AF模式等,和Camera1中的Camera.Parameters類似

CaptureRequest

相機捕獲圖像的設置請求,包含傳感器,鏡頭,閃光燈等

CaptureRequest.Builder

CaptureRequest的構造器,使用Builder模式,設置更加方便

CameraCaptureSession

請求抓取相機圖像幀的會話,會話的建立主要會建立起一個通道。一個CameraDevice一次只能開啟一個CameraCaptureSession。
源端是相機,另一端是 Target,Target可以是Preview,也可以是ImageReader。

ImageReader

用于從相機打開的通道中讀取需要的格式的原始圖像數據,可以設置多個ImageReader。

流程

Camera2開發流程

獲取CameraManager

CameraManager cameraManager = (CameraManager) getSystemService(Context.CAMERA_SERVICE);

獲取相機信息

for (String cameraId : cameraManager.getCameraIdList()) {
    CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId);

    Integer facing = characteristics.get(CameraCharacteristics.LENS_FACING);
    if (null != facing && facing == CameraCharacteristics.LENS_FACING_FRONT) {
        continue;
    }
    ....
}

這里默認選擇前置攝像頭,并獲取相關相機信息。

初始化ImageReader

mImageReader = ImageReader.newInstance(largest.getWidth(), largest.getHeight(), ImageFormat.JPEG, 2);
mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
    @Override
    public void onImageAvailable(ImageReader reader) {
        Log.d("DEBUG", "##### onImageAvailable: " + mFile.getPath());
        mBackgroundHandler.post(new ImageSaver(reader.acquireNextImage(), mFile));
    }
}, mBackgroundHandler);

ImageReader是獲取圖像數據的重要途徑,通過它可以獲取到不同格式的圖像數據,例如JPEG、YUV、RAW等。通過ImageReader.newInstance(int width, int height, int format, int maxImages)創建ImageReader對象,有4個參數:

  • width:圖像數據的寬度
  • height:圖像數據的高度
  • format:圖像數據的格式,例如ImageFormat.JPEGImageFormat.YUV_420_888
  • maxImages:最大Image個數,Image對象池的大小,指定了能從ImageReader獲取Image對象的最大值,過多獲取緩沖區可能導致OOM,所以最好按照最少的需要去設置這個值

ImageReader其他相關的方法和回調:

  • ImageReader.OnImageAvailableListener:有新圖像數據的回調
  • acquireLatestImage():從ImageReader的隊列里面,獲取最新的Image,刪除舊的,如果沒有可用的Image,返回null
  • acquireNextImage():獲取下一個最新的可用Image,沒有則返回null
  • close():釋放與此ImageReader關聯的所有資源
  • getSurface():獲取為當前ImageReader生成Image的Surface

打開相機設備

try {
    if (!mCameraOpenCloseLock.tryAcquire(2500, TimeUnit.MILLISECONDS)) {
        throw new RuntimeException("Time out waiting to lock camera opening.");
    }

    cameraManager.openCamera(mCameraId, mStateCallback, mBackgroundHandler);
} catch (Exception e) {
    e.printStackTrace();
}

cameraManager.openCamera(@NonNull String cameraId,@NonNull final CameraDevice.StateCallback callback, @Nullable Handler handler)的三個參數:

  • cameraId:攝像頭的唯一標識
  • callback:設備連接狀態變化的回調
  • handler:回調執行的Handler對象,傳入null則使用當前的主線程Handler

其中callback回調:

private final CameraDevice.StateCallback mStateCallback = new CameraDevice.StateCallback() {
    @Override
    public void onOpened(@NonNull CameraDevice camera) {
        mCameraOpenCloseLock.release();
        mCameraDevice = camera;
        createCameraPreviewSession();
    }

    @Override
    public void onDisconnected(@NonNull CameraDevice camera) {
        mCameraOpenCloseLock.release();
        camera.close();
        mCameraDevice = null;
    }

    @Override
    public void onError(@NonNull CameraDevice camera, int error) {
        mCameraOpenCloseLock.release();
        camera.close();
        mCameraDevice = null;
    }

    @Override
    public void onClosed(@NonNull CameraDevice camera) {
        super.onClosed(camera);
    }
};
  • onOpened:表示相機打開成功,可以真正開始使用相機,創建Capture會話
  • onDisconnected:當相機斷開連接時回調該方法,需要進行釋放相機的操作
  • onError:當相機打開失敗時,需要進行釋放相機的操作
  • onClosed:調用Camera.close()后的回調方法

創建Capture會話

在CameraDevice.StateCallback的onOpened回調中執行:

private void createCameraPreviewSession() {
    SurfaceTexture texture = mTextureView.getSurfaceTexture();
    assert texture != null;
    texture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());
    Surface surface = new Surface(texture);

    try {
        mPreviewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
        mPreviewRequestBuilder.addTarget(surface);

        // Here, we create a CameraCaptureSession for camera preview.
        mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),
                new CameraCaptureSession.StateCallback() {

                    @Override
                    public void onConfigured(@NonNull CameraCaptureSession cameraCaptureSession) {
                        // The camera is already closed
                        if (null == mCameraDevice) {
                            return;
                        }

                        // When the session is ready, we start displaying the preview.
                        mCaptureSession = cameraCaptureSession;
                        try {
                            // Auto focus should be continuous for camera preview.
                            mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_MODE,
                                    CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
                            // Flash is automatically enabled when necessary.
                            setAutoFlash(mPreviewRequestBuilder);

                            // Finally, we start displaying the camera preview.
                            mPreviewRequest = mPreviewRequestBuilder.build();
                            mCaptureSession.setRepeatingRequest(mPreviewRequest,
                                    mCaptureCallback, mBackgroundHandler);
                        } catch (CameraAccessException e) {
                            e.printStackTrace();
                        }
                    }

                    @Override
                    public void onConfigureFailed(
                            @NonNull CameraCaptureSession cameraCaptureSession) {
                        Toast.makeText(Camera2Activity.this, "configureFailed", Toast.LENGTH_SHORT).show();
                    }
                }, null
        );
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
}

這段的代碼核心方法是mCameraDevice.createCaptureSession()創建Capture會話,它接受了三個參數:

  • outputs:用于接受圖像數據的surface集合,這里傳入的是一個preview的surface
  • callback:用于監聽 Session 狀態的CameraCaptureSession.StateCallback對象
  • handler:用于執行CameraCaptureSession.StateCallback的Handler對象,傳入null則使用當前的主線程Handler

創建CaptureRequest

CaptureRequest是向CameraCaptureSession提交Capture請求時的信息載體,其內部包括了本次Capture的參數配置和接收圖像數據的Surface。

mPreviewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
mPreviewRequestBuilder.addTarget(surface);

通過CameraDevice.createCaptureRequest()創建CaptureRequest.Builder對象,傳入一個templateType參數,templateType用于指定使用何種模板創建CaptureRequest.Builder對象,templateType的取值:

  • TEMPLATE_PREVIEW:預覽模式
  • TEMPLATE_STILL_CAPTURE:拍照模式
  • TEMPLATE_RECORD:視頻錄制模式
  • TEMPLATE_VIDEO_SNAPSHOT:視頻截圖模式
  • TEMPLATE_MANUAL:手動配置參數模式

除了模式的配置,CaptureRequest還可以配置很多其他信息,例如圖像格式、圖像分辨率、傳感器控制、閃光燈控制、3A(自動對焦-AF、自動曝光-AE和自動白平衡-AWB)控制等。在createCaptureSession的回調中可以進行設置

// Auto focus should be continuous for camera preview.
mPreviewRequestBuilder.set(CaptureRequest.CONTROL_AF_MODE,
        CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
// Flash is automatically enabled when necessary.
setAutoFlash(mPreviewRequestBuilder);

// Finally, we start displaying the camera preview.
mPreviewRequest = mPreviewRequestBuilder.build();

代碼中設置了AF為設置未圖片模式下的連續對焦,并設置自動閃光燈。最后通過build()方法生成CaptureRequest對象。

預覽

Camera2中,通過連續重復的Capture實現預覽功能,每次Capture會把預覽畫面顯示到對應的Surface上。連續重復的Capture操作通過mCaptureSession.setRepeatingRequest(mPreviewRequest,mCaptureCallback, mBackgroundHandler)實現,該方法有三個參數:

  • request:CaptureRequest對象
  • listener:監聽Capture 狀態的回調
  • handler:用于執行CameraCaptureSession.CaptureCallback的Handler對象,傳入null則使用當前的主線程Handler

停止預覽使用mCaptureSession.stopRepeating()方法。

拍照

設置上面的request,session后,就可以真正的開始拍照操作

mCaptureSession.capture(mPreviewRequestBuilder.build(), mCaptureCallback, mBackgroundHandler);

該方法也有三個參數,和mCaptureSession.setRepeatingRequest一樣:

  • request:CaptureRequest對象
  • listener:監聽Capture 狀態的回調
  • handler:用于執行CameraCaptureSession.CaptureCallback的Handler對象,傳入null則使用當前的主線程Handler

這里設置了mCaptureCallback:

private CameraCaptureSession.CaptureCallback mCaptureCallback = new CameraCaptureSession.CaptureCallback() {
    @Override
    public void onCaptureProgressed(@NonNull CameraCaptureSession session, @NonNull CaptureRequest request, @NonNull CaptureResult partialResult) {
        process(partialResult);
    }

    @Override
    public void onCaptureCompleted(@NonNull CameraCaptureSession session, @NonNull CaptureRequest request, @NonNull TotalCaptureResult result) {
        process(result);
    }

    private void process(CaptureResult result) {
        switch (mState) {
            case STATE_PREVIEW: {
                // We have nothing to do when the camera preview is working normally.
                break;
            }
            case STATE_WAITING_LOCK: {
                Integer afState = result.get(CaptureResult.CONTROL_AF_STATE);
                Log.d("DEBUG", "##### process STATE_WAITING_LOCK: " + afState);
                if (afState == null) {
                    captureStillPicture();
                } else if (CaptureResult.CONTROL_AF_STATE_FOCUSED_LOCKED == afState ||
                        CaptureResult.CONTROL_AF_STATE_NOT_FOCUSED_LOCKED == afState) {
                    // CONTROL_AE_STATE can be null on some devices
                    Integer aeState = result.get(CaptureResult.CONTROL_AE_STATE);
                    if (aeState == null ||
                            aeState == CaptureResult.CONTROL_AE_STATE_CONVERGED) {
                        mState = STATE_PICTURE_TAKEN;
                        captureStillPicture();
                    } else {
                        runPrecaptureSequence();
                    }
                }
                break;
            }
            case STATE_WAITING_PRECAPTURE: {
                // CONTROL_AE_STATE can be null on some devices
                Integer aeState = result.get(CaptureResult.CONTROL_AE_STATE);
                if (aeState == null ||
                        aeState == CaptureResult.CONTROL_AE_STATE_PRECAPTURE ||
                        aeState == CaptureRequest.CONTROL_AE_STATE_FLASH_REQUIRED) {
                    mState = STATE_WAITING_NON_PRECAPTURE;
                }
                break;
            }
            case STATE_WAITING_NON_PRECAPTURE: {
                // CONTROL_AE_STATE can be null on some devices
                Integer aeState = result.get(CaptureResult.CONTROL_AE_STATE);
                if (aeState == null || aeState != CaptureResult.CONTROL_AE_STATE_PRECAPTURE) {
                    mState = STATE_PICTURE_TAKEN;
                    captureStillPicture();
                }
                break;
            }
        }
    }
};

通過設置mState來區分當前狀態,是在預覽還是拍照

關閉相機

退到后臺或者當前頁面被關閉的時候,已經不需要使用相機了,需要進行相機關閉操作,釋放資源,

private void closeCamera() {
    try {
        mCameraOpenCloseLock.acquire();
        if (null != mCaptureSession) {
            mCaptureSession.close();
            mCaptureSession = null;
        }
        if (null != mCameraDevice) {
            mCameraDevice.close();
            mCameraDevice = null;
        }
        if (null != mImageReader) {
            mImageReader.close();
            mImageReader = null;
        }
    } catch (InterruptedException e) {
        throw new RuntimeException("Interrupted while trying to lock camera closing.", e);
    } finally {
        mCameraOpenCloseLock.release();
    }
}

先后對CaptureSession,CameraDevice,ImageReader進行close操作,釋放資源。
這里僅僅對Camera2基本使用流程做了介紹,一些更高級的用法需要大家自行去實踐。在Camera1中需要對畫面進行方向矯正,而Camera2是否需要呢,關于相機Orientation相關的知識,通過后面的章節再進行介紹。

文章中涉及到的代碼

參考:

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容