映像・音声について
音声・映像について触れることになったため少しまとめようと思います。
今まで映像・音声についてそこまで意識をせずに使用していましたが
いざ触るとなると様々な知識が必要となることがわかりました。
また、とてもとっつきにくい分野なので理解のきっかけになれば良いなと思っています。
今回は深い部分には触れずさらっと書いていきます。
■mp4ファイルが出来上がる過程
まずは基本の知識として加工をしつつmp4までの処理を簡単に記載します。
1.カメラ・マイク からデータを受け取る
↓
2.デコード処理
↓
3.加工処理
↓
4.エンコード処理
↓
5.多重化処理
mp4ファイル完成！！
といった流れになります。
■エンコード・デコードとは
・デコード
カメラ・マイクからのデータは符号化と呼ばれる処理が行われた状態でデータが来るため、加工処理を行うためには生データに戻す必要があるのですがその処理をデコードと呼びます。
また、生データを多重化処理に進めるためには符号化を行う必要があります。
その処理をエンコードと呼びます。
符号化には様々なコーデック（符号化）の種類があるため必要に応じて覚える必要があります。
符号化の種類によって映像・音声の質や圧縮率や処理負荷などが変わってきます。
また、同じ符号化であってもプロファイルと呼ばれる設定等によりさらに変わってきます。
■多重化とは
エンコードしたデータをコンテナに詰める処理です。
コンテナとは映像・音声の入れ物のことでmp4等がある。
今回はこのぐらいで終わりたいと思います。
映像・音声を扱う上でとっかかりとなる内容しか書いていませんが、今後もう少し深い内容を書いていきたい思います。
