質問・問題
Native 向け Video/Voice SDK に含まれる拡張ライブラリ (Extension Library) について教えて下さい
回答・解決方法
当記事は 3.x の Native 向け Video/Voice SDK を対象としています。
Native SDK には、オプションとしてプロジェクトに組み込むことができる拡張ライブラリが用意されています。これらのライブラリは自身のファイル名に「extension」の文字列を含みます。
拡張ライブラリの機能を必要としない場合、これらを含めないことでアプリサイズを抑えることができます。
現在提供されている拡張ライブラリに関する概要は、以下のとおりです:
-
Deep-learning noise reduction library
SDK は定常バックグラウンドノイズに作用する、従来のノイズリダクション機能をデフォルトで有効にしています。本ライブラリのディープラーニングによるノイズリダクションは更に非定常ノイズにも対応します。本ライブラリをプロジェクトに統合し、専用の API (
enableDeepLearningDenoise
) を呼び出すことでご利用いただけます。 -
AV1 library (ベータ版)
画面共有されるテキストの見やすさを向上させるライブラリです。この機能を利用したい場合、お問合せ下さい。
-
JND library (ベータ版)
JND (Just-noticeable difference) 機能を使った、画質を維持しつつ消費帯域を抑えるビデオエンコーディングを提供するライブラリです。例として、帯域制限された状況下におけるビデオの滑らかさの向上や、モバイルネットワーク下でのネットワークトラフィック消費の低減、が期待できます。この機能を利用したい場合、お問合せ下さい。 -
Virtual background library
バーチャル背景機能を提供するライブラリです。本ライブラリをプロジェクトに統合し、専用の API (
enableVirtualBackground
) を呼び出すことでご利用いただけます。 -
ROI library (ベータ版)
ROI (Region of Interest) 機能は、顔・ポートレート認識に使われる、顔やバーチャル背景のセグメンテーションアルゴリズムに適用されます。ROI の部分に対して高品質なエンコーディングを施すことで、顔・ポートレートがより鮮明となります。この機能を利用したい場合、お問合せ下さい。
-
Super resolution library (ベータ版、Android/iOS 向け)
超解像 (super resolution) 機能は、本ライブラリをプロジェクトに統合し、専用の API (enableRemoteSuperResolution
) を呼び出すことでご利用いただけます。 -
Video enhancement library
v3.6.0 以降、基本的な映像補正機能に関するライブラリを提供しています。
この他、v3.6.2 では、映像のローライト・カラー補正およびノイズリダクションの機能を提供するライブラリを追加しています:
□setBeautyEffectOptions
: 映像補正に関する設定
□setVideoDenoiserOptions
: ビデオノイズリダクションに関する設定
□setLowlightEnhanceOptions
: ローライト補正に関する設定
□setColorEnhanceOptions
: カラー補正に関する設定 -
Full-format audio decoding library
v3.6.2 以降、startAudioMixing
の操作感を以下のように最適化した専用のデコードライブラリを提供しています:
□ 再生時に音がフリーズおよび音が出ない問題の軽減
□getAudioFileInfo
が返す曲再生時間の精度向上
□ より多くのオーディオファイル形式のサポート
この拡張ライブラリを含めない場合、SDK はベーシックのオーディオデコードライブラリーを使用します。 -
Spatial audio effect library
v3.7.0 以降、リモートユーザーの音声に空間の概念を与え、現実世界での音声伝送プロセスをシミュレートする空間オーディオ効果ライブラリを提供しています。この機能を利用したい場合、お問合せ下さい。 -
ReplayKit library (iOS のみ)
v3.7.0 で追加されたstartScreenCapture
API をサポートする拡張ライブラリとなります。
プラットフォーム毎の拡張ライブラリの名称、およびライブラリ統合後のアプリサイズの増加分の目安については、以下よりご覧ください:
3.x Doc.