Доклад Константина Цховребова, ведущего Android-разработчика MobileUp, на AppsConf 2016.

1. Обработка голоса кодеком на
Си под Андроид? Сделано!
Константин Цховребов
Android Team Lead

2. NDK — что это?

3. NDK — зачем?
производительность
«низкий» уровень работы
сторонние библиотеки
общее ядро для разных платформ
сокрытие реализации

4. NDK != МАГИЯ
Если приложение написано
криво, то NDK не поможет
Многие вещи уже реализованы
нативно: cursor, canvas и другие

5. Реальная задача
Compress
User AudioRecord
File

6. Какие кодеки есть?

MPEG-1 Layer III (MP3)

Advanced Audio Codec (AAC)

Ogg Vorbis (OGG)

Free Lossless Audio Codec (FLAC)

GSM-FR

Adaptive multi rate (AMR)

G.723.1

G.729

Internet Low Bitrate Codec (iLBC)

7. Почему Opus?
CELT
SILK
OPUS
Первый релиз 6 декабря 2012

8. Почему Opus?

9. Почему Opus?

10. Почему Opus?

Bitrates from 6 kb/s to 510 kb/s

Sampling rates from 8 kHz (narrowband) to 48 kHz (fullband)

Frame sizes from 2.5 ms to 60 ms

Support for both constant bitrate (CBR) and variable bitrate (VBR)

Support for speech and music

Support for mono and stereo

Support for up to 255 channels (multistream frames)

Dynamically adjustable bitrate, audio bandwidth, and frame size

Good loss robustness and packet loss concealment (PLC)

Floating point and fixed-point implementation

11. Ogg

12. Все библиотеки OpenSource, но...

13. Подготовка проекта
1) Скачиваем NDK
https://developer.android.com/intl/ru/ndk/downloads/index.html
2) Скачиваем кодек Opus и доп. инструментарий OpusFile
http://www.opus-codec.org/downloads/
3) Скачиваем инструмент для упаковки в Ogg
https://xiph.org/downloads/
4) Создаем стандартную
новую папку для проекта

14. Подготовка проекта
В файл ./local.properties добавляем путь к NDK:
sdk.dir=/.../sdk
ndk.dir=/.../ndk/android-ndk-r11c

15. Подготовка проекта
Создаем стандартную структуру модуля с
дополнительной папкой jni

16. Подготовка проекта
app/build.gradle
android {
...
sources {
jni {
source {
}
}
jniLibs {
source {
srcDir 'src/main/libs'
}
}
}
...
}

17. Сборка нативных исходников
В папку jni складываем
загруженные проекты

18. Сборка нативных исходников
В папке jni создаем файл Application.mk и указываем
платформы, под которые нужна сборка:
APP_ABI := armeabi­v7a x86
(Либо all)

19. Сборка нативных исходников
В папке jni создаем файл Android.mk и описываем
процесс сборки:
#указываем корневую директорию
LOCAL_PATH := $(call my-dir)
#очищаем внутренние переменные
include $(CLEAR_VARS)
#имя модуля
LOCAL_MODULE := opusfile

20. Сборка нативных исходников
#С флаги для сборки кода
LOCAL_CFLAGS := -w -std=gnu99 -DANDROID_NDK ...
#С++ флаги для сборки кода
LOCAL_CPPFLAGS := -DBSD=1 -ffast-math -O2 -funroll-loops
#подключение вывода в стандартный лог андроида
LOCAL_LDLIBS := -llog
#разный режим сборки в зависимости от платформы
ifeq ($(TARGET_ARCH_ABI),armeabi)
LOCAL_ARM_MODE := thumb
else
LOCAL_ARM_MODE := arm
endif

21. Сборка нативных исходников
#пути ко всем заголовочным *.h файлам
LOCAL_C_INCLUDES :=
./opus/include
./opus/silk
./opus/silk/fixed
./opus/celt
./opus
./opus/src
./opusfile/src
./opusfile/include
./ogg/include

22. Сборка нативных исходников
#поиск исходников по папкам
OPUS_SRC_FILES := $(wildcard $(LOCAL_PATH)/opus/*/*.c)
OPUS_SRC_FILES += $(wildcard $(LOCAL_PATH)/opus/celt/*/*.c)
OPUS_SRC_FILES += $(wildcard $(LOCAL_PATH)/opus/silk/fixed/*.c)
OPUSFILE_SRC_FILES := $(wildcard $(LOCAL_PATH)/opusfile/src/*.c)
OGG_SRC_FILES := $(wildcard $(LOCAL_PATH)/ogg/src/*.c)
#пути ко всем найденным *.c файлам
LOCAL_SRC_FILES := $(OPUS_SRC_FILES)
LOCAL_SRC_FILES += $(OPUSFILE_SRC_FILES)
LOCAL_SRC_FILES += $(OGG_SRC_FILES)
#сборка .so библиотеки
include $(BUILD_SHARED_LIBRARY)

23. Сборка нативных исходников
Вызываем в папке jni команду
.../android-­ndk-­r11с/ndk­-build
и если все пройдет без ошибок, то в папке main появятся библиотеки

24. JNI (Java Native Interface)

25. Преимущества JNI
Аналоги:

Netscape Java Runtime Interface

Microsoft’s Raw Native Interface and COM/Java Interface
Двоичная (бинарная) совместимость

26. Как работать с JNI
1) Java интерфейс

с методами, отмеченными словом native

с подгрузкой нативной .SO библиотеки
2) Реализация методов в .С файле

с зависимостью <jni.h>

с хитрым именованием методов

27. Как работать с JNI
com.example.Sample.java
public native int getLength(String str);
SampleNativeImpl.c
JNI_EXPORT jint Java_com_example_Sample_getLength(
JNIEnv *env,
jobject jobj,
jstring str) {...}
*env – указатель на интерфейс;
jоbj – ссылка на объект, в котором описан нативный метод;
str – передаваемый аргумент;

28. Настройка JNI
package com.terrakok.opusfile;
import java.nio.ByteBuffer;
public class OpusHelper {
public native int startRecord(String path);
public native int writeFrame(ByteBuffer frame, int len);
public native void stopRecord();
public native int openOpusFile(String path);
public native int seekOpusFile(float position);
public native int isOpusFile(String path);
public native void closeOpusFile();
public native void readOpusFile(ByteBuffer buffer, int capacity, int[]
args);
public native long getTotalPcmDuration();
static {
System.loadLibrary("opusfile");
}
}

29. Настройка JNI
Создаем .../app/src/main/jni/audio.c, в котором важно следующее:
#include <jni.h>
#include <ogg/ogg.h>
#include <opus.h>
#include <opusfile.h>
JNIEXPORT int Java_com_terrakok_opusfile_OpusHelper_startRecord(JNIEnv
*env, jclass class, jstring path) {...}

30. Финальная сборка
Осталось добавить файл audio.c в сборочный конфиг Android.mk
LOCAL_SRC_FILES += ./audio.c
И повторно вызвать ndk-build
Теперь, вызывая методы класса OpusHelper, мы будем работать с
нативным кодом!

31. Где посмотреть?
https://bitbucket.org/terrakok/androidopustools

32. Хорошие новости
Android Studio 2.2
Improved C++ Support:

edit, build, and debug

use ndk-build or Cmake

and more

33. Еще хорошие новости

34. Спасибо!
Цховребов Константин
Telegram: @terrakok
Email: terrakok@mobileup.ru