안드로이드 - CTS(Compatibility Test Suite) 테스트하는 방법

androidbasic

Android CTS는 Compatibility Test Suite의 약자입니다. CTS는 안드로이드의 호환성 테스트로, 제조사에서 안드로이드 단말을 만들면 CTS 테스트를 통과해야 판매를 할 수 있습니다. CTS는 안드로이드의 파편화를 어느정도 막아주며, 테스트 코드에서 요구하는 성능을 충족시키도록 합니다.

일반적으로 안드로이드 앱 개발자는 CTS 테스트를 수행할 이유가 없습니다. 반면에 디바이스에 안드로이드를 포팅하는 개발자는 CTS 테스트를 많이 접할 것 같습니다.

CTS 테스트 코드는 안드로이드 소스에 포함되어있으며, 안드로이드 사이트에서 빌드된 것을 다운받을 수 있습니다. CTS 테스트 툴을 다운받아 직접 테스트를 수행하는 방법을 소개하겠습니다.

CTS 툴 다운로드

Android - CTS Download 페이지를 보시면 안드로이드 버전별로 CTS 툴 다운로드 링크가 있습니다. ARM 디바이스로 테스트를 하신다면 "Android Compatibility Test Suite (CTS) - ARM"를 받아주시면 됩니다. 만약 X86 디바이스나 PC의 가상머신으로 테스트하신다면 "Android Compatibility Test Suite (CTS) - x86"를 받으시면 됩니다.

저는 Android 10의 X86버전 CTS 툴을 받았습니다. 압축을 푸시고 쉘로 폴더 위치까지 진입하세요.

CTS 툴 실행

android-cts/tools 폴더로 진입하시고 cts-tradefed 바이너리를 실행하시면 CTS 테스트 쉘로 진입합니다. CTS 테스트 명령어를 사용하여 테스트를 수행할 수 있습니다.

android-cts-10_r1-linux_x86-x86/android-cts/tools$ ./cts-tradefed
==================
Notice:
We collect anonymous usage statistics in accordance with our Content Licenses (https://source.android.com/setup/start/licenses), Contributor License Agreement (https://opensource.google.com/docs/cla/), Privacy Policy (https://policies.google.com/privacy) and Terms of Service (https://policies.google.com/terms).
==================
Android Compatibility Test Suite 10_r1 (5771379)
Use "help" or "help all" to get more information on running commands.
cts-tf >

만약 다음과 같이 aapt가 path에 설정이 안되었다고 나온다면 로컬에 다운받은 aapt의 패스를 설정해주시면 됩니다.

android-cts-10_r1-linux_x86-x86/android-cts/tools$ ./cts-tradefed
Unable to find aapt in path.

안드로이드 스튜디오의 SDK를 다운받으시면 aapt도 함께 다운로드됩니다. ".bashrc"파일에 다음처럼 aapt가 있는 폴더의 패스를 등록해주시면 됩니다.

## aapt
export PATH="/home/codechacha/Android/Sdk/build-tools/29.0.0-rc3/":$PATH

이 외에, 파이썬이라던지, 다른 프로그램이 설치되지 않아서 실행이 안된다면 각자 설치해주세요.

CTS 테스트 수행

CTS 쉘에서 다음 명령어를 치면 실행가능한 테스트 모듈을 볼 수 있습니다. 테스트 모듈은 테스트의 그룹이라고 보시면 됩니다.

cts-tf > list modules
x86_64 CtsAbiOverrideHostTestCases
x86 CtsAbiOverrideHostTestCases
x86_64 CtsAccelerationTestCases
x86 CtsAccelerationTestCases
x86_64 CtsAccessibilityServiceTestCases
....

다음 명령어를 사용하시면 모든 CTS 테스트(모든 모듈)를 수행합니다.

$ run cts

특정 모듈의 테스트만 수행하려면 다음과 같이 --module 옵션으로 모듈 이름을 명시해주시면 됩니다.

cts-tf > run cts --module CtsAccountManagerTestCases
10-16 18:23:52 I/TestInvocation: Starting invocation for cts with [ DeviceBuildInfo{bid=5771379, serial=emulator-5554} on device emulator-5554]
....

특정 모듈의 특정 클래스에 있는 테스트만 수행하고 싶을 때가 있습니다. --test 옵션에 클래스 명을 명시해주시면 됩니다.

cts-tf > run cts --module CtsAccountManagerTestCases --test android.accounts.cts.AbstractAuthenticatorTests

--test 에 명시한 클래스에 #을 붙이시고 메소드이름을 써주시면 그 메소드만 테스트합니다.

cts-tf > run cts --module CtsAccountManagerTestCases --test android.accounts.cts.AbstractAuthenticatorTests#testIsCredentialsUpdateSuggestedDefaultImpl

이런 식으로 필요한 테스트만 수행하도록 만들 수 있습니다.

결과 확인

테스트가 완료되면, CTS는 테스트 로그와 결과를 파일로 만들어 저장합니다.

logs/, results/ 라는 폴더에 로그와 결과 파일이 저장됩니다. 파일 이름은 테스트를 실행한 시간입니다.

android-cts-10_r1-linux_x86-x86/android-cts$ tree
.
├── logs
│   └── 2019.10.16_18.23.52
│       └── inv_1830944061350375746
├── results
│   └── 2019.10.16_18.23.52
│       └── vintf-files
│           ├── proc_config.gz
│           └── sepolicy
.....

더 자세한 테스트 옵션

더 많은 테스트 옵션에 대해서 알고 싶으시면 Android - CTS 명령어 페이지를 확인해보세요. 중간쯤 보시면 옵션에 대해서 자세히 설명을 하고 있습니다.

참고

Loading script...

Related Posts

codechachaCopyright ©2019 codechacha