Подбор устройств для тестирования мобильных приложений под Android

Выбор устройств для тестирования мобильных приложений

Так как рынок Android-устройств сильно фрагментирован, то существует проблема выбора смартфонов, на которых будет выполняться тестирование.

Вот некоторые параметры, которые зависят от особенностей целевой аудитории и могут повлиять на выбор тестового устройства:

Локализация и география. В разных странах разный набор популярных устройств.
Требования заказчика (например, планшеты конкретной модели).
Разные устройства у разных социальных групп. Могут сыграть любые факторы: возраст, наличие работы и т. д.
Новостные тренды и т. п.

Вот мои 6 советов для подбора парка устройств.

1. Если приложение разрабатывается с нуля и не предполагает в ближайшее время большого количества пользователей, то лучший вариант — обзавестись устройствами, которые наиболее распространены, при этом учитывая популярность версии ОС вашей целевой аудитории. И пополняйте свой парк устройств новыми девайсами по мере роста целевой аудитории. Для этого можно следить за аналитикой, например Google Analytics.

2. В случае если нет возможности приобрести новое устройство, то для воспроизведения бага можно использовать эмуляторы. Самыми популярными по соотношению цена/качество являются эмуляторы в Android Studio и Genymotion.

Название

Особенности

Ссылка

Эмулятор в Android Studio

Работает медленно;
бесплатный

Установка Android Studio, куда входит Android Emulator

https://developer.android.com/studio/index.html#downloads

Genymotion

Работает быстро;
большой выбор устройств;
есть триальная версия и есть платная

https://www.genymotion.com/

3. Если не получается сконфигурировать нужное устройство на эмуляторе и приобретение нового устройства становится весомой статьей затрат или когда нужно протестировать баг на каком-то устройстве для специфичного рынка, то можно воспользоваться фермой мобильных устройств.Если говорить простым языком, то ферма — это парк реальных устройств, к которым можно подключиться удаленно. Все они платные, но бывают и триальные версии. Вот список хороших ферм.

Название	Особенности	Ссылка
pCloudy	От 19$ в месяц при условии что на одно устройство будет выделено 4 часа пользования; ручное и автоматизированное тестирование	https://www.pcloudy.com/
App Experience Sigos	Есть триальная версия; цена — 15$ в час; возможность проводить как ручное, так и автоматизированное тестирование; мониторинг производительности	https://appexperience.sigos.com/
Perfecto Mobile	Веб-интерфейс; триальная версия на два часа; цена — 20$ в час	https://www.perfectomobile.com/platform/the-cloud-based-testing-lab/cross-browser-testing/
Samsung Remote Test Lab	Можно получить доступ к самым последним устройствам Samsung бесплатно	http://developer.samsung.com/remotetestlab
Xamarin Test Cloud	Сервис с максимальным количеством устройств (~250false); цена — от 99$ в месяц	https://www.xamarin.com/test-cloud

Недостатки использования ферм:

- цена: так как среди ферм мобильных устройств конкуренция невысокая, то и цены снижать никто не торопится;
- производительность: команды передаются через интернет, что может привести к лагу при отклике устройства на любое действие — как следствие, зависимость от интернет-соединения;
- местоположение: поскольку большинство ферм расположено в Америке или в ЕС, то протестировать приложения для операторов из других стран невозможно.

4. Можно обратиться к сообществу проекта (активные пользователи с устройствами) и спросить у них. Это повышает лояльность и показывает ваше внимание.

5. Провести бета-тестирование. Оно проводится не тестировщиками самого проекта, а более широким кругом пользователей перед выпуском рабочей версии. Как настроить бета-тестирование в Google Play можно ознакомиться здесь. Но есть и другие варианты, которые помогут бета-тестировщикам получить мобильное приложение, не добавляя его в Google Play. Для этого есть специальные сервисы:

- Beta Family;
- HockeyApp;
- Test Fairy;
- Testflight;
- Beta Crashlytics.

Помимо раздачи билдов, эти сервисы обладают полезным функционалом: сбор отчетов о сбоях, аналитика и отзывы пользователей, запись видеотестов. При этом TestFairy поможет вам посмотреть видео о том, что делает каждый тестировщик.

6. Устройства можно позаимствовать в команде.