6 советов по подбору устройств для тестирования Android приложений

Выбор устройств для тестирования мобильных приложений

Так как рынок Android-устройств сильно фрагментирован, то существует проблема выбора смартфонов, на которых будет выполняться тестирование.

Вот некоторые параметры, которые зависят от особенностей целевой аудитории и могут повлиять на выбор тестового устройства:

  1. Локализация и география. В разных странах разный набор популярных устройств.

  2. Требования заказчика (например, планшеты конкретной модели).

  3. Разные устройства у разных социальных групп. Могут сыграть любые факторы: возраст, наличие работы и т. д.

  4. Новостные тренды и т. п.

Вот мои 6 советов для подбора парка устройств.

1. Если приложение разрабатывается с нуля и не предполагает в ближайшее время большого количества пользователей, то лучший вариант — обзавестись устройствами, которые наиболее распространены, при этом учитывая популярность версии ОС вашей целевой аудитории. И пополняйте свой парк устройств новыми девайсами по мере роста целевой аудитории. Для этого можно следить за аналитикой, например Google Analytics.

2. В случае если нет возможности приобрести новое устройство, то для воспроизведения бага можно использовать эмуляторы. Самыми популярными по соотношению цена/качество являются эмуляторы в Android Studio и Genymotion.

Название

Особенности

Ссылка

Эмулятор в Android Studio

Работает медленно;
бесплатный

Установка Android Studio, куда входит Android Emulator

https://developer.android.com/studio/index.html#downloads

Genymotion

Работает быстро;
большой выбор устройств;
есть триальная версия и есть платная

https://www.genymotion.com/

3. Если не получается сконфигурировать нужное устройство на эмуляторе и приобретение нового устройства становится весомой статьей затрат или когда нужно протестировать баг на каком-то устройстве для специфичного рынка, то можно воспользоваться фермой мобильных устройств.Если говорить простым языком, то ферма — это парк реальных устройств, к которым можно подключиться удаленно. Все они платные, но бывают и триальные версии. Вот список хороших ферм.

Название

Особенности

Ссылка

pCloudy

От 19$ в месяц при условии что на одно устройство будет выделено 4 часа пользования;
ручное и  автоматизированное тестирование

https://www.pcloudy.com/

App Experience Sigos

Есть триальная версия;

цена — 15$ в час;
возможность проводить как ручное, так и  автоматизированное тестирование;
мониторинг производительности

https://appexperience.sigos.com/

Perfecto Mobile

Веб-интерфейс;
триальная версия на два часа;
цена — 20$ в час

https://www.perfectomobile.com/platform/the-cloud-based-testing-lab/cross-browser-testing/

Samsung Remote Test Lab

Можно получить доступ к самым последним устройствам Samsung
бесплатно

http://developer.samsung.com/remotetestlab

Xamarin Test Cloud

Сервис с максимальным количеством устройств (~2500);
цена — от 99$ в месяц

https://www.xamarin.com/test-cloud

Недостатки использования ферм: 

- цена: так как среди ферм мобильных устройств конкуренция невысокая, то и цены снижать никто не торопится;
- производительность: команды передаются через интернет, что может привести к лагу при отклике устройства на любое действие — как следствие, зависимость от интернет-соединения;
- местоположение: поскольку большинство ферм расположено в Америке или в ЕС, то протестировать приложения для операторов из других стран невозможно.

4. Можно обратиться к сообществу проекта (активные пользователи с устройствами) и спросить у них. Это повышает лояльность и показывает ваше внимание.

5. Провести бета-тестирование. Оно проводится не тестировщиками самого проекта, а более широким кругом пользователей перед выпуском рабочей версии. Как настроить бета-тестирование в Google Play можно ознакомиться здесь. Но есть и другие варианты, которые помогут бета-тестировщикам получить мобильное приложение, не добавляя его в Google Play.  Для этого есть  специальные сервисы:

- Beta Family;
- HockeyApp;
- Test Fairy;
- Testflight;
- Beta Crashlytics.

Помимо раздачи билдов, эти сервисы обладают полезным функционалом: сбор отчетов о сбоях, аналитика и отзывы пользователей, запись видеотестов. При этом TestFairy поможет вам посмотреть видео о том, что делает каждый тестировщик.

6. Устройства можно позаимствовать в команде.