Инструментарий QTestLib, предоставленный компанией Nokia, является средством для тестирования приложений и библиотек Qt. QTestLib предоставляет полный базовый функционал для тестирования графического пользовательского интерфейса.

Возможности QTestLib

QTestLib создан для облегчения написания тестов для приложений и библиотек Qt:

Возможности	Детали
Легковесность	QTestLib содержит порядка 6000 строк кода и 60 экспортируемых символов.
Самодостаточность	QTestLib нуждается только в нескольких символах из Qt Core библиотеки для тестирования без использования графического интерфейса.
Быстрое тестирование	QTestLib не требует запуска специальных тестов; нет специальных регистраций для тестов.
Ориентированное на данные тестирование	Тестирование может быть выполнено в любое время с разными данными.
Базовое тестирование графического интерфейса пользователя	QTestLib предлагает функционал симуляции сообщений от мыши и клавиатуры.
Проведение эталонных тестов (Benchmarking)	QTestLib поддерживает проведение эталонных тестов и предоставляет несколько измерительных бэкендов.
Дружественность к IDE	QTestLib выводит сообщения, которые могут быть обработаны в Visual Studio и KDevelop.
Потокобезопасность	Отчет об ошибках атомарен и потокобезопасен.
Безопасность с точки зрения типов	Исчерпывающее использование шаблонов предотвращения ошибок, внесенных неявной проверкой типов.
Легкая расширяемость	Пользовательские типы могут быть легко добавлены в тестируемые данные и тестовый вывод данных.

Замечание: Для тестирования высокоуровневых пользовательских графических интерфейсов и приложений, смотрите пожалуйста в каталоге Partner продукты для тестирования, предоставляемые партнёрами Nokia.

QTestLib API

Все публичные методы определены в пространстве имён QTest. Дополнительно, класс QSignalSpy пригоден для легкого наблюдения посредством сигналов и слотов Qt.

Использование QTestLib

Создание теста

Для создания теста переопределите QObject и добавьте один или несколько закрытых слотов в нем. Каждый закрытый слот является функцией вашего теста. QTest::qExec() используется для выполнения всех функций тестов в объекте тесте.

Дополнительно, нужно добавить четыре закрытых слота, которые не будут выполнять роль функций тестов. Они запускаются структурой тестирования и могут быть использованы для инициализации и очистки любого из тестов или текущей функции теста.

• initTestCase() выполняется перед запуском первой функции теста.
• cleanupTestCase() выполняется после выполнения последней функции теста.
• init() выполняется перед запуском каждой функции теста.
• cleanup() выполняется после каждой функции теста.

Если initTestCase() вернул ошибку, значит нет функций тестов, которые могут быть запущены. Если init() вернул ошибку, значит функция тест не была запущена, после чего тест перейдет к следующей функции тесту.

Пример:

 class MyFirstTest: public QObject
 {
     Q_OBJECT
 private slots:
     void initTestCase()
     { qDebug("called before everything else"); }
     void myFirstTest()
     { QVERIFY(1 == 1); }
     void mySecondTest()
     { QVERIFY(1 != 2); }
     void cleanupTestCase()
     { qDebug("called after myFirstTest and mySecondTest"); }
 };

Другие примеры приведены в Учебном пособии по QTestLib.

Сборка теста

Если вы используете qmake в качестве инструмента сборки, добавьте следующую строку в ваш файл проекта:

 QT += testlib

Если вы используете другой инструмент сборки, убедитесь, что вы добавили путь к заголовочным файлам QTestLib (обычно include/QtTest в папке установки Qt). Если вы используете релиз-сборку Qt, свяжите ваш тест с библиотекой QtTest. Для отладочных сборок используйте QtTest_debug.

Смотрите Написание юнит-тестов для получения пояснения, как это делается шаг за шагом.

Аргументы командной строки QTestLib

Синтаксис

Синтаксис выполнения автотеста имеет такую форму:

 testname [options] [testfunctions[:testdata]]...

Замените testname реальным именем исполняемого файла. testfunctions может содержать имена функций тестов, которые должны выполняться. Если testfunctions не задана, то будут выполнены все тесты. Если вы добавите имя записи в testdata, то функция теста будет выполнена только с этими тестовыми данными.

Например:

 /myTestDirectory$ testQString toUpper

Запуск функции теста, выполняющей toUpper, со всеми доступными тестовыми данными.

 /myTestDirectory$ testQString toUpper toInt:zero

Запускает функцию теста toUpper со всеми доступными тестовыми данными и тестовую функцию toInt с тестовыми данными с именем zero (если тестовые данные не существуют, ассоциированный с ними тест закончится ошибкой).

 /myTestDirectory$ testMyWidget -vs -eventdelay 500

Запускает функцию теста testMyWidget, которая выводит информацию о возникновении любого сигнала и ждет 500 миллисекунд после каждой симуляции событий мыши/клавиатуры.

Параметры

Общеприняты следующие аргументы командной строки:

• -help
  вывод доступных аргументов командной строки и получение помощи.
• -functions
  вывод всех доступных функций теста.
• -o filename
  запись выводимых данных в файл
• -silent
  вывод показывает только предупреждения, ошибки и минимальное статус-сообщения
• -v1
  выводит информацию от введенных и существующих функций тестов.
• -v2
  расширяет вывод; также выводит QCOMPARE() и QVERIFY()
• -vs
  выводит информацию о возникновении любого сигнала.
• -xml
  вывод в XML-формате вместо обычного текста
• -lightxml
  выводит результаты как XML поток
• -eventdelay ms
  если не определена задержка для симуляции клавиатуры или мыши (QTest::keyClick(), QTest::mouseClick() и т.д.), будет использовано значение этого параметра (в миллисекундах).
• -keydelay ms
  похоже на -eventdelay, но включает только симуляцию клавиатуры, без мыши.
• -mousedelay ms
  похоже на -eventdelay, но включает только симуляцию мыши, без клавиатуры.
• -keyevent-verbose
  более подробный вывод при симуляции клавиатуры
• -maxwarnings numberBR устанавливает максимальное число предупреждений, записываемых в вывод. 0 - не ограничивать, по умолчанию установлено в 2000.

Создание эталонного теста (Benchmark)

Для создания эталонного теста следуйте инструкциям по созданию теста и затем добавьте макрос QBENCHMARK в функцию теста, с которой вы хотите проводить эталонный тест.

 class MyFirstBenchmark: public QObject
 {
     Q_OBJECT
 private slots:
     void myFirstBenchmark()
     {
         QString string1;
         QString string2;
         QBENCHMARK {
             string1.localeAwareCompare(string2);
         }
     }
 };

Код внутри макроса QBENCHMARK будет измерен, и возможно также повторен несколько раз для того, чтобы получить точное измерение. Это зависит от выбранного измерительного бэкенда. Доступны несколько бэкендов. Они могут быть выбраны из командной строки:

Имя	Аргумент командной строки	Доступность
Walltime	(по умолчанию)	Все платформы
Счётчик тактов ЦПУ	-tickcounter	Windows, Mac OS X, Linux, многие UNIX-подобные системы.
Valgrind/Callgrind	-callgrind	Linux (если установлен)
Счётчик событий	-eventcounter	Все платформы

Вкратце, walltime доступен всегда, но требует многих повторов для получения полезного результата. Счётчики тактов обычно доступны и могут предоставить результаты после нескольких повторов, но могут быть чувствительны к проблемам масштабирования частоты ЦПУ. Valgrind предоставляет точные результаты, но не учитывает задержки ввода/вывода и доступен только на ограниченном количестве платформ. Подсчёт событий доступен на всех платформах и предоставляет количество событий, которые были приняты от цикла обработки событий до их отправки соответствующим получателям (это может включать в себя не только события Qt).

Замечание: Зависимость от конфигурации устройства, счётчики тактов в на платформе Windows CE может не быть столь детализированным, по сравнению с другими платформами. Устройства, которые не поддерживают таймеры высокого разрешения по умолчанию имеют дискретность порядка одной миллисекунды.

Больше примеров проведения эталонных тестов смотрите в главе 5 Учебное пособие по QTestLib.

Удаленное использование QTestLib на Windows CE

cetest - вспомогательное приложение, которое помогает пользователю удаленно запустить приложение на устройстве или эмуляторе Windows CE.

Его необходимо выполнить после успешной компиляции юнит-теста.

До запуска следующие файлы копируются на устройство:

• все библиотеки Qt, с которыми скомпонован проект
• QtRemote.dll
• библиотека времени выполнения, указанная во время установки
• все файлы, указанные в .pro-файле перечисленные в правилах DEPLOYMENT.

Использование cetest

Синтаксис

Синтаксис выполнения автотеста имеет такую форму:

 cetest [options] ...

Параметры

cetest предоставляет те же опции, что и юнит-тестирование на не кросс-компилируемых (cross-compiled) платформах. Для получения дополнительной информации смотрите Аргументы командной строки.

Включены также следующие команды:

• -debug
  Тестовая версия компилируется в режиме отладки.
• -release
  Тестовая версия компилируется в режиме релиза.
• -libpath path
  Путь, куда будут скопированы библиотеки Qt.
• -qt-delete
  Удалить библиотеки Qt после выполнения.
• -project-delete
  Удалить файлы проекта после выполнения.
• -delete
  Удалить проект и библиотеки Qt после выполнения.
• -conf
  Указывается в файле qt.conf для развертывания в удаленный каталог.

Замечание: debug - опции сборки по умолчанию.

QtRemote

QtRemote - небольшая библиотека, которая собирается после QTestLib. Она позволяет хост-системе (host system) создавать процесс на удаленном устройстве и ждет окончания его выполнения.

Требования

cetest использует Microsoft ActiveSync для установления удаленного соединения между компьютером хоста и устройством. Итак, для успешной компиляции cetest и QtRemote необходимы заголовочные файлы и библиотеки.

До установки Qt вам нужно правильно установить ваши переменные окружения INCLUDE и LIB.

По умолчанию установка Windows Mobile 5 для Pocket PC может быть произведена так:

 set INCLUDE=C:\Program Files\Windows CE Tools\wce500\Windows Mobile 5.0 Pocket PC SDK\Activesync\Inc;%INCLUDE%
 set LIB=C:\Program Files\Windows CE Tools\wce500\Windows Mobile 5.0 Pocket PC SDK\Activesync\Lib;%LIB%

Обратите внимание на то, что Qt запомнит путь, поэтому вам не нужно устанавливать его снова после переключения окружений для кросс-компиляции (cross-compilation).

Сторонний код

Счётчики тактов ЦПУ, используемые для проведения эталонных тестов, лицензированы под следующей лицензией: (из src/testlib/3rdparty/cycle.h)