"Pruebas automatizadas" no es lo mismo que "automatización de pruebas". Las pruebas automáticas simulan los pasos de las pruebas manuales, prueban automáticamente el software mediante la ejecución de scripts de prueba escritos en lenguajes de programación e implementan automáticamente pruebas unitarias, pruebas funcionales, pruebas de carga o pruebas de rendimiento del software. Las pruebas automatizadas se reflejan en el proceso de ejecución de pruebas real, es decir, el proceso de operación manual de ejecutar casos de prueba se reemplaza por el proceso de ejecución automática por parte de la herramienta de prueba. Las pruebas automatizadas enfatizan el uso de herramientas (no solo herramientas, sino a veces estrategias y artefactos) para implementar las pruebas, es decir, usar herramientas para ayudar o ayudar a las pruebas. Este proceso de implementación puede ser completamente automatizado o semiautomatizado. Los requisitos para la automatización de pruebas son mucho más altos, enfatizando el uso de la automatización para diseñar e implementar el proceso de prueba, es decir, todo el trabajo de prueba puede ser completado automáticamente por el sistema informático, incluyendo:
La construcción y configuración del entorno de prueba, como cargar el paquete de instalación en el servidor;
Generación automática de scripts, como generar scripts de prueba operables basados en diagramas de estado y diagramas de secuencia UML;
Automático generación de datos de prueba, como pruebas de carga de datos Generación automática de la gran cantidad de datos necesarios;
Ejecución automática de los pasos de la operación de prueba, incluido el control del proceso de ejecución de la prueba;
Análisis de los resultados de las pruebas, comparación y análisis automáticos de la salida real y la salida esperada.
Procesamiento automático del proceso de prueba, es decir, implementación automática del flujo de trabajo de la prueba, incluido el procesamiento automático de la revisión y aprobación del plan de prueba, la prueba; disposición y ejecución de tareas, ciclo de vida de defectos y otros procesos.
Función de generación automática de informes de prueba, etc.