非功能测试是指为测试软件应用的非功能方面而进行的软件测试。
有很多不同类型的非功能测试，有些类型的软件测试可以同时被认为是功能测试和非功能的。
非功能测试是必要的，因为它评估了基本的用户标准，如性能和可用性，并验证了软件是否在其基本功能之外按照预期运行。
在这篇文章中，我们探讨了非功能测试的定义和特点，以及非功能测试的类型，非功能测试的方法，以及可以帮助优化和改善你自己的非功能测试流程的测试工具。
什么是非功能测试？
非功能测试是任何类型的软件测试，对软件构建的非功能方面进行测试。
非功能测试的例子包括旨在评估容量、性能、可用性、恢复和便携性的测试。
验证这些非功能标准的质量和状态与验证一个软件的功能一样重要，但这些参数在标准的功能测试中并没有被测试。
本质上，非功能测试意味着测试软件功能 “如何 “工作，而不是测试它们 “是否 “工作。
1.什么时候需要非功能测试？
非功能测试是在单元测试和集成测试进行后，在软件测试的系统测试阶段进行的。
在系统测试期间，测试人员将进行功能和非功能测试，首先是功能测试。
一旦测试人员确定软件的功能符合预期，他们就会进行非功能测试，评估它是否也符合非功能参数。
通常有必要在进行非功能测试之前进行功能测试，因为不可能测试那些根本不工作的功能的可靠性或性能。 非功能测试是用户验收测试和最终产品发布之前的软件测试的最后阶段之一。
2.当你不需要非功能测试时
测试软件的非功能方面总是很重要的，除非它们已经被测试并被发现是足够的。
即使你以前对软件进行过非功能测试，也可能有必要再次测试非功能参数，例如，如果软件增加了新的功能，或者对代码进行了修改，可能会影响性能和可靠性。
非功能测试的目标
非功能测试的目的是检查产品是否符合用户的期望，并在发布前优化产品。
它还可以帮助开发人员和测试人员更好地了解软件，并将这些知识用于未来的优化。
1.质量控制
非功能测试旨在测试影响产品的可用性、可靠性、可维护性、可移植性和效率的因素。
对这些要素的测试确保了向市场发布的产品具有适当的高质量，并在性能、加载时间和用户容量方面满足用户的期望。
2.风险管理
非功能测试还可以通过最大限度地提高团队发布令人满意的产品的机会，减少与向市场发布产品有关的风险和成本。
通过检查软件构建的非功能参数，有可能降低发布产品的成本，因为后期进一步开发和软件修改的需求会减少。
3.优化
非功能测试帮助测试人员和开发人员在安装、设置、执行和使用过程中优化软件构建和优化性能。
你也可以使用非功能测试来优化你管理和监控软件构建的方式。
4.数据收集
非功能测试允许测试人员收集和产生测量和指标，可由测试团队用于内部研究和开发。
你可以利用从非功能测试中收集到的数据来了解你的产品是如何工作的，以及你如何为用户更有效地优化它。
5.增强知识
非功能测试改善和提高了测试团队对产品行为和它所使用的技术的认识。
这不仅可以帮助测试团队更好地理解他们正在工作的软件，而且还可能提供有用的知识，帮助测试人员更好地理解未来的构建。
谁参与了非功能测试？
非功能测试通常是由测试人员在QA环境中进行的，但有时开发人员可能在开发过程中进行非功能测试。
系统测试几乎都是由测试人员进行的，这是测试的阶段，大部分的非功能测试都是在这个阶段进行的。
如果非功能测试失败，测试人员会将软件送回给开发人员，在再次测试前纠正性能方面的错误。
非功能测试的好处
进行非功能测试有很多好处，非功能测试是系统测试的一个重要步骤。
如果没有非功能测试，测试团队将无法验证软件是否真正符合客户的要求，或者是否符合软件开发计划中规定的要求。
1.提高软件性能
非功能测试可以帮助测试人员和开发人员提高软件应用的整体性能。 非功能测试确定了软件性能不足的地方，例如在加载速度或处理能力方面，并促使软件团队做出改变以纠正这些缺陷。
这确保了软件团队只在软件准备好了，并且性能足够好的时候才向公众发布。
2.保持软件安全
非功能测试包括安全测试，这对于确保软件构建的安全性和免受外部威胁和攻击至关重要。
安全测试使测试人员和开发人员能够检查软件是否充分保护了机密数据，并有足够的安全性来防范当代网络攻击。
3.提高软件的用户友好性
非功能测试是使你的软件对用户更友好的最好方法，特别是通过进行可用性测试，评估用户学习如何使用和操作你的软件有多容易。
用户友好性非常重要，因为它决定了用户对你的软件的满意程度，并确保用户能够充分利用你的软件提供的一切。
4.确保软件满足用户需求
确保软件满足用户的需求应该是所有软件开发和测试团队的首要任务之一。 除了期待软件的功能外，用户还期待软件性能良好，运行顺畅，并能保护机密数据。
非功能测试是确保你的软件满足这些要求的唯一方法之一。
非功能测试的挑战
进行非功能测试有一些弊端。 虽然非功能测试在软件测试的系统测试阶段是必不可少的，但非功能测试的过程会给没有充足资源和工具的软件团队带来挑战。
1.重复性
软件测试中的非功能测试必须在每次软件被开发者更新或每次代码被改变时进行。 这意味着非功能测试可能是非常重复的，这不仅需要时间，而且会使测试人员感到疲惫。
疲惫的测试人员在执行非常重复的任务时，也更有可能分心和犯错。
2.费用
由于非功能测试是如此的重复，它也可能是相当昂贵的，特别是对于依赖手动非功能测试的测试团队。
软件团队必须为频繁的非功能测试分配时间和预算，而软件开发人员将不得不为这种额外的测试支付额外的费用。
在非功能测试中我们要测试什么？
非功能测试可以用来测试许多不同的非功能参数，每个参数都会影响系统的质量和可用性。 在系统测试期间，根据测试计划中规定的标准对这些参数中的每一个进行测试。
1.安全问题
安全测试是一种非功能测试，衡量一个系统对外部威胁和攻击的保障程度。 这包括故意违反安全规定以及数据泄露和其他常见的违规行为。
安全测试是非功能测试的一个重要步骤，因为它为终端用户和客户提供了他们的数据是安全的保证。
2.可靠性
测试人员使用非功能测试来评估软件的可靠性，并确保软件能够持续不断地执行其指定的功能而不发生故障。
虽然功能测试确保软件执行其关键功能，但只有非功能测试才真正测试这些结果的可靠性和可重复性。
3.生存能力
幸存性描述了软件系统在功能失效的情况下是如何反应的，幸存性测试确保如果错误和故障确实发生，系统能够自我恢复。
生存能力测试可以检查软件是否能够保存数据，以便在突然发生故障的情况下将数据损失降到最低，比如说。
4.可利用性
软件的可用性指的是用户在操作过程中对系统的依赖程度。 这也被称为稳定性，它是通过稳定性测试来检验的。
稳定性测试与可靠性测试有一些相似之处，因为它检查系统是否能够持续地执行预期的标准。
5.可用性
可用性测试是软件测试中另一个重要的非功能测试类型。 这种类型的测试评估了用户按照屏幕上提供的说明和其他基本指南来学习、操作和使用软件系统的能力如何。
可用性测试很重要，因为如果软件的可用性不高，大多数用户会直接放弃它或选择使用其他东西。
6.可扩展性
可扩展性测试测试一个软件应用程序能在多大程度上扩展其处理能力以满足日益增长的需求。
例如，如果该软件被设计为可供一个网络上的多个用户同时使用，那么当十个用户同时登录时，它如何工作？ 更高的用户数是否会显著影响性能或加载时间？
7.互操作性
互操作性测试是一种非功能测试，检查一个软件系统与其他软件系统的接口情况。
当软件被设计为一套产品的一部分时，这一点尤其重要，因为这套产品都是相互集成的。
8.效率
软件测试中的效率指的是软件系统能够处理能力、数量和响应时间的程度。
例如，测试人员可以评估有多少用户可以同时登录系统，从数据库中检索数据需要多长时间，或者软件可以多快地执行基本任务。
9.灵活性
灵活性衡量的是一个软件系统能够与不同类型的硬件和外围设备一起工作的程度。
例如，软件需要多少内存或是否需要特定数量的CPU。 对软件应用的要求越低，软件就越灵活。
10.可移植性
可移植性测试用于测试软件能否灵活地从当前的硬件或软件环境中转移出来，以及这样做是否容易。
可移植性很重要，因为它影响到终端用户如何轻松地管理软件和在不同的系统之间移动它。
11.可重复使用
可重用性测试是一种非功能测试，测试软件系统的一部分是否可以在另一个应用程序中转换为重用。
虽然可重用性测试通常不影响客户和终端用户，但它能很好地反映出开发者是如何有效地创建可在未来重用的组件。
非功能测试的特点
理解什么是非功能测试，就要理解非功能测试的特点。 这些特征定义了软件测试中的非功能测试。
1.可衡量的
非功能测试总是定量的和可测量的，这意味着测试人员不使用 “好 “或 “好 “这样的主观短语，而是使用数字和事实来描述非功能测试的产出。
例如，与其将加载时间描述为 “快 “或 “慢”，非功能测试应该产生显示次数的具体数字。
2.具体
在进行非功能测试时，测试的目的应该是针对软件的设计规范的。
例如，如果软件项目计划中提到了应该能够一次性登录的用户数量，那么在进行非功能测试时应该优先考虑这个问题。
3.不详
虽然非功能测试可以专门设计来测量项目计划中规定的属性，但在许多情况下，这些属性不会被事先指定。
在这种情况下，测试人员应该简单地进行非功能测试，根据每个参数对软件进行评估，随后将这些参数与预期进行比较。
非功能测试的生命周期
由于非功能测试不是指软件测试生命周期中的一个特定阶段，而只是指通常在软件测试的系统测试阶段进行的一种测试，所以非功能测试的生命周期在不同的项目中会有很大的不同。
一般来说，它遵循与其他类型的软件测试类似的生命周期，从分析项目需求开始，到测试执行和周期履行结束。
1.软件需求分析
非功能测试生命周期的第一阶段是对软件需求的分析。 软件团队在构建和测试应用程序时，会朝着特定的标准努力，而这些标准应该决定需要进行什么类型的测试。
2.测试规划
生命周期的下一个阶段是测试规划。 在测试计划阶段，QA负责人将制定一个详细的测试计划，详细说明将测试什么，谁将进行测试，以及将使用什么测试方法、方法和工具。
测试计划应包括测试人员创建和执行测试案例所需的所有必要细节。
3.测试案例的创建
测试用例创建是非功能测试的下一个阶段。 这个阶段涉及到开发非功能测试用例，测试人员将在以后的阶段执行，以测试系统的非功能需求。
测试用例描述了将被测试的内容，如何被测试，以及测试的预期结果是什么。
4.测试环境设置
非功能测试生命周期的下一个阶段是在测试开始前设置测试环境。
测试环境是所有测试发生的地方，它是你用来执行非功能测试的资源和工具的家。
测试团队在测试执行前准备好测试环境的设置。
5.测试执行
测试执行是非功能测试生命周期的下一个阶段。 它涉及执行之前创建的测试案例，以测试软件应用的不同方面，包括安全性、加载时间、容量和可移植性。
测试团队单独执行每个案例，并对照预期结果检查每个测试的结果。
6.循环重复
非功能测试生命周期的最后阶段是循环履行和重复。 在执行所有的测试用例后，测试人员检查哪些测试通过了，哪些测试失败了。
测试失败通常表明有一个缺陷，必须由开发人员来修复。 一旦开发人员对代码进行了修补或编辑，软件测试周期就会再次重复，直到没有发现缺陷。
澄清了一些混淆之处：
非功能测试与功能测试
功能测试和非功能测试是两种不同但同样重要的软件测试类型，它们一起用来评估软件应用程序是否符合项目简介中规定的用户要求。
虽然它们都是必要的测试类型，使软件团队能够识别软件构建中的缺陷，但功能测试和非功能测试是完全不同的。
1.功能测试和非功能测试的区别是什么？
功能性测试和非功能性测试的区别在于它们测试什么。 功能测试测试应用程序的功能，并检查它们是否按预期工作。 非功能测试对影响用户满意度和应用质量的其他方面进行测试。
功能测试和非功能测试发生在软件测试的不同阶段，但这两种类型的测试通常都是在系统测试阶段进行的。
功能测试和非功能测试都可以帮助我们了解一个应用程序的工作情况，以及它是否充分地完成了它的工作。
例如，如果你正在测试一个允许用户保存待办事项清单和购物清单的移动应用，功能测试可能会测试诸如创建新清单、保存清单和对现有清单进行编辑的功能。
非功能测试可以评估应用程序在不同移动设备上的运行情况，列表加载的速度，以及当其他应用程序在后台运行时，应用程序的性能受到多大影响。
2.结论：非功能测试vs功能测试
功能测试和非功能测试都是软件测试的重要类型，可以帮助测试人员和QA团队评估一个应用程序是否符合其当前的要求。
功能性测试测试软件的功能，而非功能性测试测试可能影响性能、效率和安全性的其他方面。
单元测试、集成测试和API测试都是功能测试的形式。 在软件测试的每一个阶段，测试人员评估功能和特性单独或共同工作的情况，并识别妨碍功能按预期运行的错误和缺陷。
安全测试、可用性测试、可移植性测试和负载测试都是非功能测试的形式，使测试人员能够评估一个应用程序如何很好地执行其功能并支持用户的需求。
非功能测试的类型
有很多不同类型的非功能测试，每一种都是对软件应用的性能或效率的不同非功能方面的测试。
每种类型的测试都会测试不同的参数，有些测试可能以不同的方式测试相同的参数。
1.性能测试
性能测试是一种非功能测试，检查不同软件组件的工作情况。 性能测试不是测试其功能，也就是功能测试，而是可能测试响应时间、瓶颈和故障点。性能测试有助于测试人员确保软件的高质量，并确保其快速、稳定和可靠。
2.压力测试
压力测试是一种非功能测试，测试软件在受到不正常的压力时的表现。 这可能意味着测试当有人试图同时使用许多不同的功能，或同时运行许多其他应用程序时，软件的性能如何。
压力测试旨在确定软件停止正常工作的极限，以及当系统处于压力之下时会发生什么。 它允许测试人员了解系统是否能够自我恢复，以及是否用适当的错误信息通知用户。
3.负载测试
负载测试是一种测试类型，评估软件在正常条件下和处理较重负载时的表现。 它被用来确定软件可以同时处理多少东西而不对性能产生负面影响。
负载测试可用于测试当大量用户同时使用应用程序时，或当用户试图同时下载大量数据时，应用程序如何工作。
如果你想检查你的软件是否具有可扩展性，负载测试是很重要的。
4.安全测试
安全测试评估软件应用，寻找软件安全的漏洞。 这些包括可能导致数据丢失或泄露机密数据的潜在安全风险。
安全测试很重要，因为它可以确保产品得到充分保护，免受黑客攻击、数据泄露和其他外部安全威胁。
测试人员可能进行的安全测试的一些例子包括安全审计、道德黑客攻击、渗透测试、安全扫描和态势评估。
5.升级和安装测试
升级和安装测试是一种非功能性的软件测试，验证软件在不同机器上的运行情况。
这种类型的测试的目的是确保新用户可以很容易地在他们的机器上安装软件，现有用户可以在新的升级发布时进行升级。
升级和安装测试很重要，因为终端用户必须能够轻松地安装你的产品，只要他们使用的是与之兼容的机器。
6.体积测试
体积测试是一种测试类型，它的存在是为了验证当大量的数据被一次性添加到数据库中时会发生什么。 这可以确定应用程序是否可以处理大量的数据，以及如果不能处理，系统会发生什么。
容量测试也被称为洪水测试，你可以用它来评估向系统添加大量数据时出现的数据丢失和错误信息。
容量测试是确保软件能够处理用户期望的数据量的唯一方法。
7.恢复试验
恢复测试包括强迫软件系统失败，以测试系统在崩溃后自我恢复的程度。
恢复测试可以帮助测试人员了解，如果硬件在使用过程中被拔掉，如果软件在数据传输过程中与网络断开，或者意外地重新启动系统，软件如何恢复数据并防止损失。
这种类型的测试很重要，因为没有适当的恢复协议的系统在发生这样的事故时可能遭受严重的数据损失。
开始非功能测试你需要什么
在你开始非功能测试之前，你需要确保你已经准备好了测试环境，并收集了你需要的工具和数据。
1.测试计划
在你开始非功能测试之前，确保你有一个已经完成的测试计划，并由适当的人签字确认。
你的测试计划应该包括你要测试的内容和方式的所有相关细节。 它应该解释你什么时候使用手动测试，什么时候使用自动测试，以及概述参与测试过程的每个人的角色和责任。
2.测试案例
在你执行非功能测试之前，你需要创建测试案例。 每个测试用例都概述了你要测试的具体事项，解释了你将如何测试它，并描述了测试的预期结果。
例如，如果你正在进行负载测试，一个测试案例可能是测试当十个用户同时使用同一个模块时，软件的表现如何。
3.功能验证
如果软件组件没有功能，你就不能对它们进行非功能测试。
例如，如果你想测试软件能处理多少用户同时登录，首先要验证单个用户是否能真正登录到软件中。
在开始非功能测试之前，要确保所有的功能测试都已通过，而且你的软件功能与你期望的一样。
这通常意味着已经进行了烟雾测试、理智测试、单元测试、集成和功能系统测试。
4.测试工具
在你开始非功能测试之前，把你想用来进行测试的任何测试工具收集起来。
无论你是使用自动化工具来部分 将你的一些测试自动化 或文档工具来帮助你管理和存储测试报告供以后使用，确保你想使用的工具是可用的，可以使用的，而且测试团队的每个人都知道如何正确使用每个工具。
5.测试环境
在开始非功能测试之前，先设置好测试环境。 你可能已经有一个合适的测试环境，特别是如果你可以使用同一个环境进行非功能系统测试和功能系统测试。
理想的测试环境允许你在正确的设备上测试你需要的每个元素。
例如，如果你正在测试智能手机设备上的音量处理，最好在实际的智能手机设备上进行测试，而不是试图在台式电脑上模拟移动环境。
非功能测试过程
测试软件构建的非功能方面是一个多步骤的过程，包括准备测试环境、创建测试案例、收集测试数据和执行非功能测试。
可以把测试过程分解成小块，使非功能测试的初学者更容易掌握。
1.非功能测试的准备工作检查
在你开始非功能测试之前，重要的是要验证你已经为这个阶段的测试做好了准备。
这可能意味着评估最后一个测试阶段的退出标准，以确保软件已经通过，并确保在进行非功能测试之前，软件已经通过了所有需要的功能测试。
一些团队可能会创建非功能测试的入门标准，其中包括在非功能测试开始前必须满足的所有条件。
2.创建一个测试计划
如果你把非功能测试作为系统测试的一部分，按照系统测试计划进行，你可能已经提前进行了这一步。 测试计划概述了你需要进行的所有测试以及你打算如何进行这些测试。
如果没有一个明确的测试计划，就很容易忽视你正在进行的测试的范围和目的。
3.创建测试案例
非功能测试的下一个阶段是创建测试用例，旨在测试软件的每个非功能参数。
每个测试用例都应该有一个测试用例的ID，一个测试用例的名称，一个描述，和测试的预期结果的细节，以及任何事先确定的通过或失败标准。 这有助于测试人员了解如何进行每项测试以及寻找什么结果。
4.收集测试数据
在你执行每个测试用例之前，你需要收集每个测试用例要使用的测试数据。
这通常意味着从构成你要测试的功能和领域的不同模块和组件中收集代码和数据。 如果你要最大化测试覆盖率，你应该有大量的测试数据可以使用。
5.准备好测试环境
非功能测试的下一个阶段是准备测试环境。 测试环境是一个测试服务器，你将用它来进行许多不同类型的软件测试。
它允许你创建相同的条件来测试你的软件，并为配置测试、安全测试和其他类型的非功能测试设置你的软件的不同配置。
6.执行非功能测试
一旦测试环境准备好了，就是执行非功能测试的时候了。 你可以决定按照类型的顺序来执行测试，例如从性能测试开始，然后再到安全测试和其他类型的非功能测试。
当你进行每项测试时，在你的测试报告中记下结果。 如果你正在进行自动化测试，你的自动化工具也会有一个标准化的方式来清楚和明确地报告结果。
7.报告测试结果
在执行每个测试用例后，将你的非功能测试的结果编译成一份报告。
这份报告应该清楚地说明每项测试的结果，毫不含糊地说明每项测试是通过还是失败。
遵循你的测试报告的标准化结构，以确保你需要传递的所有信息都包括在内。
8.修复缺陷
一旦测试结果出来，如果测试失败或你发现任何需要修复的非功能错误，就把软件交还给开发人员。
例如，如果软件不能同时处理合适数量的用户，或者当多个程序同时运行时，性能减慢太多，这些问题很可能需要在代码中进行修正，以确保用户对产品感到满意。
9.重复测试周期
一旦开发人员修复了在初始非功能测试阶段发现的任何缺陷，测试周期就可以再次开始。
开发人员将对他们所做的修改进行理智测试，并将新的构建传回给QA测试人员，然后他们将进行全套测试，从烟雾测试、单元测试、集成测试到最后的系统测试。
测试周期重复进行，直到任何时候都不出现错误或缺陷，之后，构建可以进入测试的最后阶段：用户验收测试。
非功能测试的测试用例
测试用例是所有软件测试的一个重要方面，当你进行功能和非功能测试时，你将使用测试用例来定义你要测试的内容和你要如何测试它。
每个测试用例都可以被看作是一个小型测试，每个测试用例都会有自己定义的输出和结果。
1.什么是非功能测试的测试用例？
测试用例是在软件构建中执行的一组动作，以测试它是否满足软件计划中定义的条件。 每个测试用例都有效地告诉测试人员要测试什么以及如何测试，并被设计用来测试软件应用的特定功能或非功能特性。
非功能测试案例可能包括测试当有人试图访问系统内的安全数据时会发生什么，或者测试软件在启动时的加载速度。
2.如何设计非功能测试用例？
当你为非功能测试设计测试用例时，重要的是遵循标准的测试用例实践，同时牢记非功能测试的目标。
按照下面的步骤来写非功能测试的测试用例，清楚地概述你的测试人员必须做什么来执行每个测试。
1.界定你要覆盖的区域
对于每个测试用例，考虑这个测试用例将覆盖你的软件的哪个领域。
例如，如果你正在为安装和升级测试编写测试用例，你可能包括评估应用程序在不同设备上的安装难度以及使用新补丁升级软件所需的时间的测试用例。
2.创建一个唯一的测试案例ID
每个测试案例应该有一个唯一的测试案例ID。 这使得以后很容易找到测试用例的描述和结果，如果两个测试用例有类似的名称或描述，就可以清除你所指的测试用例的任何混淆。
3.命名并描述每项测试
虽然测试用例的ID标识了测试，但你也要为你写的每个测试用例提供一个名称和描述。
它应该是一个简单的名字，概括你正在测试的内容，而描述是一个单句，稍微详细地阐述这一点。
描述应该足够清楚，使测试人员知道要测试什么，如何测试，以及在测试中需要满足的任何特定条件。
4.指定预期的结果
对于每个测试用例，概述如果软件按预期工作应该出现的结果。
在非功能测试中，如性能测试和负载测试，在很多情况下，这可能意味着软件只是继续正常运行，而不会变慢、滞后或崩溃。
在其他情况下，它可能意味着出现特定的错误信息，以通知用户问题并推荐解决方案。
5.推荐测试技术
对于每个测试用例，推荐你认为测试人员在测试中应该采用的测试技术和非功能测试工具的类型。
在非功能测试中，测试人员可能对不同类型的测试使用非常不同的方法。
例如，负载测试和压力测试可能需要自动化，因为手动模拟极大的流量是不现实的，而其他测试类型可能更容易进行，不需要任何特定的工具或技术。
6.让每个测试用例都得到同行的审查
在你签署每个测试案例之前，让每个案例由你的同事进行同行评审。 这可能是另一个测试员或QA负责人。
同行评审的测试用例确保它们足够清晰，可以被第三方测试人员所遵循，并且不包括任何可能导致不当测试的模糊或错误。
3.非功能测试案例的例子
如果你正在为非功能测试写测试用例，它们可能看起来像下面的非功能测试例子。
可扩展性测试实例
测试案例ID: 6671
测试用例名称：多用户登录测试
描述：使用自动化工具模拟20多个用户同时登录软件。
预期的结果：对每个用户来说，软件应该正常运行，让每个用户在5秒内成功登录。
兼容性测试实例
测试案例ID: 5214
测试用例名称：在Opera浏览器中加载应用程序
描述：在Opera网络浏览器中加载应用程序。
预期的结果：该应用程序在Opera网络浏览器中以标准显示分辨率和布局正常加载。
手动或自动的非功能测试？
当你在不同的非功能测试技术之间进行选择时，你必须决定是要进行手动还是自动的非功能测试。
人工测试是由人类测试人员执行的，这意味着他们通常更耗时，但他们也提供了探索性测试的机会。
自动化的非功能测试更快，而且在某些方面更可靠，但它们也需要更多的资源或工具。 自动化和超自动化在测试中越来越受欢迎，特别是在非功能测试方面。
手动非功能测试：优点、挑战和流程
手动非功能测试完全由测试人员进行，他们将独立地测试每个单独的非功能元素。
在进行手动非功能测试时，测试人员必须收集有关软件的信息，创建符合测试计划的单个测试用例，并手动执行这些测试用例。
这需要相当多的时间，但这也意味着QA测试人员可以自由决定测试什么和如何测试。
1.手工测试的一些好处包括：
手动测试可能比自动测试更便宜，因为它不需要特定的技术或技术知识。
人工测试允许测试人员对软件的功能以及其功能是否令人满意提供人类的洞察力和主观性。
手动测试可用于在不可能实现自动化的情况下进行系统测试。
手动测试允许测试人员评估系统的视觉方面，如图形界面和其他可能影响可用性的因素。
人工测试为测试人员提供了一个更广阔的视角，了解整个系统以及不同模块和组件如何协同工作。
然而，人工测试也有缺点。
2.手工测试的一些挑战包括：
某些类型的非功能测试，包括负载测试和性能测试，手动进行是不现实的。
人工测试比自动化非功能测试要花费更多的时间
人工测试人员可能会分心，失去注意力，并犯错误，特别是在执行非常重复的测试任务时。
自动化的非功能测试：优点、挑战和流程
自动非功能测试是由自动脚本和测试工具进行的。 当使用自动化测试方法时，一旦启动自动化测试，测试人员可以在后台进行测试，同时继续进行其他任务。
1.实现非功能测试自动化的一些好处是：
1.通过减少你花在冗长、耗时的任务上的时间来节省时间和资源
2.自动化使其有可能通过覆盖更广泛的组件和功能来提高测试覆盖率
3.经常进行自动化测试是比较可行的，因为它们需要的时间比较少
4.自动测试是耗时的测试任务的理想选择，如负载测试、容量测试和压力测试，这些都很难手动进行。
5.在进行自动测试时，出现错误的机会较少
然而，自动化测试也有一些缺点，这意味着它不总是所有类型的非功能测试的正确方法。
2.自动化非功能测试的一些挑战包括：
1.自动测试的建立比人工测试更昂贵
2.建立测试自动化可能需要时间和技术资源
3.测试自动化不允许有探索性测试的空间
4.自动化测试仍然需要时间来创建测试案例
结论：手动或自动
非功能测试？
在大多数类型的软件测试中，结合手动和自动测试通常能提供最好的结果。 这使得测试团队能够从自动化测试的效率、可靠性和准确性中获益，同时还能进行探索性测试，使测试人员能够从更主观的角度评估软件。
在非功能测试中，对于大多数测试团队来说，手动和自动测试几乎都是必要的。
手动测试最好用于进行非功能测试任务，如可用性测试，而自动测试最常用于进行手动测试太过耗时和困难的测试，如压力测试或容量测试。
非功能测试是使用测试自动化技术的最明显的领域之一，因为它是一种定量的、可测量的测试类型，不要求主观的结果。
与其他类型的测试一样，非功能测试通常采用手动测试和自动测试的混合方式进行。
然而，自动化测试对于许多类型的非功能测试实际上是必要的，非功能测试的参数和指标意味着自动化比功能测试更适合这种类型的测试。
非功能测试的最佳实践
当你第一次进行非功能测试时，遵循测试的最佳实践可以帮助你规范你的测试过程，优化你的测试效果。
最佳实践作为软件测试团队的指导方针，希望改善测试流程并与行业标准接轨。
1.使用自动化工具
在非功能测试中比其他类型的测试更重要的是使用自动化工具来自动化某些类型的测试，特别是体积测试、压力测试和负载测试。
这些类型的测试通常会验证软件在用户、数据和流量的重压下的运行情况，这些情况可能是非常难以人工模拟的。
将这些类型的非功能测试自动化，不仅效率更高，而且更准确，使测试人员能够轻松复制更高的负载和压力。
2.同行审查所有文件
除了要求同行审查你创建的测试用例外，还要求你的测试团队中的同行审查错误报告、测试报告、测试计划以及在测试过程中创建的其他形式的正式文件。
这减少了可能导致测试和开发过程严重延误的小错误的风险。
3.定义可衡量的要求
当你在非功能测试开始前定义你的软件需求时，确保每个需求都是客观和可衡量的。
这使得测试人员在测试过程中更容易确定软件是否满足这些要求，并且没有解释的余地。
什么算作 “快速 “或 “高效”？ 使用数字和量化的价值来定义你要寻找的东西。
4.仔细考虑测试指标
在决定用哪些指标来衡量软件的性能之前，要考虑软件的用户会想要什么，哪些指标实际上与软件的计划和要求一致。
大多数软件应该是快速和可靠的，但你的用户可能还会寻找哪些指标？ 在测试过程中，是否有任何针对软件的指标需要考虑？
非功能测试的输出类型
当你进行非功能测试时，你会从你进行的测试中得到不同类型的输出。
这些通常与功能测试的输出有很大的不同，功能测试的输出通常是比较清晰的，因为功能测试只是测试一个功能是否按照它应该的方式工作。
像功能测试一样，测试人员应该为每个测试用例设置明确的期望值，以便于确定每个测试是通过还是失败。
1.绝对数
在进行性能测试、压力测试和其他类型的非功能测试时，你可能最常看的输出是速度和其他绝对数字。
性能测试验证了系统能够多迅速地执行某些任务，这将以秒或毫秒为单位进行测量。
如果你正在进行负载测试，你可以评估软件一次能处理多少数据而不崩溃或滞后。
2.错误信息传递
非功能测试也验证了系统在发生错误时是如何工作的，如安全错误、验证错误和配置错误。
重要的是，当错误发生时，系统要显示准确和清晰的错误信息，以便用户能够采取措施纠正问题并继续使用该软件。
在安全测试中，当系统阻止用户破坏软件内置的安全功能时，也应该出现错误信息。
3.撞车
崩溃是系统故障的标志，它通常表明系统无法达到你所测试的水平，可能意味着测试通过。
在某些情况下，系统可能会崩溃，但仍能通过你正在进行的测试案例，例如，如果系统在崩溃前承受了必要的压力或流量。
在进行非功能测试时，测试人员应该预期系统会经常崩溃，特别是在将其推到极限进行压力测试和其他性能测试时。
非功能测试的例子
非功能测试的例子与上述非功能测试案例的例子类似。
你可以看看非功能测试的例子，以更好地了解什么是非功能测试，以及它在软件应用中测试的内容。
1.性能测试实例
如果你正在开发一个将用户连接到在线数据库的移动应用程序，那么大量的用户可以同时访问和下载这个数据库的数据，这一点非常重要。
这也是可扩展性测试的一个关键部分，特别是如果你想在未来增加应用程序的用户数量。
然后，你将测试当例如1000个用户试图同时访问同一个数据库时，系统的反应如何，并为这种情况下应用程序的加载速度设定要求。
2.兼容性测试
如果你正在测试一个新的文件管理应用程序，你需要测试它是否能在所有的设备上运行。
这意味着测试你可以在所有最新版本的Windows、Mac以及你希望软件兼容的任何其他操作系统（如Linux）上安装和加载该应用程序。
3.安全测试
当你进行安全测试时，你将测试一些人们可能试图访问机密数据或破坏软件的安全保护措施的方式，以验证系统在这些情况下的行为是否符合你的期望。
例如，你可能会以一个用户的身份登录，并试图访问你没有安全许可的文件，以确保系统不会让你访问这些文件。
检测到的错误和bug的类型
通过非功能测试
非功能测试可以发现很多bug和缺陷，而这些bug和缺陷并不像功能测试中所发现的那样容易发现。 这是因为非功能测试通常要求测试人员验证不同的配置、设置和条件组合，以评估系统在无数不同的设置中的表现如何。
1.性能缺陷
当系统运行时，就会出现性能缺陷，但它的运行速度或效率并不像你所期望的那样。
例如，你可能会发现，在某些情况下，系统的加载速度不够快，如果有太多的用户同时登录，甚至会出现崩溃。
性能缺陷并不能完全阻止人们使用你的软件，但它们会使你的软件变得不那么可用，也不那么容易满足用户的要求。
2.安全缺陷
安全缺陷是指那些影响你的软件系统和存储在其中的数据的安全性的缺陷。
例如，如果用户可以访问他们不应该访问的机密数据，或者如果应用程序的某些部分没有正确的密码保护，或者如果加密失败，就可能出现安全缺陷。
这些都可能导致安全漏洞，从而对软件发行商的声誉产生严重影响。
3.功能性缺陷
虽然非功能测试并不是为了测试软件应用的功能，但在某些情况下，非功能测试可以识别软件内的功能缺陷。
例如，可靠性测试的目的不是测试应用程序是否正常，而是测试应用程序在重复尝试时是否可靠地运行。
这可能会发现，当一个动作被重复时，一些功能不能可靠地正常运作，这些可能被归类为功能错误。
常见的非功能测试指标
非功能测试指标描述了那些衡量系统的性能和效率的指标。
不同类型的非功能测试依赖于不同的指标，你可以根据项目的最终目标选择使用各种指标。
1次
时间指标衡量的是执行某些任务需要多长时间，或者用户需要等待多长时间来加载功能。
时间指标的一些例子是一个应用程序在给定的时间范围内可以进行的交易或下载数量，不同功能的响应时间，以及应用程序完成一个特定操作所需的时间。
不同类型的测试会以秒为单位测量结果，或以每秒多少次操作的形式呈现。
2.空间
空间是非功能测试的另一个重要指标。 空间指标可以测试系统需要多少CPU空间或软件完全安装后在硬盘上占用多少空间。
空间度量的一些例子包括缓存内存、主内存和辅助内存。
需要大量空间才能顺利运行的软件可能适合数量较少的客户。
3.可用性
非功能测试中的一些指标考虑到了系统的可用性，例如，培训用户正确使用系统需要多长时间，用户需要通过多少个选择来执行关键功能，或者需要点击多少次鼠标来执行某些任务。
非功能测试可以定量地测量这些指标中的每一项，较低的数字通常意味着较高的可用性水平。
4.可靠性
非功能测试的另一个重要指标是可靠性。 可靠性反映了系统一次又一次地表现出相同的方式或在很长一段时间内发挥其应有的功能的可能性。
用来衡量可靠性的一些指标的例子包括平均故障时间、故障率、可用性和停机概率。
这些指标中的每一个都能帮助测试人员验证系统是否能长期运行而不出现故障或崩溃的情况。
5.稳健性
稳健性是衡量系统处理故障的能力以及系统在发生故障时的自我恢复能力。
衡量健壮性的一些指标的例子包括系统在发生故障后自我恢复的时间，导致灾难性故障的事件的百分比，以及系统故障后数据文件被破坏的概率。
这些都是重要的指标，因为用户期望系统有时可能会出现故障，但不会丢失所有数据或损坏文件。
6.可移植性
可移植性指标衡量的是，软件是否可以很容易地转移到不同的系统中，或移动到网络中的一个新位置。
衡量可移植性的一些指标的例子包括不可移植的代码的百分比和软件可以运行的系统的数量。
理想情况下，可以在很多不同系统上运行的软件更便于携带，因此在可能需要频繁转移或搬迁的环境中使用更方便。
进行非功能测试的策略
当你开始进行非功能测试时，重要的是以一种战略来对待这一阶段的测试。 QA领导和软件测试经理应该在非功能测试开始前考虑测试的风险，他们所拥有的资源，以及测试的目的。
制定一个策略可以帮助你从一开始就优化你的非功能测试。
1.分配角色和责任
在开始非功能测试之前，为测试团队的主要成员分配角色和责任。 这使得非功能测试的工作量更容易管理，并确保有经验的测试人员负责维护你所进行的测试的质量和有效性。
确保你选择的承担这些角色的人具有完成你所期望的任务所需的知识和经验，特别是当这些任务需要技术技能时。
2.收集相关的测试工具
把你想用来进行非功能测试的所有技术和工具收集起来。 确保你的团队所有成员都知道如何有效地使用它们，并在必要时进行培训以填补技能差距。
在非功能测试开始之前，确保每个人都知道要使用哪些测试工具，以及如何使用这些工具，可以减少因为知识不足而不得不暂停测试或重做测试的风险。
3.确定测试的优先次序
在你开始非功能测试之前，列出你需要测试的系统的所有方面，并根据紧迫性和重要性对它们进行优先排序。
你可以根据你要测试的系统的每个方面所涉及的风险程度来确定非功能测试的优先次序。
例如，可能会进行基本的安全测试，因为充分的安全被认为在现代软件中极为重要。 你越早发现高风险的缺陷，这些缺陷对系统其他方面的潜在影响就会越低。
7个最好的非功能测试工具
非功能测试工具可以简化测试过程，使自动化测试更容易和更具成本效益，并帮助QA领导管理测试和文件过程。
网上有很多免费的非功能测试工具，也有一些你可以支付月费升级的工具。
1.ZAPTEST免费版
ZAPTEST是一个流行的软件测试工具，允许用户快速、轻松地进行功能和非功能软件测试。 你可以使用ZAPTEST来自动化软件测试，并利用RPA技术来模拟非功能测试中的各种功能和条件。
ZAPTEST免费版只是企业版的缩减版，在较小的范围内提供许多相同的功能。 你可以在ZAPTEST论坛上寻求支持，并以无限的虚拟用户进行性能测试。
2.浏览器
Appium是一个免费的软件测试工具，最适合测试各种不同平台的移动应用程序，包括iOS和Android设备。 Appium为用户提供了很大的灵活性，可以设计自己的测试框架和策略，同时受益于Appium提供的自动化能力。
3.负载
Loadium是一个非功能测试工具，最好用于进行性能测试和负载测试，这两种类型的非功能测试使用自动化工具更容易进行。
Loadium允许用户运行大规模的负载测试，并提供定制的解决方案，以便你可以根据你的软件目标定制测试。
你可以免费试用Loadium，也可以付费下载该应用程序的完整版本。
4.奥布奇奥
Obkio是一个软件测试工具，帮助QA负责人和测试经理根据问题的严重程度进行优先排序和分类。 Obkio可以在用户之前发现问题，为用户提供智能通知，并可以帮助检测问题所在。
Obkio不只是用于非功能测试，它是一个非常有用的免费测试工具，可以在测试生命周期的所有阶段使用。
5.声纳方块(SonarQube)
SonarQube是一个开源的安全测试工具，可以自动分析代码以检测错误和漏洞。 用Java编写，你可以用SonarQube来分析二十多种不同的编程语言的代码，该系统简洁的界面使它很容易发现未来可能导致安全漏洞的问题。
6.宗
Tsung是另一个非功能测试工具，如果你想自动进行负载和压力测试，但又不喜欢Loadium的免费版本，它是理想的选择。
Tsung是一个开源工具，允许用户在多个协议和服务器（包括HTTP和SOAP）上进行大批量的负载测试。
Tsung是完全免费的，它可以帮助测试人员确保他们正在开发的软件在各种挑战性条件下提供高性能水平。
7.西库利
Sikuli是另一个使用机器人流程自动化来实现测试过程自动化的应用程序。 该应用程序可以自动处理屏幕上可以看到的任何东西。 你可以使用Sikuli来测试非基于网络的应用程序，并快速重现bug。
非功能测试检查表、技巧和窍门
在你开始非功能测试之前，检查你是否已经有了在准备好的环境中进行彻底的非功能测试所需的一切。
在开始非功能测试之前，请遵循下面的检查清单，以获得提示和技巧。
1.按计划工作
无论你把它包括在你的测试计划中，还是为它创建一个单独的文件，都要围绕测试时间表来组织你的软件测试。
如果你发现的bug和缺陷比你预期的要多，你可能有时会偏离时间表，但有一个开始的时间表可以帮助指导测试人员，激励他们高效工作，特别是在进行耗时的手工测试时。
2.确定你的测试团队
委派责任并给你的测试团队成员分配正式的角色和头衔可以帮助确保测试过程顺利进行。
在测试开始前，明确沟通团队中的角色和责任，并指定不同的测试人员负责非功能测试的不同方面，这样每个人都要对自己的任务负责。
3.在测试前选择工具和技术
如果你在开始非功能测试后才决定使用特定的工具和技术，这可能会耽误测试过程，并导致测试人员的混乱。
相反，提前做研究，并在测试开始前决定是否有任何你想利用的工具。 这样就很容易将这些工具纳入测试计划，并在测试开始前培训你的测试人员使用这些工具。
4.始终获得测试和文件的正式签署
测试是一个质量保证过程，使你进行的测试的价值最大化的最好方法是对你计划和运行的测试也进行基本的QA。
引入简单的协议，要求测试人员在进入下一阶段之前，要求QA领导和经理审查和签署测试计划和测试报告。
这极大地增加了测试错误被发现和早期修复的机会。
实施非功能测试时应避免的7个错误和误区
如果你是非功能测试的新手，很容易犯一些测试人员和QA专家经常陷入的常见错误。
非功能测试是一项复杂的工作，它涉及到从所有角度和观点考虑软件构建。
以下是测试人员在进行非功能测试时最常犯的一些错误的清单。
1.不计划
如果你是非功能测试的新手，你可能认为你可以直接进入测试阶段，而不需要事先创建一个彻底的测试计划。
一些测试团队可能会把不完整的测试文件或测试计划的肤浅总结放在一起，没有充分地概述测试人员在非功能测试期间必须采取的行动。
2.测试管理不善
如果在测试过程的任何阶段对测试进行错误管理，就会出现问题。 不适当的管理可能意味着测试人员没有适当的资源来进行彻底的测试，或者测试人员没有足够的时间来测试构建的每个方面。
测试经理必须能够从他们所犯的错误中吸取教训，并制定更有效的测试计划，继续前进。
3.沟通不畅
在测试过程中，特别是在非功能测试中，沟通不畅会造成很多问题。
这可能意味着测试团队内部沟通不畅或测试人员、开发人员和利益相关者之间沟通不畅。
当测试人员没有充分维护测试文件或在测试过程中没有定期与其他部门沟通时，往往会发生这种情况。
4.无视开发者
测试人员和开发人员通常是相互分开工作的，但与开发人员密切合作的测试团队可以从关于软件如何运行以及不同模块如何相互作用的额外知识中受益。
让开发人员参与测试过程，或在关键时刻要求开发人员提供反馈，可以帮助测试团队制定更有效和彻底的测试计划。
5.测试的目的
许多测试人员仍然认为，测试的目的是检查软件是否工作，或向利益相关者和投资者证明软件的工作。
相反，测试人员应该以测试的目的是寻找缺陷的态度来进行测试。
没有发现缺陷的测试人员，只有当他们确信他们已经找遍了所有可能发现缺陷的地方，才会对他们测试的软件没有缺陷感到高兴。
6.人工与自动化错误
重要的是要花时间考虑，对于你进行的每一种类型的测试，是手动测试还是自动测试更好。
自动测试方法非常适用于几乎所有形式的非功能测试，而习惯于功能测试的测试团队可能会犯一个错误，即认为他们可以同样容易地手动测试非功能特性。
7.使用错误的测试工具
在开始非功能测试之前，很容易选择错误的测试工具和技术，特别是当测试团队习惯于进行手动测试，不习惯使用测试工具时。
提前研究你要使用的非功能测试方法，选择符合你项目具体要求的软件工具和自动化工具。
结论
非功能测试是测试过程中的一个重要步骤，它使测试人员能够验证一个系统的性能如何，在多大程度上满足非功能要求，如加载时间、容量和安全保障。
有很多不同的方法来进行非功能测试，但当代的自动化工具更容易使测试覆盖率和准确性最大化，而不影响结果的质量。
常见问题和资源
如果你想了解更多关于非功能测试的信息，网上有很多FAQ和资源。
浏览以下我们最喜欢的在线非功能测试资源，或阅读一些关于非功能测试最常见的问题的答案。
1.关于非功能测试的最佳课程
网上有很多课程可以帮助你扩展你对非功能测试方法和手段的认识。
其中一些课程是免费提供的，其他课程可能提供证书或资格，以换取费用。 如果你想参加一个经认证的课程，你可以问你的雇主，他们是否会赞助你并承担学费。
一些最好的非功能测试课程包括：
- TSG: 非功能培训2天课程
- Udemy：完整的2023年软件测试训练营
- Edx：软件测试专业证书
- 教育性的：性能测试自动化101
2.关于非功能测试的5大面试问题是什么？
如果你准备参加软件测试工作的面试，你的面试官可能会问你关于非功能测试的问题，以确保你了解软件测试的这个重要阶段是如何工作的。 通过提前准备好常见面试问题的有效答案，为你的面试做好准备。
你在非功能测试中使用的方法和手段可能与你在功能测试中使用的方法有什么不同？
● 非功能测试与功能测试有何不同？
存在哪些不同类型的非功能测试？
● 如何确定功能测试和测试用例的优先次序？
● 功能测试通常在软件测试的哪个阶段进行？
3.关于非功能测试的最佳YouTube教程
如果你喜欢通过观看视频来学习，你可能会发现YouTube上的非功能测试教程是了解这种类型的软件测试的有效途径。
下面是一些当今最好的YouTube软件测试教程。
什么是非功能软件测试？ 软件测试教程
软件测试帮助：非功能测试
软件测试中的非功能测试
访问W3Schools
功能和非功能测试
4.如何维护非功能测试
适当的测试维护确保软件测试可以重复进行而不影响测试结果的质量。
通过维护非功能测试，你可以确保在开发过程的每个阶段的测试是充分的，并且你的测试总是根据不断变化的代码进行更新。
你可以通过遵循我们下面的提示来维护非功能测试。
在创建测试用例和编写文档时，在整个测试团队中进行明确沟通
始终遵循最佳测试设计实践
在测试过程的各个阶段重新评估测试协议
在你的测试中更新变化
在对当前测试进行修改时考虑到未来的项目
5.非功能测试是黑盒还是白盒测试？
非功能测试是一种黑盒测试，这意味着测试人员不关心系统的内部工作原理，而只关心其外部输出。
这与白盒测试形成对比，白盒测试是对系统内部工作方式的测试。 白盒测试的例子包括单元测试和集成测试。
功能和非功能需求测试是黑盒测试的例子。 这意味着测试人员不需要高级技术技能或计算机编程知识来进行黑盒测试，也不需要学习如何实现他们所测试的系统。
