N this chapter, we will introduce you to the fundamentals of testing: why testing is


part of the document to review. Because the human mind can comprehend a limited



tải về 6.34 Mb.
Chế độ xem pdf
trang4/25
Chuyển đổi dữ liệu03.04.2023
Kích6.34 Mb.
#54490
1   2   3   4   5   6   7   8   9   ...   25
Foundations of Software Testing ISTQB Certification 3rd ed


part of the document to review. Because the human mind can comprehend a limited
set of pages at one time, the number should not be too high. The maximum number
of pages depends, among other things, on the objective, review type and document
type and should be derived from practical experiences within the organization. For a
Moderator (inspection
leader) The leader and
main person responsible
for an inspection or other
review process.
Entry criteria The set of
generic and specific
conditions for permitting
a process to go forward
with a defined task, e.g.
test phase. The purpose
of entry criteria is to
prevent a task from
starting which would
entail more (wasted)
effort compared to the
effort needed to remove
the failed entry criteria.
Section 2 Review Process 53


review, the maximum size is usually between 10 and 20 pages. In formal inspection,
only a page or two may be looked at in depth in order to find the most serious
defects that are not obvious.
After the document size has been set and the pages to be checked have been
selected, the moderator determines, in co-operation with the author, the composition
of the review team. The team normally consists of four to six participants, inclu-
ding moderator and author. To improve the effectiveness of the review, different
roles are assigned to each of the participants. These roles help the reviewers
focus on particular types of defects during checking. This reduces the chance of
different reviewers finding the same defects. The moderator assigns the roles to the
reviewers.
Figure 3.1 shows the different roles within a review. The roles represent views of
the document under review.
Within reviews the following focuses can be identified:
l
focus on higher-level documents, e.g. does the design comply to the
requirements;
l
focus on standards, e.g. internal consistency, clarity, naming conventions,
templates;
l
focus on related documents at the same level, e.g. interfaces between software
functions;
l
focus on usage of the document, e.g. for testability or maintainability.
The author may raise additional specific roles and questions that have to be
addressed. The moderator has the option to also fulfil a role, alongside the task of
being a review leader. Checking the document improves the moderator
’s ability to
lead the meeting, because it ensures better understanding. Furthermore, it improves
the review efficiency because the moderator replaces an engineer that would
otherwise have to check the document and attend the meeting. It is recommended
that the moderator take the role of checking compliance to standards, since this
tends to be a highly objective role, which leads to less discussion of the defects
found.
type 1
higher-level
documents
type 4
user of the
document
type 3
related
documents
type 2
compliance
to standards
document
under
review
F I G U R E 3 . 1
Basic review roles for a document under review
Reviewer
(inspector) The person
involved in the review
that identifies and
describes anomalies in
the product or project
under review. Reviewers
can be chosen to
represent different
viewpoints and roles in
the review process.
54
Chapter 3 Static techniques


Kick-off
The Foundation Syllabus specifies the following elements of the optional kick-off step:
l
Distributing documents.
l
Explaining the objectives, process and documents to the participants.
Let
’s examine these in more detail.
The next step in a review process, which is optional, is a kick-off meeting. The
goal of this meeting is to get everybody on the same wavelength regarding the
document under review and to commit to the time that will be spent on checking.
Also the result of the entry check and defined exit criteria are discussed in case of a
more formal review. In general a kick-off is highly recommended since there is a
strong positive effect of a kick-off meeting on the motivation of reviewers and thus
the effectiveness of the review process. At customer sites, we have measured results
of up to 70% more major defects found per page as a result of performing a kick-off
[van Veenendaal and van der Zwan, 2000].
During the kick-off meeting the reviewers receive a short introduction to the
objectives of the review and the documents. The relationships between the document
under review and the other documents (sources) are explained, especially if the
number of related documents is high.
Role assignments, checking rate, the pages to be checked, process changes and
possible other questions are also discussed during this meeting. Of course the distribu-
tion of the document under review, source documents and other related documentation,
can also be done during the kick-off.
Preparation
The Foundation Syllabus specifies the following elements of the preparation step:
l
Preparing for the review meeting by reviewing the document(s).
l
Noting potential defects, questions and comments.
Let
’s examine these in more detail.
In preparation, the participants work individually on the document under review
using the related documents, procedures, rules and checklists provided. The indivi-
dual participants identify defects, questions and comments, according to their under-
standing of the document and role. All issues are recorded, preferably using a
logging form. Spelling mistakes are recorded on the document under review but
not mentioned during the meeting. The annotated document will be given to the
author at the end of the logging meeting. Using checklists during this phase can
make reviews more effective and efficient, for example a specific checklist based on
perspectives such as user, maintainer, tester or operations, or a checklist for typical
coding problems.
A critical success factor for a thorough preparation is the number of pages checked
per hour. This is called the checking rate. The optimum checking rate is the result of a
mix of factors, including the type of document, its complexity, the number of related
documents and the experience of the reviewer. Usually the checking rate is in the
range of five to ten pages per hour, but may be much less for formal inspection, e.g.
one page per hour. During preparation, participants should not exceed the checking
rate they have been asked to use. By collecting data and measuring the review
process, company-specific criteria for checking rate and document size (see planning
phase) can be set, preferably specific to a document type.
Section 2 Review Process 55


Examination, evaluation, and recording of results (review meeting)
The Foundation Syllabus specifies the following elements of the review meeting
step, which it refers to as examination, evaluation, and recording of results:
l
Discussing or logging, with documented results or minutes (for more formal
review types).
l
Noting defects, making recommendations regarding handling the defects,
making decisions about the defects.
l
Examining, evaluating and recording issues during any physical meetings or
tracking any group electronic communications.
Let
’s examine these in more detail.
The review meeting typically consists of the following elements (partly depending
on the review type): logging phase, discussion phase and decision phase.
During the logging phase the issues, e.g. defects, that have been identified during
the preparation are mentioned page by page, reviewer by reviewer and are logged
either by the author or by a scribe. A separate person to do the logging (a scribe) is
especially useful for formal review types such as an inspection. To ensure progress
and efficiency, no real discussion is allowed during the logging phase. If an issue
needs discussion, the item is noted as a discussion item and then handled in the
discussion phase. A detailed discussion on whether or not an issue is a defect is not
very meaningful, as it is much more efficient to simply log it and proceed to the next
one. Furthermore, in spite of the opinion of the team, a discussed and discarded
defect may well turn out to be a real one during rework.
Every defect and its severity should be logged. The participant who identifies the
defect proposes the severity. Severity classes could be:
l
Critical: defects will cause downstream damage; the scope and impact of the
defect is beyond the document under inspection.
l
Major: defects could cause a downstream effect (e.g. a fault in a design can
result in an error in the implementation).
l
Minor: defects are not likely to cause downstream damage (e.g. non-
compliance with the standards and templates).
In order to keep the added value of reviews, spelling errors are not part of the
defect classification. Spelling defects are noted, by the participants, in the document
under review and given to the author at the end of the meeting or could be dealt with
in a separate proofreading exercise.
During the logging phase the focus is on logging as many defects as possible
within a certain timeframe. To ensure this, the moderator tries to keep a good logging
rate (number of defects logged per minute). In a well-led and disciplined formal
review meeting, the logging rate should be between one and two defects logged per
minute.
For a more formal review, the issues classified as discussion items will be
handled during this meeting phase. Informal reviews will often not have a separate
logging phase and will start immediately with discussion. Participants can take
tải về 6.34 Mb.

Chia sẻ với bạn bè của bạn:
1   2   3   4   5   6   7   8   9   ...   25




Cơ sở dữ liệu được bảo vệ bởi bản quyền ©hocday.com 2024
được sử dụng cho việc quản lý

    Quê hương