Distributions klaus Wiltschi*, Axel Pinz*, Gerhard Hackl

IMA
GE
ANAL
YSIS
OF
CARBIDE
DISTRIBUTIONS
Klaus Wiltschi*, Axel Pinz*, Gerhard Hackl**
*INST. F. COMPUTER GRAPHICS, TECHNICAL UNIVERSITY GRAZ, Graz, Austria
**BOHLER EDELSTAHL GMBH, DEPT. F. DEVELOPMENT AND RESEARCH, Kapfenberg,
Austria
ABSTRA
CT
Because of the decisive in uence of the carbide distribution on the mechanical properties of high
speed steels its estimation is an important step of steel quality inspection. Currently metallographers
classify the distributions by assigning micrographs to a standard chart consisting of 28 reference
images arranged in 4 rows and 7 colums. These classi cations as well as the standard chart itself are
not based on quantitative measures but on the qualitative visual impression of the metallographers.
We present image analysis methods, which model the visual classi cation process. Apart from
various features, which re ect parameters used in the visual decision process, additional features
are extracted in frequency domain to improve the automatic classi cation. First promising results
of classi cation experiments based on these quantitative features are discussed and a prototype of
an `active inspection system' for fully-automatic steel specimen classi cation using the described
methods is introduced.
1
MOTIV
A
TION
Ledeburitic steels occupy a special position among tool steels. After solidi cation the microstructure
of these steels posesses a carbide eutectic, which decisively in uences the mechanical properties of
the tool steel. In addition to the amount of carbides their arrangement (i.e the carbide distribution)
and the size of the carbide particles (i.e the carbide particle size) essentially determine the properties
of the tools made of these steels.
Several sienti c investigations showed the correlation between the mechanical properties and the
carbide distribution and particle size of tool steels (see [1], [2], [3]). Therefore, the characterization
of tool steels has to include the estimation of the carbide distribution and particle size. To make
comparative examination of microstructure feasible in practice microstructural standard charts, which
describe the quality of a ledeburitic steel qualitatively, were determined emperically.
In order to get a quantitative description of the standard chart and to eliminate the subjectivity of
the human classi cation we are developing image analysis methods for an automatic classi cation
of steel specimens. Using the Bohler standard chart for High Speed Steels (see Fig. 3) we present a
feature extraction method with rst classi cation results and give an outlook on an active inspection
system for fully-automatic classi cation of metallographic specimens.
1.1
QUALIT
A
TIVE
CORRELA
TION
BETWEEN
STRUCTURAL
CHARA
CTERISTIC
AND
MECHANICAL
PROPERTIES
The carbide eutectic developed during solidi cation gets smashed and arranged in form of carbide
stringers by the following hot reduction. Consequently, various degrees of deformation results in
1

Figure 1: Transversal rupture strength of high speed steels at various degrees of reduction for
longitudinal and transverse specimens according to the rolling direction (see [2])
Figure 2: Model of subcritical crack propagation in the stringer structure of a high speed steel
(see [3])
2

very di erent carbide distributions for a speci c type of steel. Figure 3 shows the wide variety of
the carbide distributions, which are produced by the Bohler Edelstahl GmbH.
The in uence of the carbide distribution on the mechanical properties is most obvious in the case
of transverse rupture strength. Figure 1 shows the in uence of the degree of reduction and of the
specimen orientation according to the rolling direction. With increasing degree of deformation the
carbide distributions are getting more and more dispersed, yielding better mechanical properties.
Futhermore, Fischmeister developed a model to explain the in uence of the specimen orientation
according to the rolling direction (see Fig. 2).
In transverse specimens subcritical crack growth occurs more easily than in longitudinal specimens.
With increasing degree of reduction the di erence between transversal and longitudinal specimens
decreases due to the more and more regular carbide distribution. These investigations proof the
decisive in uence of the carbide distributions and stress the necessity to get precise knowledge of
the carbide distribution and particle size for the estimation of the mechanical properties of tool
steels.
2
MA
TERIAL
Figure 3: The microscopic standard chart for the characterization of carbide distributions of High
Speed Steels; white pixels correspond to carbides; steel quality increases form lower right to upper
left
The standard chart (Fig. 3) splits the carbide distribution into 28 classes arranged in 4 rows according
to 4 di erent distribution types and 7 di erent distribution degrees. For the current visual classi ca-
tion the carbide distributions are assigned to this standard chart by estimating the shape (i.e. line-
or netshaped) for the distribution type and the size or maximum width of the largest agglomeration
for the distribution degree. Our method models these features and extracts additional features to
make a correct distinction of the carbide distributions feasible. The algorithms are illustrated using
3 sample images out of the standard chart throughout the paper (Fig. 4.a-c).
3

(a) Reference image 14, a
medium-sized carbideline
(b) Reference image 17, the
widest carbideline
(c) Reference image 44, a
medium-sized netshaped carbide
distribution
Figure 4: Three sample images of the standard chart
3
METHODS
3.1
A
CHARA
CTERISTIC
BINARY
CARBIDE
STRUCTURE
In order to estimate the shape of the carbide distribution and the size of the carbide clusters we
generate a characteristic binary structure by means of segmentation, ltering and clustering.
After global thresholding based on the gray level distribution (i.e. histogram; see Fig. 5.b) of
the images, which results in the binary image shown in Figure 5.c, the insigni cant carbides are
ltered by erasing isolated points outside the agglomerations (Fig. 5.d). On the one hand these
points are ignored during the visual inspection and on the other hand they disturb the subsequent
morphological closing. Using a circular structuring element a morphological closing connects the
pixels of the agglomerations and yields lled clusters for them (Fig. 5.e).
By means of a region labeling algorithm each cluster can be located seperately, leading to the
construction of a characteristic binary structure (Fig. 5.f-h), which contains each cluster with an
area larger than 10% of the area of the largest cluster in the image. Again by means of morphological
closing with a structuring element size depending on the cluster size these clusters are smoothed,
yielding agglomerations containing only signi cant holes and a smoothed border, which is very
important for the feature extraction techniques described in section 3.2.
3.2
FEA
TURE
EXTRA
CTION
To model the features used by the human classi cation we extract various features in the spatial
domain using the characteristic binary carbide structure described above. Several shape parameters
like the area, the border-length and the eigenvalues in principle axes direction are calculated for
each cluster of the characteristic structure. The mean values over all clusters and the values for the
largest cluster serve as features for the classi cation. Especially, the area and the small eigenvalue of
the largest cluster turned out to be important features for the estimation of the distribution degree
(see Fig. 6).
Futhermore, the skeleton of the characteristic structure is determined to count the number of
rami cations, which yields a feature for the distribution type (see Fig. 7). By means of vertical
and horizontal linear projections the number of clusters per line, the length of the cluster segments
and the number of nonempty lines are calculated (see Fig. 8). Particularly, the maximum length
of vertical segments correlates with the distribution degree and the number of nonempty horizontal
lines contributes to the estimation of the distribution type.
4

(a) Reference image 14
(b) Smoothed histogram and
marked threshold
(c) Resulting binary image
(d) Filtered binary image
(e) Morphologically closed image
(f)
cha
racteristic
binary
struc-
ture
of image 14
(g)
cha
racteristic
binary
struc-
ture
of image 17
(h)
cha
racteristic
binary
struc-
ture
of image 44
Figure 5: Generation of the characteristic binary structure
5

(a) Largest cluster in image 14;
lines show the principal axes
(length

eigenvalues)
(b) Boundary of the largest clus-
ter
Figure 6: Visualization of shape parameters (image 14)
(a) Skeleton of the structure
(image 44)
(b) Skeleton (white), detected
nodes (black)
Figure 7: Number of rami cations of the carbide distribution (image 44)
For further improvement of the distinction in accordance with the distribution type the degree of
orientation of the carbide distribution is estimated in frequency domain. Therefore, the power spec-
trum of the images is summed up radially, yielding an energy distribution over the angle (Fig. 9).
This distributions are approximated by a double-exponential function DE and a Gaussian function G:
D
E
=
p1

exp

?
jx?p
2
j
p
3

+
p
4
and
G
=
p1

exp

?
1
2

(
x?p
2
2
)
p
2
3

+
p
4
(with
p
1
scale,
p
2
angle o set,
p
3
width of the function,
p
4
energy o set).
The parameter
p3
is a measure for the width of the energy distribution and serves as a feature in-
creasing according to the distribution type. Altogether 30 features are extracted, which are described
in more detail in [4] and [5].
3.3
CLASSIFICA
TION
First classi cation experiments using supervised statistical classi cation algorithms (Minimum Dis-
tance, k-Nearest Neighbourhood and Maximum Likelihood, see [6], [7], [8]) showed promising results.
We used about 400 sample images, which were split up in two disjunct sets to train the classi er
with the rst set and classify the second one. Approximately 90% of the images were classi ed
correctly or in a direct neighbouring class (e.g class 33 instead of class 34 see Fig. 3). More details
about the classi cation experiments can be found in [9].
6

Figure 8: Linear projections of the characteristic structure of image 14
(a) Radial energy distribution;
with erased anks
(b) Double-exponential-approx.
for image 14
(c) Gauss-approximation for im-
age 14
Figure 9: Energy distribution for the evaluation of the degree of orientation
(a) Carbide distribution (approx.
1:20)
(b) Zoomed detail area (1:100)
(c)
cha
racteristic
structure
gen-
erated by the feature extraction
software
Figure 10: Visualisation of the localisation of the `worst' carbide distribution at lower resolution and
classi cation at a higher magni cation ; the resulting class 47 is in correspondence with the visual
classi cation by the metallographer
7

(a) System setup
Controllable
Power Supply
X−Y Control
Focus Control
CCD − Camera
Workstation
Detection of Most Salient
Carbide Distribution
• Search
• Focus
• Ilumination
• Magnification
Carbide Distribution
Classification
• Feature
Extraction
• Carbide
Classification
Focus of
Attention
Image
Position
Flow of Information
Flow of Control
Microscope
Light 
Source
Specimen
Stage
Objective
Revolver
(b) System modules and their interaction
Figure 11: Prototype of the Active Inspection System
8

4
PROTOTYPE
OF
AN
`A
CTIVE
INSPECTION
SYSTEM'
Our current scienti c e orts aim at the development of an active inspection system. Beyond the
capabilities to classify single images, which were described in the previous sections, this system will
be able to automatically classify a whole steel specimen. This approach corresponds to the current
visual inspection procedure by human metallographers. Therefore, we set up a prototype system
consisting of a microscope and a graphics workstation, which is able to actively control the position
of the specimen stage, the focus, the illumination and the magni cation of the microscope (see
Fig. 11.a). The system architecture and the ow of control and information among the system
modules can be seen in Figure 11.b.
Currently, the system is capable of classifying any detail area on a specimen surface according to
the standard chart using the methods described above. To increase the processing speed for the
classi cation of a whole specimen we want to detect the `worst' carbide distribution at a lower
magni cation (Fig. 10.a) and zoom to this position for classi cation (Fig. 10.b-c). So the system
is going to control its image acquisition parameters in the sense of Active Vision (see [10]) in order
to improve the accuracy and the speed of the classi cation process.
5
RESUL
TS
Our experiments show the following results:
1. Approx. 90% of the sample images are classi ed correctly or in a direct neighbouring class
(e.g. class 33 instead of class 34 see Fig. 3).
2. Due to the high dimensionality of the problem (many classes, many features), our current
training set of approx. 400 sample images has to be increased.
3. There are several limitations of the feature based classi cation approach, so that we are
currently developing a texture model for these carbide distributions using Multiscale Analysis
Methods (see [11], [12], [13], [14]), leading to continuous measures for the distributions. This
model will also lead to an improved objective rede nition of the standard chart.
REFERENCES
[1] H. Fischmeister, J. Paul, S. Karagoz. Toughness Relevant Defects in High Speed Cutting Steels,
Prakt. Met. 25:28-40, 1988
[2] P. Beiss, R. Wahling, Metal Powder Report, 1989, p. 739
[3] H. Fischmeister, L.R. Olsson, Int. Conf. Cutting Tool Materials, Cincinatti, 1980
[4] K. Wiltschi, A. Pinz, G. Hackl. Feature Extraction for Carbide Classi cation of High Speed
Steel, Visual Modules, Proc. 19th OAGM and 1st SDVR Workshop, Schriftenreihe der OCG,
R. Oldenburg Wien-Munchen, 81:169-176, 1995
[5] K. Wiltschi. Automatische Merkmalsextraktion aus Karbidverteilungsbildern von Schnellar-
beitsstahlen. Master's thesis, TU Graz, 1995.
[6] H. Fukunaga. Introduction to Statistical Pattern Recognition. Academic Press, Boston, 1990
[7] B. Batchelor. Practical Approach to Pattern Classi cation. Plenum Publishing Company Ltd.,
1974
9

[8] R. O. Duda, P. E. Hart. Pattern Classi cation and Scene Analysis. Wiley-Interscience Publica-
tions, 1973
[9] K. Zweimueller. Klassi kation in hochdimensionalen Merkmalsraumen am Beispiel von
Stahlschli bildern. Master's thesis, TU Graz, 1995.
[10] J. Aloimonos, I. Weiss, A. Bandyopadhyay. Active Vision. In Proc. 1st ICCV, pages 35-54. IEEE
Comp. Soc. Press, 1987.
[11] A. K. Jain, F. Farrokhnia. Unsupervised Texture Segmentation Using Gabor Filters. Pattern
Recognition, 24(12):1167-86, 1991.
[12] Zhie-Yan Xie. Multi-Scale Analysis and Texture Segmentation. PhD thesis, University of Oxford,
Department of Engeneering Science, Robotics Research Group, 1994
[13] I. Daubechies. Ten Lectures on Wavelets, Society of Industrial and Applied Mathematics,
Philadelphia, 1992
[14] S. G. Mallat. A Theory for Multiresolution Signal Decomposition: The Wavelet Represenatation.
IEEE Trans. on Pat. and Mach. Int., 11(7):674-693, 1989
10