Hệ thống kiểm tra linh kiện trên bo mạch điện tử sử dụng công nghệ xử lý ảnh

Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh52
HỆ THỐNG KIỂM TRA LINH KIỆN TRÊN BO MẠCH ĐIỆN TỬ 
SỬ DỤNG CÔNG NGHỆ XỬ LÝ ẢNH
DEVELOPMENT OF A COMPUTER VISION SYSTEM 
FOR ELECTRONIC PCB COMPONENT INSPECTION
Nguyễn Việt Thắng1, Lê Thanh Tùng2, Mai Văn Nam3
1,2Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh
3Công ty TNHH Panasonic AVC Việt Nam
Ngày tòa soạn nhận bài 22/12/215, ngày phản biện đánh giá 06/01/2016, ngày chấp nhận đăng 18/02/2016 
TÓM TẮT
Quy trình sản xuất bo mạch in điện tử, gọi tắt là PCB (Printed Circuit Bo), là một quy 
trình phổ biến, thường đòi hỏi rất nhiều ứng dụng công nghệ cao. Trong đó, việc kiểm tra một 
PCB với đầy đủ linh kiện là một việc làm khó khăn với người lao động do tính chất đòi hỏi sự 
tập trung cao và bền bỉ của công nhân. Để giải quyết vấn đề này, nhiều giải pháp đã được đề 
xuất, trong đó công nghệ xử lý ảnh nổi lên như một phương án tốt nhất với các ưu điểm như tốc 
độ xử lý nhanh và độ chính xác cao. Tuy nhiên, giá thành của các hệ thống này thường khá cao. 
Bài báo này trình bày một giải pháp để kiểm tra những linh kiện bị thiếu trên các PCB hoàn 
chỉnh. Theo đó, một giải thuật phù hợp được đề xuất cho camera giá thành thấp, cho phép xây 
dựng một quy trình kiểm tra có tính đơn giản và kinh tế hơn.
Từ khóa: kiểm tra quang; kiểm tra bo mạch in; linh kiện thiếu; xử lý ảnh, camera giá 
thành thấp.
ABSTRACT
The manufacturing process of Printed Circuit Board (PCB) nowsaday requires several 
high-tech procedures. Among them, components inspection on PCB usually requires high at-
tention concentration and labor persistence. Solutions were suggested to solve this problem, 
among which computer vision emerged as one of the most suited with high speed and precise 
detection capacity, but usually high cost. This paper presents a solution to detect missing com-
ponents on PCB using low cost camera and an appropriate algorithm that meets the require-
ments of the producer.
Keywords: visual inspection; printed circuit board checking; missing component; image 
processing; low cost camera.
1. ĐẶT VẤN ĐỀ
Công nghệ xử lý ảnh không phải là một 
công nghệ mới xuất hiện trên thế giới. Ở thập 
niên 80, công nghệ này đã được ứng dụng để 
kiểm tra các mạch in điện tử, kiểm tra chip, 
chất lượng bề mặt vật liệu, thức ăn [1], [2]. 
Tuy gặp nhiều hạn chế [3], nhưng công nghệ 
này vẫn được cải tiến không ngừng và sử 
dụng ngày càng nhiều trong công nghiệp [4]. 
Trong dây chuyền sản xuất các bo mạch điện 
tử, công nghệ này đặc biệt tỏ ra hữu ích trong 
việc kiểm tra các đường mạch in [5] hay kiểm 
tra bảo đảm linh kiện trên bo không bị bỏ sót 
[6]. Trong nội dung bài báo này, nhóm tác giả 
tập trung vào việc xây dựng giải thuật xử lý 
cùng với một mô hình phần cứng thích hợp để 
kiểm tra.
1.1 Các phương án thiết kế phần cứng: 
Theo [7], việc lựa chọn thiết bị cho hệ 
thống xử lý ảnh có nhiều phương án, bao gồm:
- Sử dụng ánh sáng thường (ánh sáng 
người nhìn thấy, có bước sóng từ 0,4 - 
0,75 μm. Hệ thống này dùng để kiểm 
tra những lỗi bề mặt như kiểm tra bo lúc 
chưa gắn linh kiện, kiểm tra mối hàn 
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh 53
chì, kiểm tra thiếu linh kiện [8].
- Dùng tia X (X quang, có bước sóng từ 
0,01 đến 10 nm (nanomet). Hệ thống xử 
lý ảnh dạng này được dùng để thực hiện 
những phép đo nhanh và chính xác cho 
những bo nhiều lớp [9].
- Dùng siêu âm: Bằng cách phát ra dải 
sóng siêu âm và nhận tín hiệu phản hồi, 
hệ thống này có thể phát hiện lỗi ở các 
mối hàn chì [10].
- Ảnh nhiệt: Sử dụng công nghệ laser 
hoặc ánh sáng hồng ngoại, hệ thống 
được dùng để đo các điểm sinh nhiệt khi 
bo mạch đang hoạt động, kiểm tra các vị 
trí ngắn mạch hoặc quá nhiệt [11].
1.2 Các phương án trong giải thuật xử lý:
Các phương pháp kiểm tra chất lượng 
của một PCB dùng một camera thường khá 
đa dạng. Tuy nhiên, có thể phân tích thành hai 
nhóm phương pháp chính hiện nay là: phương 
pháp có tham khảo dữ liệu ảnh mẫu và phương 
pháp không tham khảo dữ liệu ảnh mẫu.
a/ Phương pháp có tham khảo dữ liệu 
ảnh mẫu:
Phương pháp này yêu cầu phải có một 
ảnh chuẩn (không có khuyết điểm nào). Khi 
tiến hành kiểm tra, ảnh cần kiểm được đưa vào 
phân tích cùng với ảnh chuẩn. Phép trừ ảnh 
chuẩn với ảnh kiểm tra là một phương pháp 
phổ biến được sử dụng trong các nghiên cứu 
[12]. Theo đó, ảnh kiểm tra được cân chỉnh lại 
sao cho tương đồng với ảnh chuẩn (do sai lệch 
khi chụp ảnh). Sau đó, phép trừ ảnh chuẩn với 
ảnh kiểm tra được tiến hành và cho ra kết quả 
là ảnh âm và ảnh dương. Những ảnh này lại 
được phân ngưỡng, nhị phân hóa, lọc nhiễu và 
cuối cùng được đánh giá, xếp loại mức khuyết 
điểm. Một số tác giả khác sử dụng thêm các 
phép biến đổi như biến đổi Fourier [13] hay 
Haar Wavelet [13] để phân tích những đặc 
trưng khác nhau.
b/ Phương pháp không tham khảo dữ 
liệu ảnh mẫu: 
Thay vì phương pháp so sánh với ảnh 
chuẩn, phương pháp này sử dụng một bộ các 
quy tắc thiết kế (có được khi thiết kế mạch) để 
kiểm tra bo mạch, bao gồm những tiêu chuẩn 
về kích thước, vị trí, hướng của linh kiện, để 
tiến hành kiểm tra trên ảnh thu được.
Ngoài ra, nhiều nghiên cứu cũng chỉ ra hiệu 
quả của việc kết hợp cả 2 phương pháp trên, 
nghĩa là sử dụng cả bản thiết kế và ảnh chuẩn 
để kiểm tra bo mạch [14], [15].
1.3 Lựa chọn phương án
Trong phạm vi nghiên cứu này, nhóm 
tác giả chỉ tập trung vào việc giải quyết vấn 
đề thiếu linh kiện trên bo mạch. Xét theo tiêu 
chí kinh tế, cũng như độ linh hoạt của thiết bị, 
thì phương án xử lý ảnh dùng camera thường 
(camera với cảm biến có thể nhận được ánh 
sáng trong vùng nhìn thấy) là phương án tốt 
nhất. Bên cạnh đó, nhờ sự phát triển của khoa 
học kỹ thuật, những camera ngày nay có độ 
phân giải cao, thời gian truyền nhận dữ liệu 
nhanh, góp phần tối ưu chất lượng và thời gian 
kiểm tra trên dây chuyền.
Về giải thuật xử lý, nhóm tác giả chọn 
phương án kiểm tra có sự tham khảo dữ liệu 
ảnh mẫu. Nguyên nhân là vì trong thực tế, do 
tính chất bảo mật, bản thiết kế chuẩn của PCB 
thường không được công bố rộng rãi.
2. XÂY DỰNG GIẢI THUẬT NHẬN 
DẠNG PCB THIẾU HAY ĐỦ LINH 
KIỆN
Giải thuật kiểm tra các linh kiện trên 
PCB được đề xuất xây dựng dựa trên 2 pha: 
Pha huấn luyện và pha kiểm tra. Pha huấn 
luyện chính là quá trình tạo nguồn cơ sở dữ 
liệu cho máy tính. Ngược lại, pha kiểm tra là 
pha xử lý dữ liệu mới dựa trên cơ sở đã có.
2.1 Pha huấn luyện: Xây dựng cơ sở dữ 
liệu cho máy phân biệt bo mạch đạt 
chuẩn và không đạt chuẩn
Quá trình huấn luyện là quá trình tạo cơ 
sở dữ liệu nhằm giúp hệ thống có thể phân 
biệt rõ các đặc điểm khác nhau giữa một bo bị 
lỗi thiếu linh kiện và một bo chuẩn. Quá trình 
này thực hiện trước khi bắt đầu công đoạn 
kiểm tra. Do đó không yêu cầu thời gian xử 
lý nhanh, nhưng cần sự chính xác trong việc 
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh54
phân biệt bo mạch lỗi hay không lỗi. Quá trình 
thực hiện bao gồm các bước sau:
- Bước 1: Chụp ảnh PCB lỗi (khi chưa có 
linh kiện nào) và PCB chuẩn (có đầy đủ 
linh kiện theo thiết kế) làm mẫu.
- Bước 2: Chọn vùng cần kiểm tra. Vị 
trí các vùng chính là vị trí các linh 
kiện cần kiểm tra. Quá trình chọn này 
có thể được thực hiện bằng tay hoặc tự 
động. Tuy nhiên, quá trình chọn tự động 
không chính xác do sai số cơ khí và 
cũng không làm thay đổi đến thời gian 
thực thi khi kiểm tra. Vì vậy, phương án 
chọn bằng tay, với ưu điểm là độ linh 
động cao, được sử dụng.
- Bước 3: Khử nhiễu sơ bộ trên ảnh lỗi 
và ảnh chuẩn bằng cách áp dụng bộ lọc 
Gaussian 2 chiều kích thước 5x5 lên ảnh. 
Bộ lọc Gaussian 2 chiều có tác dụng làm 
làm giảm nhiễu trong ảnh. Trong không 
gian 2 chiều, hàm phân phối Gaussian 
G(x, y) được định nghĩa theo công thức 
sau:
+−
σ=
πσ
2 2
2
2
x y
1 2G(x,y) e
2 
 (1) 
với σ là phương sai của phân phối.
- Bước 4: Lưu trữ dữ liệu gồm ảnh chuẩn, 
ảnh lỗi, và các thông số liên quan đến 
vùng cần kiểm tra.
2.2 Pha kiểm tra: Kiểm tra PCB dựa trên 
cơ sở dữ liệu đã có từ pha huấn luyện
Pha kiểm tra là quá trình nhận dạng một 
bo mạch mới được đưa vào hệ thống dựa trên 
cơ sở dữ liệu đã có. Pha kiểm tra là quá trình 
cần giảm thiểu thời gian xử lý nhằm đáp ứng 
yêu cầu sản xuất nhưng vẫn đảm bảo chất 
lượng theo yêu cầu. Quá trình này được đề 
xuất gồm các bước sau:
- Bước 1: Ảnh PCB cần kiểm tra sẽ được 
khử nhiễu bằng cách đưa qua bộ lọc 
Gaussian.
- Bước 2: Xác định lại vị trí của bo mạch. 
Do những sai số cơ khí (sai số chế tạo, 
sai số do dịch chuyển bo...) nên bo cần 
kiểm tra có thể được đặt không hoàn 
toàn khớp với lúc đặt bo chuẩn. Việc đặt 
bo không đúng vị trí có thể gây sai số 
khi nhận dạng. Để khắc phục, phương 
pháp khớp mẫu (template matching) với 
phép đo hệ số tương quan (Correlation 
Coefficient) được dùng để xác định lại 
vị trí đúng của bo mạch.
Phép tính hệ số tương quan cho phương 
pháp khớp mẫu được định nghĩa như 
sau:
+ +
=
+ +
∑
∑ ∑
' '
' ' ' '
' ' ' ' ' '
x ,y
2 2' ' ' ' ' '
x ,y x ,y
(T (x ,y ).I (x x ,y y ))
R(x,y)
T (x ,y ) I (x x ,y y )
(2)
với:
+ + = + + − + +∑ x'',y''w.h
1I'(x x',y y') I(x x',y y') I(x x'',y y'')
= − ∑ x'',y''T '(x ',y ') T(x',y ') 1/ (w.h). T(x'',y '')
Trong đó: T là ảnh bo chuẩn, I là ảnh 
cần kiểm tra được lấy từ camera (xem 
hình 2)
Quá trình dò vị trí bo mạch trên ảnh 
kiểm tra được xem như việc lập biểu đồ tương 
quan (correlation map) giữa ảnh của bo chuẩn 
với ảnh kiểm tra. Trên hình 3, hai trục theo 
phương ngang là hai chiều của ảnh, trong khi 
trục đứng (trục z) là trục biểu thị độ tương 
quan giữa bo chuẩn với từng vùng của bo 
kiểm tra. Điểm có giá trị cao nhất (tương ứng 
với hệ số tương quan lớn nhất) được xem là vị 
trí của bo mạch trong ảnh kiểm tra.
- Bước 3: Mỗi linh kiện (đã được chọn 
trong pha huấn luyện) sẽ được tách rời 
khỏi ảnh PCB lớn và đưa vào bộ so sánh 
với cơ sở dữ liệu gốc (đã được tạo trong 
pha huấn luyện). Phương án so sánh 
được chọn là đo độ tương quan giữa his-
togram của ảnh kiểm tra với histogram 
của ảnh chuẩn và ảnh lỗi.
Cách tính histogram của ảnh như sau: 
Gọi H là histogram của ảnh T, thì H[i] 
là số lượng pixel có mức xám i trong 
ảnh T.
Phép đo độ tương quan của histogram 
được thực hiện theo công thức sau:
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh 55
1 1 2 2
1 2
2 2
1 1 2 2
( ( ) ).( ( ) )
( , )
( ( ) ) ( ( ) )
I
I I
H I H H I H
d H H
H I H H I H
− −
=
− −
∑
∑ ∑ 
(3)
Với
1
( )k k
J
H H J
N
= ∑ , N là số mức xám.
2.3 Lưu đồ giải thuật tổng quát
Giải pháp kiểm tra linh kiện thiếu trên 
bo mạch điện tử bao gồm hai pha là pha huấn 
luyện và pha kiểm tra như đã trình bày ở mục 
1 và mục 2. Lưu đồ giải thuật của pha huấn 
luyện và pha kiểm tra được trình bày tóm tắt 
ở hình 4.
Hình 1. Xác định vị trí bo mạch trong ảnh đầu vào. Hình trái: Ảnh chuẩn bo mạch. 
Hình phải: Quá trình dò vị trí bo mạch trên ảnh kiểm tra.
Hình 2. Bản đồ tương quan (correlation map) giữa ảnh của bo chuẩn với ảnh kiểm tra
Hình 3. Lưu đồ giải thuật kiểm tra linh kiện bị thiếu trên PCB. Hình bên trái: Lưu đồ của pha 
huấn luyện. Hình bên phải: Lưu đồ của pha kiểm tra
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh56
3. MÔ HÌNH HỆ THỐNG VÀ KẾT 
QUẢ THỰC NGHIỆM :
3.1 Mô hình hệ thống thực nghiệm:
Mô hình thực nghiệm gồm một camera 
được đặt ở vị trí phù hợp, một hệ thống chiếu 
sáng và chắn ánh sáng gây nhiễu từ bên ngoài. 
Mô hình cũng bao gồm một khay đỡ có thể di 
chuyển được để đưa bo mạch ra vào.
3.2 Kết quả thực nghiệm:
Nhóm tác giả đã thử nghiệm với chương 
trình được chạy trên máy tính có cấu hình CPU 
Core I5, RAM 3GB, camera có độ phân giải 
1920 x 1080 pixels. PCB thực nghiệm được 
chọn là một bo có tổng số linh kiện cần kiểm 
là 48. Việc thực nghiệm được tiến hành trên 
5 bo mạch có đầy đủ linh kiện và 5 bo mạch 
không có đủ linh kiện.
Thống kê kết quả thực nghiệm:
- Với 5 bo mạch có đủ 48 linh kiện: Hệ 
thống báo lỗi giả 2 lần như hình 5. Ở 
bo báo lỗi giả thứ nhất, nguyên nhân vì 
linh kiện này có độ sáng bóng giảm hơn 
nhiều so với linh kiện chuẩn. Ở bo báo 
lỗi giả thứ 2, nguyên nhân là vì linh kiện 
bị sai lệch vị trí so với bo chuẩn. Do đó, 
hệ thống kiểm tra đã nhận định rằng 
trường hợp này thiếu linh kiện (hình 5).
- Với 5 bo mạch thiếu linh kiện: Hệ thống 
luôn nhận dạng đúng là bo lỗi. Với mỗi 
bo, hệ thống cũng chỉ ra đúng vị trí cũng 
như tên của từng linh kiện bị thiếu (hình 
6).
- Thời gian xử lý: Thời gian để máy tính 
nhận dữ liệu từ camera là xấp xỉ 0.1 
giây. Thời gian xử lý dữ liệu ảnh và đưa 
ra kết quả kiểm tra là xấp xỉ 0.5 giây. 
Như vậy, tổng thời gian xử lý cho mỗi 
PCB đưa vào là ít hơn 1 giây.
4. KẾT LUẬN
Bài báo mô tả một giải pháp giúp giảm 
chi phí và thời gian xử lý cho quá trình nhận 
dạng và kiểm tra việc thiếu linh kiện trên bo 
mạch. Kết quả của bài báo có thể áp dụng vào 
việc phát triển hệ thống nhận dạng và kiểm tra 
các lỗi khác của bo mạch điện tử, bao gồm các 
lỗi như kiểm tra linh kiện dán (với kích thước 
rất nhỏ, số lượng lớn nên không thể dùng mắt 
thường để kiểm tra), kiểm tra điểm hàn chì 
ở chân linh kiện, độ lệch của các linh kiện, 
hay kiểm tra các đường mạch trên PCB, v.v... 
Mở rộng ra, kết quả này tạo tiền đề cho việc 
phát triển các ứng dụng xử lý ảnh để kiểm 
tra các chi tiết, các sản phẩm lỗi trong những 
dây chuyền sản xuất công nghiệp. Tuy nhiên, 
việc cải tiến hệ thống chiếu sáng và camera, đi 
kèm với việc phát triển các giải thuật tính toán 
chính xác và tối ưu, vẫn cần được nghiên cứu 
nhiều hơn để đạt hiệu quả cao hơn trong quá 
trình kiểm tra.
Hình 4. Mô hình hệ thống thử nghiệm. Hình bên trái: Mô hình nhìn từ bên ngoài. Hình bên 
phải: Hệ thống chiếu sáng và camera được gá bên trong mô hình.
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh 57
Hình 5. Một số kết quả thực nghiệm với bo có đủ linh kiện. Hình giữa: Bo 
chuẩn. Hình bên trái: Bo kiểm tra với việc báo lỗi giả (tại vị trí ô chữ nhật 
màu đỏ) do linh kiện đã bị oxy hóa và tối màu. Hình bên phải: Bo kiểm tra 
với việc báo lỗi giả do linh kiện bị sai vị trí.
Hình 6. Một số ảnh kết quả thực nghiệm với bo thiếu linh kiện. Các ô 
chữ nhật màu xanh báo hiệu có linh kiện ở vị trí đó. Các ô chữ nhật màu 
đỏ báo hiệu thiếu linh kiện.
TÀI LIỆU THAM KHẢO
[1] Timothy S. Newman, A survey of automated visual inspection, Computer Vision and Im-
age Understanding, Vol. 61, No. 2, pp. 231-262, 1995.
[2] Rolan T.Chin, Automatic visual inspection techniques and application: a bibliography, 
Pattern Recognition, Vol. 15, No. 4, pp. 343- 357, 1982.
[3] C.J. Smith and K.Adendorff, Advantages and limitations of an automated visual inspec-
tion system, Journal of Industrial Engineering, Vol. 5, No. 1, pp. 27-36, 1991.
[4] Elias N. Malamasa, Euripides G.M. Petrakisa, Michalis Zervakisa, Laurent Petitb, Jean-
Didier Legatb, A survey on industrial vision systems, applications and tools, Image and 
Vision Computing, pp. 171–188, 2003.
[5] Wen-Yen Wu, Mao-Jim J.Wang, Chih-Ming Liu, Automated inspection of printed cir-
cuit boards through machine vision, Computers in Industry, pp. 103- 111, 1996.
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016)
Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh58
[6] K. Sundaraj, Jejawi, Perlis, PCB inspection for missing or misaligned components using 
background subtraction, Journal WSEAS Transactions on Information Science and Ap-
plications, Vol. 6, pp. 778-787, 2009.
[7] Madhav Moganti, Fikret Ercal, Cihan H. Dagli, Shou Tsunekawa, Automatic PCB Inspec-
tion Algorithms: A Survey, Computer Vision and Image Understanding Volume 63, Issue 
2, pp. 287–313, 1996.
[8] David M. Walker, Stephen R. McNeill, Glen Davis, and Mike A. Sutton, A system for 
inspection of surface mount PC boards, Vision Conference Proceedings, pp. 11.1–11.11, 
1987.
[9] Gerald Jacob, Advances in board inspection, Eval. Eng., pp. 126–133 ,1992.
[10] Robert M. Savage, NASA evaluates automated inspection systems, Test Meas. World, pp. 
59–64, 1993.
[11] Walter H. Schwartz, Vision systems for PC board inspection, Assem. Eng, pp. 18–21, 
1986.
[12] I. Ibrahim, S.A. Rahman, S.A. Bakar, M.M. Mokji, J.A.A Mukred, Z.Yusof, Z. Ibrahim, 
K.Khalil, M.S. Mohamad, A printed Circuit Board Inspection System with Defect Clas-
sification Capability, International Journal of Innovative Management, Information & 
Production ISME International, Vol. 3, No. 1, pp.82-87, 2012.
[13] Chin-Sheng Chen, Chun-Wei Yeh, Peng-Yeng Yin, A novel Fourier Descriptor Based 
Image Alignment Algorithm for Automatic Optical Inspection, Elsevier Journal of Visual 
Communication and Image Representation, Vol. 20, Issue 3, pp. 178–189, 2009.
[14] Yu Cai, Yanjin Huang, Shugong Zhang, Research of Defect Inspection and Processing 
in PCB Automatic Optical Inspection, Proceeding ICECC ‘12 Proceedings of the 2012 
International Conference on Electronics, Communications and Control, Zhoushan China, 
pp. 803-806, 2012.
[15] A. J. Crispin & V. Rankov, Automated inspection of PCB components using a genetic al-
gorithm template-matching approach, Springer International Journal of Advanced Manu-
facturing Technology, Vol. 35, pp. 293-300, 2007.