Xử lý dữ liệu thiếu bằng biểu đồ chuẩn hóa đơn vị (SLP) và support vector regression (SVR)

TÓM TẮT

Trong những năm gần đây, việc nghiên cứu và ứng dụng các kỹ thuật khai

thác dữ liệu gặp phải nhiều khó khăn, thách thức lớn, trong đó có vấn đề thiếu

những giá trị thuộc tính của dữ liệu. Có nhiều nguyên nhân khác nhau dẫn tới

vấn đề này: thiết bị thu thập bị hỏng, có sự từ chối cung cấp dữ liệu nhằm bảo vệ

tính riêng tư, có sai sót khi nhập dữ liệu hoặc có các sự cố xảy ra trong quá trình

truyền dữ liệu,. Trong đó, việc thiếu dữ liệu phục vụ công tác nghiên cứu, dự báo

phụ tải điện là một trong những vấn đề nan giải đối với ngành điện. Hiện các

Công ty điện lực đang thực hiện việc này bằng cách nội suy từ các giá trị đo đếm

của các ngày trước, giờ trước một cách thủ công, không chuẩn xác làm ảnh hưởng

không nhỏ đến kết quả phân tích, xử lý dữ liệu trong quá trình nghiên cứu, dự

báo phụ tải. Bài báo đề xuất một phương pháp xử lý dữ liệu thiếu bằng cách xây

dựng Biểu đồ chuẩn hóa đơn vị (SLP) trên cơ sở bộ dữ liệu phụ tải điện quá khứ

(chu kỳ 60 phút), kết hợp các giải thuật học máy SVR (NN/RD) để xây dựng lại

đường đặc tuyến phụ tải từ đó ước lượng các dữ liệu đã mất hoặc không ghi nhận

được trong quá trình đo đếm

pdf 6 trang phuongnguyen 11040
Bạn đang xem tài liệu "Xử lý dữ liệu thiếu bằng biểu đồ chuẩn hóa đơn vị (SLP) và support vector regression (SVR)", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

Tóm tắt nội dung tài liệu: Xử lý dữ liệu thiếu bằng biểu đồ chuẩn hóa đơn vị (SLP) và support vector regression (SVR)

Xử lý dữ liệu thiếu bằng biểu đồ chuẩn hóa đơn vị (SLP) và support vector regression (SVR)
SCIENCE TECHNOLOGY 
Số 50.2019 ● Tạp chí KHOA HỌC & CÔNG NGHỆ 21
XỬ LÝ DỮ LIỆU THIẾU BẰNG BIỂU ĐỒ CHUẨN HÓA ĐƠN VỊ 
(SLP) VÀ SUPPORT VECTOR REGRESSION (SVR) 
HANDLING MISSING DATA USING STANDARDIZED LOAD PROFILE (SLP) 
AND SUPPORT VECTOR REGRESSION (SVR) 
Nguyễn Tuấn Dũng1,*, Nguyễn Thanh Phương2 
TÓM TẮT 
Trong những năm gần đây, việc nghiên cứu và ứng dụng các kỹ thuật khai 
thác dữ liệu gặp phải nhiều khó khăn, thách thức lớn, trong đó có vấn đề thiếu 
những giá trị thuộc tính của dữ liệu. Có nhiều nguyên nhân khác nhau dẫn tới 
vấn đề này: thiết bị thu thập bị hỏng, có sự từ chối cung cấp dữ liệu nhằm bảo vệ 
tính riêng tư, có sai sót khi nhập dữ liệu hoặc có các sự cố xảy ra trong quá trình 
truyền dữ liệu,... Trong đó, việc thiếu dữ liệu phục vụ công tác nghiên cứu, dự báo 
phụ tải điện là một trong những vấn đề nan giải đối với ngành điện. Hiện các 
Công ty điện lực đang thực hiện việc này bằng cách nội suy từ các giá trị đo đếm 
của các ngày trước, giờ trước một cách thủ công, không chuẩn xác làm ảnh hưởng 
không nhỏ đến kết quả phân tích, xử lý dữ liệu trong quá trình nghiên cứu, dự 
báo phụ tải. Bài báo đề xuất một phương pháp xử lý dữ liệu thiếu bằng cách xây 
dựng Biểu đồ chuẩn hóa đơn vị (SLP) trên cơ sở bộ dữ liệu phụ tải điện quá khứ 
(chu kỳ 60 phút), kết hợp các giải thuật học máy SVR (NN/RD) để xây dựng lại 
đường đặc tuyến phụ tải từ đó ước lượng các dữ liệu đã mất hoặc không ghi nhận 
được trong quá trình đo đếm. 
Từ khóa: Thiếu dữ liệu; ước lượng; số liệu đo đếm; phụ tải điện; Biểu đồ chuẩn 
hóa đơn vị; SVR. 
ABSTRACT 
In recent years, the research and application of data mining techniques 
encountered many difficulties and major challenges, including the lack of 
attribute values of data. There are many different reasons for this problem: the 
device is broken, the data is refused to protect the privacy, data entry mistakes or 
incidents occur during data transmission. In particular, the lack of data for 
electricity load research and forecasting is one of the problems for the electricity 
industry. Currently, the power companies are doing this by interpolating from 
the measured values of previous days and hours manually, which significantly 
affects the results of data analysis during the load forecasting process. The paper 
proposes a method of processing missing data by building a Standardized Chart 
(SLP) based on past load data (60-minute cycle), combining machine learning 
algorithms SVR (NN / RD) to rebuild the load curve, thereby we can estimate the 
data missed or not recorded during the measurement. 
Keywords: Missing data; estimation; measured data; electrical load; 
Standardized load profile; SVR. 
1Tổng Công ty Điện lực TP.HCM 
2Trường Đại học Công nghệ TP.HCM 
*Email: dungnt@hcmpc.com.vn 
Ngày nhận bài: 20/10/2018 
Ngày nhận bài sửa sau phản biện: 20/01/2019 
Ngày chấp nhận đăng: 25/02/2019 
1. ĐẶT VẤN ĐỀ 
1.1. Dữ liệu thiếu trong quá trình khai thác cơ sở dữ liệu 
(CSDL) 
Cho đến nay, có nhiều phương pháp xử lý giá trị thiếu đã 
được đề xuất và áp dụng [1, 2]. Các phương pháp này cho 
phép xử lý trực tiếp các giá trị thiếu, tuy nhiên chúng cũng có 
thể mang những thông tin nhiễu vào tập dữ liệu đang xét. 
Việc xử lý các giá trị thiếu cần phải được cân nhắc và thực 
hiện một cách thận trọng, nếu các nhà nghiên cứu sử dụng 
phương pháp xử lý dữ liệu bị mất mà không cẩn trọng xem 
xét các giả định cần thiết của phương pháp đó thì họ có 
nguy cơ có kết quả sai lệch và gây hiểu nhầm [2]. Cho đến 
nay, việc xử lý giá trị thiếu trong các CSDL vẫn là đề tài thu 
hút sự quan tâm của nhiều nhà nghiên cứu và ứng dụng. 
Một nhiệm vụ vô cùng quan trọng khi xây dựng một 
phương pháp xử lý giá trị thiếu là phải hiểu được cơ chế 
sinh ra các giá trị thiếu trong CSDL cần xử lý. Nắm bắt được 
cơ chế sinh ra giá trị thiếu trong một tình huống cụ thể sẽ 
giúp xây dựng được một phương pháp xử lý thích hợp và 
hiệu quả. 
1.2. Dữ liệu thiếu trong nghiên cứu phụ tải điện 
Hình 1. Các lỗi thường gặp trong ghi nhận dữ liệu 
Trong quá trình vận hành, thu thập dữ liệu đã xuất hiện 
nhiều sự cố làm gián đoạn việc ghi nhận các dữ liệu đo 
đếm như: sự cố truyền dẫn tín hiệu từ công tơ đo đếm về 
Kho dữ liệu làm mất gói dữ liệu truyền về; lỗi tại thiết bị đo 
đếm; lỗi do mất nguồn điện; lỗi do cài đặt thiết bị đo đếm 
không đúng; lỗi do xử lý dữ liệu bằng phương pháp thủ 
 CÔNG NGHỆ 
 Tạp chí KHOA HỌC & CÔNG NGHỆ ● Số 50.2019 22
KHOA HỌC
công; hoặc do việc thu thập dữ liệu bằng thủ công,... dẫn 
đến dữ liệu ghi nhận được không phù hợp như: dữ liệu có 
có giá trị bằng 0 (Fasse Zero); trùng lặp dữ liệu 
(Inconsistent/Duplicate); thiếu chuỗi dữ liệu (Missing Data); 
dữ liệu thiếu chính xác, quá cao hoặc thấp bất thường (Too 
High/Too Low). 
2. CÁC PHƯƠNG PHÁP NGHIÊN CỨU 
Cho đến nay vẫn chưa có một phương pháp nào được 
khuyên sử dụng riêng cho việc xử lý dữ liệu thiếu trong các 
ứng dụng khai thác dữ liệu. Đặc biệt, là làm thế nào để có 
thể xử lý giá trị thiếu trong một CSDL dữ liệu khổng lồ. 
2.1. Một số phương pháp xử lý dữ liệu thiếu đã được 
nghiên cứu [3, 4, 5] 
2.1.1. Phương pháp loại bỏ: Nếu xảy ra trường hợp 
thiếu dữ liệu cho một biến bất kỳ nào đó, giải pháp đơn 
giản là loại bỏ thuộc tính bị thiếu của dữ liệu ra khỏi qua 
quá trình phân tích đánh giá của chuỗi dữ liệu. 
Phương pháp này có ưu điểm là đơn giản, ít tốn thời 
gian hơn bất kỳ phương pháp nào khác. Nhưng nó lại có 
hai điểm hạn chế quan trọng: i) thứ nhất là nếu chúng ta áp 
dụng vào trong thực tế có thể gây mất mát nhiều đặc tính 
của dữ liệu; ii) thứ hai là nếu phân bố dữ liệu thiếu trong 
tập dữ liệu không thuộc trường hợp (MCAR) thì việc loại bỏ 
tất cả các bộ dữ liệu có giá trị thiếu sẽ làm sai lệch nghiêm 
trọng kết quả. 
2.1.2. Phương pháp gán ghép: Phương pháp này thay 
thế các giá trị bị thiếu bằng một giá trị dự đoán được xem 
là hợp lý và sau đó thực hiện các phân tích cho chuỗi dữ 
liệu đã được bổ sung. Gán ghép trung bình: Tính giá trị 
trung bình dữ liệu của X bằng cách sử dụng các giá trị 
không bị mất và sử dụng nó để gán ghép cho giá trị thiếu. 
2.1.3. Phương pháp hồi quy tuyến tính 
Khi hai thuộc tính định lượng nào đó có mối quan hệ 
tuyến tính với nhau, chúng ta có thể xây dựng một 
phương trình hồi quy tuyến tính, trong đó thuộc tính có 
giá trị thiếu là biến phụ thuộc, biến còn lại là biến độc lập 
và sử dụng phương trình hồi quy cho việc dự đoán các 
giá trị thiếu của biến phụ thuộc thông qua các giá trị đã 
biết của biến độc lập. 
Phương pháp hồi quy tuyến tính thường gặp phải hai 
vấn đề: i) thứ nhất, mô hình quan hệ giữa các thuộc tính có 
phải tuyến tính không. Nếu mối quan hệ này là không 
tuyến tính, các giá trị thiếu ước lượng được có thể bị sai 
lệch lớn so với các giá trị thực; ii) thứ hai, thường thì trong 
cùng một bộ dữ liệu, các thuộc tính có quan hệ chặt với 
thuộc tính có giá trị thiếu cũng có giá trị thiếu. 
2.2. Phương pháp xử lý dữ liệu thiếu trong nghiên cứu 
phụ tải điện 
Một số phương pháp ước lượng số liệu đo đếm của các 
phụ tải điện bị lỗi trong quá trình thu thập dữ liệu của các 
Công ty điện lực thường được sử dụng như [12]: 
- Nội suy tuyến tính: nội suy từ đường đặc tính xu thế 
tiêu thụ điện; 
- Ngày tương đồng: sử dụng dữ liệu ngày tương đồng 
của tuần hiện tại hoặc tuần trước; 
- Tự động ước lượng: sử dụng trong trường hợp dữ liệu 
bị thiếu không quá bảy (07) ngày; 
- Kiểm tra trực quan đồ thị: để biết được dữ liệu bị sai và 
quyết định về dữ liệu được ước lượng; 
- Hiệu chỉnh ước lượng số liệu thủ công: được sử dụng 
khi dữ liệu bị thiếu nhiều hơn bảy (07) ngày; 
- Hiệu chỉnh ước lượng giá trị trung bình các tuần của 
ngày tham chiếu: dựa vào dữ liệu của bốn (04) tuần gần nhất. 
Tuy nhiên, các cách làm này được thực hiện một cách 
thủ công và phụ thuộc rất nhiều vào năng lực kinh nghiệm 
của chuyên gia thực hiện việc ước lượng. 
2.3. Bộ hồi quy dựa theo vector hỗ trợ - Support vector 
regression (SVR) 
Ý tưởng cơ bản của SVR là ánh xạ không gian đầu vào 
sang một không gian đặc trưng nhiều chiều mà ở đó, ta có 
thể áp dụng được hồi qui tuyến tính (mà nếu ta áp dụng 
trực tiếp hồi qui tuyến tính thì không hiệu quả). 
Đặc điểm của SVR là cho ta một giải pháp thưa (sparse 
solution); nghĩa là để xây dựng được hàm hồi qui, ta không 
cần phải sử dụng hết tất cả các điểm dữ liệu trong bộ huấn 
luyện. Những điểm có đóng góp vào việc xây dựng hàm hồi 
qui được gọi là những Support Vector. Việc phân lớp cho 
một điểm dữ liệu mới sẽ chỉ phụ thuộc vào các support 
vector. 
Hình 2. Biến đổi không gian dữ liệu sang không gian đặc trưng (thủ thuật Kernel) 
Hàm hồi qui cần tìm có dạng: 
y = f(x) = wTΦ(x) + b 
Trong đó: w ∈ Rm là vector trọng số; T là kí hiệu chuyển 
vị; b ∈ R là hằng số; x ∈ R
n là vector đầu vào; Φ(x) ∈ Rm là 
vector đặc trưng; Φ làm hàm ánh xạ từ không gian đầu vào 
sang không gian đặc trưng [6, 7, 8]. 
Như vậy, mục tiêu của việc huấn luyện SVR là tìm ra 
được w và b. 
Cho tập huấn luyện {(x1, t1), (x2, t2), , (xN, tN)}  Rn x R. 
Với bài toán hồi qui đơn giản, để tìm w và b ta phải tối thiểu 
hóa hàm lỗi chuẩn hóa: 
  w
N
22
n n
n 1
1 y t
2 2

  với  là hằng số chuẩn hóa 
Để có được một giải pháp thưa, ta sẽ thay hàm lỗi trên 
bằng hàm lỗi ε-insensitive. Đặc điểm của hàm lỗi này là nếu 
trị tuyệt đối của sự sai khác giữa giá trị dự đoán y(x) và giá 
trị đích nhỏ hơn ε (với ε > 0) thì nó coi như độ lỗi bằng 0. 
SCIENCE TECHNOLOGY 
Số 50.2019 ● Tạp chí KHOA HỌC & CÔNG NGHỆ 23
Như vậy bây giờ, ta phải tối thiểu hóa hàm lỗi chuẩn 
hóa sau: 
( ( ) ) w
N
22
n n
n 1
1C E y x t
2 
  
Với ( )Tn ny w x b  , C là hằng số chuẩn hóa giống 
như  nhưng được nhân với hàm lỗi thay vì w 2 . 
Để cho phép một số điểm nằm ngoài ống ε, ta sẽ đưa 
thêm các biến lỏng (slack variable) vào. Đối với mỗi điểm 
dữ liệu xn, ta cần hai biến lỏng n 0 và ˆn 0 , trong đó 
n 0 ứng với điểm mà tn > y(xn) + ε (nằm ngoài và phía 
trên ống) và ˆn 0 
ứng với điểm mà tn < y(xn) - ε (nằm 
ngoài và phía dưới ống). 
 Hình 3. Minh họa cho các biến lỏng ξn 
Điều kiện để một điểm đích nằm trong ống là: 
n n ny t y  với yn = y(xn). Với việc sử dụng các biến 
lỏng, ta cho phép các các điểm đích nằm ngoài ống (ứng 
với các biến lỏng > 0) và như thế thì điều kiện bây giờ sẽ là: 
ˆ
n n n
n n n
t y
t y
 
 
Như vậy, ta có hàm lỗi cho SVR: 
ˆ( w )
N
2
n n
n 1
1C
2
 
  
Mục tiêu của ta là tối thiểu hóa hàm lỗi này với các ràng 
buộc: 
ˆ;
ˆ
n n
n n n
n n n
0 0
t y
t y
 
 
 
Dùng hàm Lagrange và điều kiện Karush-Kuhn-Tucker, 
ta có bài toán tối ưu hóa tương đương: 
ˆ ˆ( )( ) ( , )
ˆ ˆ( ) ( )

 
N N
n n m m n m
n 1 m 1
N N
n n n n n
n 1 n 1
1 a a a a k x x
2
a a a a t
Với k là hàm nhân: k(x, x’) = Φ(x)TΦ(x’). Bất kỳ một hàm 
nào thỏa điều kiện Mercer thì đều có thể được dùng làm 
hàm nhân. Hàm nhân được sử dụng phổ biến nhất là hàm 
Gaussian: 
2
i j j jk(x ,x ) exp( x x ) 
Cực đại hóa với các ràng buộc: 
ˆ
ˆ( )
n
n
N
n n
n 1
0 a C
0 a C
a a 0
 
Từ đây, ta có hàm hồi qui của SVR: 
ˆ( ) ( ) ( , )
N
n n n m
n 1
y x a a k x x b
  
Như vậy, với SVR sử dụng hàm lỗi ε-insensitive và hàm 
nhân Gaussian ta có ba tham số cần tìm: hệ số chuẩn hóa 
C, tham số  của hàm nhân Gaussian và độ rộng của ống ε 
[9]. Cả ba tham số này đều ảnh hưởng đến độ chính xác 
dự đoán của mô hình và cần phải chọn lựa kỹ càng. Nếu C 
quá lớn thì sẽ ưu tiên vào phần độ lỗi huấn luyện, dẫn đến 
mô hình phức tạp, dễ bị quá khớp. Còn nếu C quá nhỏ thì 
lại ưu tiên vào phần độ phức tạp mô hình, dẫn đến mô 
hình quá đơn giản, giảm độ chính xác dự đoán. Ý nghĩa 
của ε cũng tương tự C. Nếu ε quá lớn thì có ít vectơ hỗ trợ, 
làm cho mô hình quá đơn giản. Ngược lại, nếu ε quá nhỏ 
thì có nhiều vectơ hỗ trợ, dẫn đến mô hình phức tạp, dễ bị 
quá khớp. Tham số  phản ánh mối tương quan giữa các 
vectơ hỗ trợ nên cũng ảnh hưởng đến độ chính xác dự 
đoán của mô hình. 
2.4. Biểu đồ chuẩn hóa đơn vị (SLP) 
Quan sát đồ thị phụ tải các ngày trong một tuần và một 
số ngày lễ đặc biệt trong năm của khu vực thành phố Hồ 
Chí Minh (hình 4) ta thấy: sự biến đổi giữa các ngày thường 
(từ thứ 3 đến thứ 6) không có nhiều biến động và có cùng 
một kiểu biểu đồ phụ tải. Đối với đồ thị phụ tải ngày thứ 2 
thì có sự biến đổi khác biệt với ngày thường tại khoảng thời 
từ 0h00 đến 9h00, do có sự chuyển tiếp nhu cầu từ ngày 
chủ nhật. 
Đối với đồ thị phụ tải ngày thứ 7 thì có sự biến đổi 
nhưng không nhiều so với ngày thường, chủ yếu nhu cầu 
phụ tải suy giảm vào buổi chiều tối, do bắt đầu cho ngày 
nghỉ cuối tuần. Riêng đối với đồ thị phụ tải ngày Chủ nhật 
thì hoàn toàn khác với các ngày thường (nhu cầu sử dụng 
điện xuống thấp). 
 CÔNG NGHỆ 
 Tạp chí KHOA HỌC & CÔNG NGHỆ ● Số 50.2019 24
KHOA HỌC
Hình 4. Đồ phụ tải một số ngày trong năm 
Khi quan sát biểu đồ phụ tải các ngày Tết Dương lịch và 
Tết Âm lịch thì chúng ta thấy sự khác biệt hoàn toàn, đồ thị 
gần như bằng phẳng và nhu cầu phụ tải xuống khá thấp do 
đây là các ngày nghỉ. Riêng ngày Tết Âm lịch thì nhu cầu 
phụ tải xuống thấp nhất, do đây là kỳ nghỉ kéo dài nhất 
trong năm (có thể từ 6 - 9 ngày). 
Biểu đồ phụ tải chuẩn hóa đơn vị (Standardized Load 
Profiles - SLP) được xây dựng bằng cách lấy giá trị công suất 
thu thập theo chu kỳ 60 phút chia cho công suất cực đại 
của nó. Cần phải xây dựng SLP cho 365 ngày/ năm. Một số 
SLP điển hình: 
Hình 5. SLP một số ngày trong năm 
Qua quan sát, biểu đồ phụ tải chuẩn hóa đơn vị thể hiện 
được hết tất cả các đặc tính tải theo từng thời điểm, mùa vụ 
và các ngày lễ, Tết (Dương lịch, Nguyên Đán), chúng ta 
thấy mức độ tương đồng của SLP về mặt hình dáng, độ lớn 
từng chu kỳ. Do đó, Biểu đồ phụ tải chuẩn hóa đơn vị (SLP) 
chính là một điểm đặc biệt và cũng là bộ thông số đầu vào 
quan trọng của quá trình huấn luyện của các thuật toán 
học máy SVR (NN) để xây dựng lại đường đặc tuyến phụ tải 
từ đó ước lượng các dữ liệu đã mất hoặc không ghi nhận 
được trong quá trình đo đếm. 
 Lưu đồ giải thuật: 
Bài báo đề xuất một phương pháp xử lý dữ liệu thiếu 
bằng cách xây dựng Biểu đồ chuẩn hóa đơn vị (SLP) trên cơ 
SCIENCE TECHNOLOGY 
Số 50.2019 ● Tạp chí KHOA HỌC & CÔNG NGHỆ 25
sở bộ dữ liệu phụ tải điện quá khứ chu kỳ 60 phút/lần của 
03 năm trước đó. Đồng thời, kết hợp các giải thuật SVR (NN) 
để xây dựng lại hàm hồi qui (đường đặc tuyến phụ tải) từ 
đó ước lượng các dữ liệu đã mất hoặc không ghi nhận được 
trong quá trình đo đếm. 
Trên cơ sở SLP của từng chu kỳ của bộ dữ liệu trong quá 
khứ, chúng ta có thể xây dựng bộ dữ liệu SLP cho các chu 
kỳ cần dự báo trong tương lai và cần chuẩn xác đến từng 
chu kỳ, từng loại ngày (ngày lễ, ngày thường, ngày làm việc, 
ngày nghỉ,), từng tuần, từng tháng. 
Hình 6. Lưu đồ giải thuật xử lý dữ liệu thiếu 
Biểu đồ phụ tải chuẩn hóa đơn vị (SLP) sẽ được đưa vào 
các modules xây dựng hàm hồi qui theo giải thuật SVR 
(Support Vector Regression), NN (Neural Network) để xây 
dựng các hàm hồi qui. Sau đó sử dụng bộ dữ liệu nêu trên 
để kiểm tra, đánh giá sai số của các hàm hồi qui, từ đó lựa 
chọn ra được hàm hồi qui có sai số thấp nhât để làm hàm 
hồi qui ước lượng dữ liệu thiếu. 
3. KẾT QUẢ NGHIÊN CỨU 
3.1. Dữ liệu đầu vào 
Dữ liệu đo đếm của phụ tải sử dụng trong việc xây dựng 
thuật toán gồm: số liệu công suất (Pmax), điện năng tiêu thụ 
(Atổng) và nhiệt độ (t0) theo từng giờ, từng ngày trong tháng 
của các phụ tải tại Tổng công ty Điện lực TP.HCM. Xét một 
chuỗi dữ liệu đo đếm trong khoảng thời gian từ ngày 
01/01/2014 đến 17/12/2018. 
Trong đó có một số chu kỳ dữ liệu điện năng tiêu thụ 
(Atổng) bị thiếu do gián đoạn đo đếm (lỗi giá trị = 0) và lỗi 
ghi nhận vượt quá (lớn bất thường), để phục vụ nghiên cứu 
thì cần phải hiệu chỉnh. 
Hình 7. Một số ngày dữ liệu bị lỗi một vài chu kỳ 
3.2. Kết quả xử lý dữ liệu thiếu 
Hình 8. Đường cong phụ tải được xây dựng lại 
 CÔNG NGHỆ 
 Tạp chí KHOA HỌC & CÔNG NGHỆ ● Số 50.2019 26
KHOA HỌC
Đặc điểm của SVR là cho ta một giải pháp thưa (sparse 
solution); nghĩa là để xây dựng được hàm hồi qui, ta không 
cần phải sử dụng hết tất cả các điểm dữ liệu trong bộ huấn 
luyện, những điểm có đóng góp vào việc xây dựng hàm hồi 
qui được gọi là những Support Vector (việc phân lớp cho 
một điểm dữ liệu mới sẽ chỉ phụ thuộc vào các support 
vector). Dựa trên mối quan hệ tuyến tính của ba thành 
phần số liệu công suất (Pmax), điện năng tiêu thụ (Atổng) và 
nhiệt độ (t0), cùng với bộ SLP – SVR (NN) bài báo đã xây 
dựng lại dường cong phụ tải các ngày bị lỗi 
Trên cơ sở SLP của từng chu kỳ của năm 2018 đã xây 
dựng, chương trình sẽ xây dựng lại biểu đồ phụ tải theo 
từng chu kỳ của các ngày bị lỗi để xuất ra kết quả ước 
lượng dữ liệu. 
Hình 9. Dữ liệu được xây dựng lại ngày 04/11/2018 
Hình 10. Dữ liệu được xây dựng lại ngày 07/11/2018 
Hình 11. Dữ liệu được xây dựng lại ngày 09/11/2018 
Hình 12. Dữ liệu được xây dựng lại ngày 11/11/2018 
4. KẾT LUẬN 
Dựa trên mối quan hệ tuyến tính của ba thành phần số 
liệu công suất (Pmax), điện năng tiêu thụ (Atổng) và nhiệt độ 
(t0), cùng với bộ SLP - SVR (NN), bài báo đã xây dựng được 
công cụ tự động ước lượng các dữ liệu bị lỗi mà trước đây 
phải thực hiện thực một cách thủ công. Biểu đồ chuẩn hóa 
đơn vị (SLP) đã góp một phần không nhỏ trong kỹ thuật 
ước lượng lại dữ liệu bị lỗi. Tuy dữ liệu ước lượng chưa hoàn 
toàn trùng khớp nhưng phần nào góp phần tạo công cụ 
nhằm nâng cao độ tin cậy trong việc phân tích, xử lý dữ liệu 
trong quá trình nghiên cứu phụ tải điện. 
TÀI LIỆU THAM KHẢO 
[1]. J. W. Grzymala-Busse and M. Hu, 2000. A comparison of several 
approaches to missing attribute values in data mining. Proceedings of the Second 
International Conference on Rough Sets and Current Trends in Computing 
RSCTC'2000, October 16-19, 2000, Canada, 340-347. 
[2]. Jochen Hardt, Max Herke, Tamara Brian, Wilfried Laubach, 2013. 
Multiple Imputation of Missing Data: A Simulation Study on a Binary Response. 
Open Journal of Statistics, 3, 370-378 
[3]. SAS Institute, 2005. Multiple Imputation for Missing Data: Concepts and 
New Approaches. 
[4]. Yuan Yang C., 2011. Multiple imputation for Missing Data: Concepts and 
New Development (SAS Version 9.0). SAS Institute Inc., Rockville, MA) 
[5]. Nakai M and Weiming Ke., 2011. Review of Methods for Handling Missing 
Data in Longitudinal Data Analysis. Int. Journal of Math. Analysis. Vol. 5, no.1, 1 -13. 
[6]. V.Vapnik, 1995. “The nature of statistical learning theory”. Springer, NY. 
[7]. S.R. Gunn, 1998: Support Vector Machines for Classification and 
Regression, Technical Report, Image Speech and Intelligent Systems Research 
Group, University of Southampton. 
[8]. V. Cherkassky, Y. Ma, 2002. Selection of Meta-parameters for Support 
Vector Regression. International Conference on Artificial Neural Networks, 
Madrid, Spain, Aug. pp. 687 - 693. 
[9]. D. Basak, S. Pal, D.C. Patranabis, Oct. 2007: Support Vector Regression, 
Neural Information Processing – Letters and Reviews, Vol. 11, No. 10, pp. 203 – 224. 
[10]. A.J. Smola, B. Schölkopf, Aug. 2004: A Tutorial on Support Vector 
Regression, Statistics and Computing, Vol. 14, No. 3, pp. 199 – 222. 
[11]. Understanding Support Vector Machine Regression and Support 
Vector Machine Regression,  
[12]. Thông tư số 33/2011/TT-BCT ngày 06/09/2011 của Bộ Công Thương về 
Quy định nội dung, phương pháp, trình tự và thủ tục nghiên cứu phụ tải điện 

File đính kèm:

  • pdfxu_ly_du_lieu_thieu_bang_bieu_do_chuan_hoa_don_vi_slp_va_sup.pdf