ĐẠi học công nghệ ĐẠi học quốc gia hà NỘI
Chương 5 Kết quả thực nghiệm và phân tích lỗi
tải về 0.69 Mb.
|
- Điều hướng trang này:
- 5.1 Tiến hành thực nghiệm
- 5.2 Kết quả thực nghiệm
- 5.2.1 Kết quả thực nghiệm đánh giá ở mức từ
- 5.2.2 Kết quả thực nghiệm đánh giá ở mức câu
- 5.2.3 Kết quả thực nghiệm đánh giá ở mức văn bản theo từng Features
- 5.2.4 Kết luận chung về kết quả đánh giá
Chương 5Kết quả thực nghiệm và phân tích lỗi Dữ liệu của chúng tôi có khoảng 3971 câu ở 20 văn bản tương ứng với 20 sản phẩm mà chúng tôi đã thu thập và xử lý qua để đưa về văn bản chuẩn (Xem phần 4.2 về thu thập dữ liệu). Chúng tôi đánh giá hệ thống trên hai tập dữ liệu, tập dữ liệu được dùng trong quá trình viết luật (tập huấn luyện) gồm 16 văn bản (khoảng 3182 câu), và tập dữ liệu mới (tập kiểm tra) gồm 4 văn bản (khoảng 789 câu). Do giả thuyết của chúng tôi về hệ thống (xem chương 4) mỗi sản phẩm sẽ tương đương với một hoặc nhiều văn bản, tuy nhiên ở đây chúng tôi thiết kế dữ liệu thành mỗi văn bản tương đương với một sản phẩm và đánh giá về sản phẩm chính là đánh giá văn bản tương ứng của nó. 5.1 Tiến hành thực nghiệmBước 1: Sử dụng hệ thống nhận dạng thực thể trong văn bản tiếng Việt do chúng tôi xây dựng để tự động nhận dạng và gán nhãn. Bước 2: So sánh tập dữ liệu được gán nhãn tự động và tập dữ liệu chuẩn được gán nhãn thủ công (bằng tay với sự hỗ trợ của phần mềm Callisto), qua đó đưa ra các thông số đánh giá chất lượng của hệ thống (Precision, Recall, F-measure). Chúng tôi đánh giá theo 3 mức: từ, câu và features. Ở mức từ và câu chúng tôi sử dụng so sánh nhãn để đánh giá. Nhãn của từ hay câu gọi là giống nhau khi mà chúng cùng kiểu và vị trí xuất phát, kết thúc của chúng trong văn bản chênh lệch nhau không quá mức sai số. Ở đây chúng tôi cho sai số là 1 có nghĩa vị trí có thể sai lệch nhau 1 để tránh trường hợp trong quá trình gán nhãn có gán nhãn thừa các ký tự trống, ký tự đặc biệt,…
Sau đây là kết quả nhận dạng trên tập huấn luyện mới chỉ dừng lại ở kết quả 78.45%, trong tương lai chúng tôi sẽ cải tiến để đạt kết quả tốt hơn nữa. Bảng 1 - Kết quả nhận dạng từ đánh giá trên tập huấn luyện
Bảng 2 - Kết quả nhận dạng từ đánh giá trên tập kiểm tra
Qua tập huấn luyện chúng tôi thu được kết quả với F-measure đạt 78% đối với từ đánh giá (bảng 2). 5.2.2 Kết quả thực nghiệm đánh giá ở mức câuỞ mức câu chúng tôi đánh giá qua 3 nhãn: PosSen (câu đơn mang nghĩa tích cực), NegSen (câu đơn mang nghĩa tiêu cực), MixSen (câu đơn mang cả 2 nghĩa). Bảng 3 - Kết quả nhận dạng câu đánh giá trên tập huấn luyện
Bảng 4 - Kết quả nhận dạng câu đánh giá trên tập kiểm tra
Qua đánh giá kiểm tra chúng tôi thu được kết quả đối với đánh giá ở mức câu là 63% (bảng 4). Đối với câu rất khó chính xác bởi vì khi chia câu độ chính xác vốn dĩ không cao tuy nhiên càng chia câu phức tạp thành câu đơn thì việc đánh giá Feature càng chính xác bởi vì câu lúc này chỉ có 2 dạng đánh giá là positive và negative, số lượng câu có cả 2 sẽ ít đi và độ chính xác về feature được tăng cao. 5.2.3 Kết quả thực nghiệm đánh giá ở mức văn bản theo từng FeaturesKết quả của chúng tôi theo Feature là khá đặc biệt và hầu như không có hệ thống nào ra kết quả tương tự cho nên ở phần này chúng tôi đưa ra một phương pháp đánh giá sơ bộ cho hệ thống của chúng tôi. Đây chỉ là đánh giá theo hướng cá nhân của chúng tôi và chúng tôi thấy phương pháp là hợp lý và chấp nhận được cho hệ thống. Chúng tôi đánh giá một sản phẩm và hệ thống đưa các kết quả đo cho từng feature của sản phẩm đó. Ở đây tôi kiểm tra 5 features: vanhanh, cauhinh, manhinh, gia, và kieudang. Kết quả đo của hệ thống có dạng a/b với a là độ đo positive, b là độ đo negative; đơn vị đo là số câu đơn giản. Ví dụ 15/10 có nghĩa 15 câu đơn nói feature này positive và 10 câu đơn nói feature này negative. Để được các độ đo chuẩn chúng tôi kiểm tra thủ công trên văn bản gốc và đưa ra những kết quả theo số đo đã được định nghĩa. Ở đây chúng tôi quy đổi ra theo đơn vị đo độ quan điểm tích cực theo thang đo từ 0.0 -> 1.0 nghĩa là:
Độ quan điểm tích cực = {số positive} / {số positive + số negative} Độ lệch quan điểm tích cực = | Độ quan điểm tích cực hệ thống – Độ quan điểm tích cực chuẩn | Và để đo độ chính xác giữa hệ thống và kết quả chuẩn được đánh giá thủ công, chúng tôi định nghĩa correctness theo công thức: Kết quả trung bình 1 văn bản sẽ bằng trung bình cộng của tất cả các features được xét đến. Bảng 5 - Kết quả đánh giá Acer Aspire 3935 trên tập huấn luyện
Bảng 6 - Kết quả đánh giá Apple Macbook Air MB543ZPA trên tập huấn luyện
Bảng 7 - Kết quả đánh giá Acer Aspire AS4736 trên tập huấn luyện
Sau khi đánh giá 3 sản phẩm ở tập huấn luyện chúng tôi rút ra kết quả độ chính xác trung bình cho hệ thống: Bảng 8 - Kết quả đánh giá Feature trên tập huấn luyện
Bảng 9 - Kết quả đánh giá Dell Inspiron 1210 trên tập kiểm tra
Bảng 10 - Kết quả đánh giá Compaq Presario CQ40 trên tập kiểm tra
Bảng 11 - Kết quả đánh giá HP Pavilion dv3 trên tập kiểm tra
Sau khi đánh giá 3 sản phẩm ở tập huấn luyện chúng tôi rút ra kết quả độ chính xác trung bình cho hệ thống: Bảng 12 - Kết quả đánh giá Feature trên tập kiểm tra
Theo mức toàn bộ văn bản theo từng Features chúng tôi đạt được kết quả là 88.81% theo phương pháp đánh giá của chúng tôi. Đây là cách đánh giá theo phương pháp của chúng tôi mà chúng tôi thấy hợp lý với hệ thống của mình. Trong tương lai chúng tôi hy vọng sẽ có phương pháp khác đánh giá chuẩn xác hơn. 5.2.4 Kết luận chung về kết quả đánh giáSau khi thử nghiệm chúng tôi cũng nhận thấy kết quả của chúng tôi hiện tại cũng là rất khả quan theo mức từ (khoảng 77%), theo mức Feature (89%) còn theo mức câu thì hệ thống có độ chính xác không cao lắm (63%) chủ yếu do lỗi tách câu khá lớn. Tuy so với những hệ thống trên thế giới thì kết quả hệ thống của chúng tôi là không cao tuy nhiên hệ thống của chúng tôi được xây dựng cho tiếng Việt điều mà chưa có hệ thống nào làm được. Và hệ thống này cũng là mở đầu cho hướng giải quyết các bài toán dạng này. Tiếp theo từ những kết quả đánh giá chúng tôi sẽ đi sâu hơn về những lỗi sai của hệ thống. Каталог: jspui -> bitstream -> 123456789 123456789 -> Nguyễn Ngọc Lý Giám đốc Trung tâm Nghiên cứu về Môi trường và Cộng đồng 123456789 -> Vò Quúnh Thu Cao häc K18 123456789 -> Khoa Báo chí Đhkhxh&NV 123456789 -> Acknowledgements 123456789 -> Danh mục chữ viết tắT 123456789 -> Chương TỔng quan vật liệu mao quản trung bình (mqtb) trật tự 1 Giới thiệu chung 123456789 -> Khoa hóa họC (141 142 báo cáo) tải về 0.69 Mb. Chia sẻ với bạn bè của bạn:
|
