XỬ LÝ CÁc câu truy vấn và TÌm kiếm trên kho tài liệu có chú thích ngữ nghĩa bằng tiếng anh

4.3Kết quả thí nghiệm

TREC được tổ chức lần đầu tiên vào năm 1992 bởi viện NIST (National Institute of Standards and Technology) và Bộ Quốc Phòng Mỹ. Mục tiêu của nó là hỗ trợ cho các nghiên cứu trong lĩnh vực rút trích thông tin bằng việc cung cấp một nền tảng cần thiết cho việc đánh giá các phương pháp rút trích thông tin [15]. TREC bao gồm nhiều lĩnh vực nghiên cứu rút trích thông tin khác nhau, gọi là các track. Mỗi track được cung cấp một tập các dữ liệu, các bài toán mẫu để kiểm tra. Tùy vào từng track, tập dữ liệu kiểm tra có thể là câu hỏi, đoạn văn, hoặc là các đặc điểm có thể rút trích. Tập các câu hỏi mẫu được dùng trong đề tài lấy từ Question Answering Track của tập dữ liệu mẫu TREC 2002. Mục tiêu của Question Answering Track là đạt được việc rút trích thông tin từ các văn bản mẫu bằng việc trả lời các câu hỏi bằng ngôn ngữ tự nhiên.

Đề tài sử dụng 440 câu truy vấn về thực thể có tên của TREC 2002, bao gồm: 201 câu hỏi What; 3 câu hỏi Which; 62 câu hỏi Where; 67 câu hỏi Who; 45 câu hỏi When; 38 câu hỏi How và 24 câu hỏi không bắt đầu bằng từ để hỏi.

Các lỗi khi dịch sang đồ thị ý niệm thuộc vào các trường hợp sau:

• 
  Lỗi do quá trình nhận diện thực thể: GATE có thể không nhận diện được chính xác thực thể có trong câu truy vấn. Lỗi dạng này được ký hiệu là R-Error.
  
• 
  Lỗi do thiếu thực thể, thiếu lớp thực thể, cũng như thiếu quan hệ trên Ontology. Lỗi này cũng bao gồm các câu truy vấn có quan hệ nhiều hơn hai ngôi. Lỗi này được ký hiệu là O-Error. Ví dụ: “What year did Canada join the United Nations?”.
  
• 
  Lỗi do đồ thị ý niệm thông thường không biểu diễn đầy đủ ngữ nghĩa của câu truy vấn như là những câu truy vấn có chứa trạng từ, những câu truy vấn hỏi về kiểu quan hệ. Lỗi này được ký hiệu là Q-Error. Ví dụ các câu: “At Christmas time, what is the traditional thing to do under the mistletoe?”, “How was Teddy Roosevelt related to FDR?”.
  
• 
  Lỗi do phương pháp xây dựng đồ thị ý niệm. Đó là mặc dù GATE nhận diện chính xác thực thể, từ quan hệ và các quan hệ trong câu cũng tồn tại trên Ontology, nhưng đồ thị ý niệm không xây dựng được hoặc xây dựng không chính xác. Các lỗi này có thể do xác định không đúng lớp của thực thể chưa xác định lớp, lỗi do gom sai thực thể, lỗi do thêm từ quan hệ không phù hợp hoặc lỗi do bước hiệu chỉnh quan hệ ngữ nghĩa. Các lỗi này được ký hiệu là M-Error.
  

Sau khi áp dụng phương pháp đề nghị, cùng với bổ sung thêm 11 thực thể có tên, 20 thực thể không tên, 5 từ quan hệ vào cơ sở tri thức, ta có kết quả như trình bày ở Bảng 4.4.

Từ bảng kết quả thực nghiệm trên, ta có nhận xét là sau khi áp dụng phương pháp đề nghị, số lượng lỗi Q-Error giảm, tuy nhiên có bất thường là lỗi O-Error lại tăng lên. Điều này là do các truy vấn lỗi Q-Error thực chất có bao hàm trong nó lỗi O-Error (do thiếu một số lớp và quan hệ trong Ontology) hoặc lỗi M-Error (do phương pháp còn hạn chế chưa giải quyết được). Cho nên sau khi áp dụng phương pháp đề nghị, một số truy vấn mặc dù đã được giải quyết lỗi thuộc về Q-Error nhưng những lỗi thuộc về O-Error hoặc M-Error đã tồn tại từ trước nên vẫn còn tồn đọng và do đó một số lượng lỗi Q-Error sẽ được phân loại lại thành lỗi O-Error hoặc lỗi M-Error. Đây là nguyên nhân làm cho số lượng lỗi O-Error và M-Error sau khi áp dụng phương pháp đề nghị tăng lên.

Cuối cùng, sau khi bổ sung thêm 33 lớp thực thể, 23 quan hệ còn thiếu vào Ontology, ta có kết quả như trình bày tại Bảng 4.5.

Loại câu	R-Error	M-Error	Q-Error	O-Error	Chính xác	Tổng cộng
How many		1	1	3	11	16
Tính từ					6	6
Tính từ so sánh nhất				21	14	35
Liên từ luận lý					1	1
Loại khác		3	2	20	9	34
Tổng cộng	0	4	3	44	41	92
(%)	0.00%	0.91%	0.68%	10.00%	9.32%	20.91%

Bảng 4.5: Kết quả thực nghiệm trên TREC 2002 sau khi làm giàu Ontology.

Trong 51 câu truy vấn không giải quyết được ta có 44 câu thuộc về lỗi O-Error, 3 câu thuộc về lỗi Q-Error và 4 câu thuộc về lỗi M-Error.

Đối với 44 trường hợp lỗi O-Error, tất cả các câu truy vấn này đều thuộc về truy vấn chứa quan hệ ba ngôi.

Trong 3 lỗi thuộc về Q-Error có 1 truy vấn mà nội dung truy vấn liên quan tới kiểu quan hệ chứ không phải thực thể, chúng tôi tạm gọi đây là “Queried relation”, 1 câu truy vấn có trạng từ hoặc nhân tố thời gian trong câu, chúng tôi tạm gọi những câu truy vấn loại này là “Adverb/Temporal query”, 1 truy vấn có kiểu quan hệ ẩn trong danh từ chứ không phải động từ. Ta sẽ đi vào phân tích chi tiết các trường hợp lỗi nêu trên.

Đối với lỗi “Queried relation”, ta xét câu truy vấn sau: “How was Teddy Roosevelt related to FDR?”. Đối với câu truy vấn này, nội dung truy vấn sẽ chỉ vào quan hệ giữa thực thể Teddy Roosevelt và thực thể FDR. Tuy nhiên phương pháp đề nghị trong đề tài chỉ hỗ trợ truy vấn các thực thể không tên hoặc các thuộc tính của thực thể chứ chưa hỗ trợ truy vấn cho kiểu quan hệ. Điều này là nguyên nhân dẫn đến lỗi “Queried relation”.

Để giải quyết các truy vấn “Queried relation”, phương pháp đề xuất mở rộng phạm vi biểu diễn truy vấn mà cho phép truy vấn vào kiểu quan hệ. Ví dụ, với câu truy vấn trên, một biểu diễn đề nghị sẽ có dạng như sau, trong đó tham chiếu nghi vấn (“?”) được đặt vào quan hệ Relation:

Tiếp theo ta tiến hành phân tích lỗi “Adverb/Temporal query”, ta xét câu truy vấn sau: “At Christmas time, what is the traditional thing to do under the mistletoe?”. Đối với câu truy vấn này, ngữ cảnh của câu truy vấn sẽ bị giới hạn bởi nội dung của trạng từ “At Christmas time”. Để giải quyết được các lỗi “Adverb/Temporal query”, phương pháp đề nghị cần phải hỗ trợ được khả năng biểu diễn được trạng từ trong câu truy vấn, các ràng buộc về ngữ cảnh của câu truy vấn. Ví dụ, với câu truy vấn trên, một biểu diễn đề nghị sẽ có dạng như sau:

Ta xét câu truy vấn có quan hệ là một danh từ, mà không phải động từ như sau: “How many highway miles to the gallon can you get with the Ford Fiesta?”. Ta thấy trong câu truy vấn này, danh từ “gallon” trong câu là nhân tố để xác định được thuộc tính số mile mà thực thể Ford Fiesta đi được trong một gallon nguyên liệu. Như ta đã phân tích, phương pháp đề nghị trong luận văn này chỉ dùng các từ quan hệ (động từ, giới từ) làm chiếc cầu nối để xác định kiểu quan hệ trong câu truy vấn. Do đó để có thể giải quyết câu truy vấn lỗi thuộc loại này, phương pháp đề nghị cần phải mở rộng từ quan hệ bao hàm luôn cả các danh từ.

Đối với các lỗi về M-Error, nguyên nhân là do phương pháp không thể phân biệt được chính xác từ quan hệ và thực thể đối với một số từ vựng tiếng Anh. Thật vậy, ta xét câu truy vấn sau: “How many home runs did Babe Ruth hit in his lifetime?”. Trong câu truy vấn này, mô đun chú giải không thể phân biệt được “hit” là một động từ hay một danh từ, do đó dẫn đến chú giải sai: từ quan hệ trở thành thực thể hoặc ngược lại. Một giải pháp có thể để khắc phục lỗi này đó là ta có thể dùng thêm các mô đun nhận dạng từ loại (động từ, danh từ, tính từ,…), ví dụ như Wordnet, SynTag, để hỗ trợ thêm thông tin cho mô đun chú giải đưa ra chú giải chính xác hơn. Đối với ví dụ như trên, mô đun nhận dạng từ loại sẽ cho biết “hit” là một động từ, do đó mô đun chú giải có thể biết được trong trường hợp này “hit” cần được chú giải là từ quan hệ chứ không phải là một thực thể.

Theo kết quả trên, nếu không xét đến các lỗi O-Error và Q-Error, độ chính xác của phương pháp đã được cải thiện thêm 9.32% so với kết quả nghiên cứu của tác giả [18].

Bảng báo cáo 4.6 chỉ ra độ chính xác của phương pháp đối với tập câu hỏi mẫu TREC 2002 thu được là 88.41%.

Sau khi áp dụng phương pháp đề nghị, cùng với bổ sung thêm 14 thực thể có tên, 57 thực thể không tên, 17 từ quan hệ vào cơ sở tri thức, ta có kết quả như trình bày ở Bảng 4.8.

Cuối cùng, sau khi bổ sung thêm 64 lớp thực thể, 36 quan hệ còn thiếu vào Ontology, ta có kết quả như trình bày tại Bảng 4.9.

Loại câu	R-Error	M-Error	Q-Error	O-Error	Chính xác	Tổng cộng
How many			12	35	16	63
Tính từ				4	1	5
Tính từ so sánh nhất				19	3	22
Liên từ luận lý			3	2	3	8
Loại khác		3		67	5	75
Tổng cộng	0	3	15	127	28	173
(%)	0.00%	0.67%	3.37%	28.54%	6.29%	38.88%

Bảng 4.8: Kết quả thực nghiệm trên TREC 2007 sau khi áp dụng phương pháp đề nghị.

Trong 108 câu truy vấn không giải quyết được ta có 89 câu thuộc về lỗi O-Error, 15 câu thuộc về lỗi Q-Error và 3 câu thuộc về lỗi M-Error.

Ta xét một câu truy vấn “Context query” như sau: “What was the previous world record time?”. Ta thấy câu truy vấn chỉ chứa một thực thể duy nhất là “word record time” và ta thiếu thông tin để biết thực thể “word record time” trong câu truy vấn đang nói về vấn đề gì. Để có đầy đủ thông tin cần thiết, yêu cầu phải cung cấp ngữ cảnh, trong trường hợp này là những câu hay đoạn văn có nội dung liên quan với câu hỏi. Vấn đề này đòi hỏi phương pháp phải có cơ chế để liên kết các thực thể trong câu truy vấn đối với các thực thể thích hợp trong ngữ cảnh. Đây là một vấn đề khó, cần phải có những nghiên cứu sâu hơn.

Những lỗi thuộc về M-Error cũng có cùng nguyên nhân do phương pháp không phân biệt được từ quan hệ và thực thể đối với một số từ vựng tiếng Anh như chúng tôi đã phân tích ở trường hợp kết quả thực nghiệm trên tập TREC 2002.

Theo kết quả thực nghiệm, nếu không xét đến các lỗi O-Error và Q-Error, độ chính xác của phương pháp đã được cải thiện thêm 14.61% so với kết quả nghiên cứu của tác giả [18].

Sau khi xem xét tổng thể kết quả thực nghiệm trên hai tập mẫu TREC 2002, TREC 2007 ta thấy phương pháp đề nghị chỉ còn hạn chế chủ yếu đối với các truy vấn có quan hệ nhiều hơn 3 ngôi. Nguyên nhân của các lỗi này là do tính không đầy đủ của Ontology. Một trong những giải pháp có thể có để giải quyết cho vấn đề này đã được đề cập tại Mục 1.2, Chương 1 và chúng tôi đã nêu ra thành một bài toán khác mà trong phạm vi của đề tài chúng tôi sẽ không giải quyết.