ĐẠi học công nghệ ĐẠi học quốc gia hà NỘI
tải về 0.69 Mb.
|
- Điều hướng trang này:
- 3.1.1 Mô hình kiến trúc của GATE
- 3.1.2 Những khái niệm cơ bản trong GATE
- 3.2 Xây dựng plugin trên GATE
- 3.3 Các thành phần quan trọng của GATE
- 3.3.2.1 Mệnh đề trái (LHS)
- 3.3.2.3 Mệnh đề phải (RHS)
- 3.3.2.2 Thành phần thay thế (Macros)
- 3.3.2.4 Sử dụng đoạn mã Java trong JAPE
- 3.3.2.5 Một vài lựa chọn khi viết luật
Chương 3Giới thiệu GATE GATE là framework giúp phát triển và triển khai các thành phần xử lý ngôn ngữ tự nhiên. GATE giúp các nhà khoa học và phát triển theo 3 hướng: +) Xác định một kiến trúc, hay một cơ cấu tổ chức cho phần mềm xử lý ngôn ngữ. +) Cung cấp một framework, hay một lớp thư viện thi hành kiến trúc và có thể được dùng để nhúng khả năng xử lý ngôn ngữ vào các ứng dụng khác nhau. +) Cung cấp một môi trường phát triển xây dựng trên framework tạo ra các công cụ thuận tiện cho phát triển các thành phần đồ họa. GATE do nhóm giáo sư Cunningham thuộc trường đại học Sheffield – Anh phát triển (H. Cunningham – 2002 [3]). Có thể download phiên bản mới nhất (version 5.0) của GATE miễn phí tại địa chỉ: http://gate.ac.uk/download/index.html.
3.1 Tổng quan về GATEPhần này chúng tôi sẽ trình bày những kiến trúc cơ bản và những khái niệm cơ bản của GATE. Đây là một hình ảnh về GATE 5.0 [Hình 1]: Hình 1 - Giao diện của GATE
Hình 2 - Mô hình kiến trúc của GATE [6]
Về cơ bản có thể nói GATE chạy khá tốt trong công việc xử lý ngôn ngữ tự nhiên tuy nhiên trong khi vận hành vẫn còn một vài hạn chế nhỏ về giao diện chưa ổn định hay quản lý lưu trữ chưa tốt… 3.1.2 Những khái niệm cơ bản trong GATEMột số khái niệm cơ bản được dùng trong GATE:
3.2 Xây dựng plugin trên GATEMột thành phần tích hợp (Plugin) có thể gồm ba loại: thành phần ngôn ngữ (Language Resources), thành phần xử lý (processing Resource), và thành phần thể hiện (Visual Resource). Ví dụ: Hệ thống đánh giá quan điểm người dùng của chúng tôi gồm các thành phần:
Việc tạo ra một thành phần xử lý rất đơn giản, được thực hiện qua các bước:
Sau khi đã có thành phần tích hợp (Plugin), có hai cách để thêm thành phần này vào khung làm việc của GATE.
Sau bước này, ta được một thành phần tích hợp mới hoạt động trên khung làm việc GATE. Và trong thành phần này ta có thể chọn những công việc cho nó [Hình 4]. Hình 3 - Giao diện thêm một thành phần tích hợp vào GATE. Hình 4 - Chọn các thành phần cho ứng dụng GATE
3.3.1 Bộ từ điển (Gazetteers)Bộ từ điển (gazetteers) gồm một tập hợp các từ điển nhỏ chứa các từ được định nghĩa theo một tiêu chí nào đó. Ví dụ:
Mỗi một từ điển trong bộ từ điển được khai báo trong file list.def với bộ giá trị: tên file chứa từ điển, giá trị đặc trưng thứ nhất (majorType), giá trị đặc trưng thứ hai (minorType – có thể có hoặc không). Ví dụ: entity.lst:name_entity: entity – khai báo một từ điển trong file entity.lst với hai đặc trưng majorType = “name_entity” và minorType = “entity”. Khi bộ từ điển hoạt động trên văn bản, các nhãn (annotations) kiểu Lookup (một kiểu nhãn mặc định trong GATE) được tạo ra bằng cách so khớp các từ trong bộ từ điển với các xâu trong văn bản. Ví dụ: trong văn bản xuất hiện từ “thiết kế” có trong từ điển entity.lst như khai báo ở trên. Thì tại xâu “thiết kế” trong văn bản sẽ xuất hiện một nhãn (annotation) mới kiểu Lookup với hai đặc trưng: majorType = “name_entity” và minorType = “entity”. Các nhãn (annotation) Lookup này sẽ được sử dụng trong khi viết các luật JAPE. 3.3.2 Bộ luật JAPEĐây là thành phần quan trọng nhất trong GATE nó đóng vai trò chính giúp công cụ này xử lý ngôn ngữ tự nhiên. Bộ luật JAPE là thành phần cơ bản trong khung làm việc của GATE, cho phép người dùng viết biểu thức chính quy trên nhãn (annotation) và tạo ra các nhãn mới trong văn bản. Một bộ luật JAPE có thể bao gồm nhiều luật nhỏ. Mỗi luật nhỏ gồm các mẫu và cách thực thi khác nhau có dạng: LHS (left-hand-side) RHS (right-hand-side). Ví dụ:
Rule: rulePositive1 Priority: 1 ( (StrongWord) ({Lookup.majorType=="positive"}):name ) --> :name.PosWord = {kind = "Trich chon positive", type="Positive", rule = " StrongWord + "} Khi một luật JAPE thực thi thì các luật nhỏ trong nó được thi hành một cách tuần tự, từ trên xuống nếu như cùng Priority và nó thi hành các luật từ Priority thấp nhất đến cao nhất (mặc định là -1 nếu không khai báo Priority). Luật JAPE gồm 2 thành phần chính: mệnh đề trái (LHS) là các biểu thức chính quy trên nhãn (annotation). Trong khi đó mệnh đề phải (RHS) thể hiện hành động cần được thực thi khi mệnh đề trái được thỏa mãn (so khớp).
Các phép toán sử dụng trong mệnh đề trái
Ví dụ cho một mệnh đề trái: ({Lookup.majorType=="positive"}):name Các mẫu được gán trong mệnh đề trái sẽ được sử dụng trong mệnh đề phải (RHS).
Trong ví dụ trên, mệnh đề trái cung cấp cho mệnh đề phải các mẫu (pattern) là tên của nhãn PosWord. Mệnh đề phải tạo ra các nhãn mới (annotations) tương ứng với các mẫu (pattern) nhận được. Nhãn (annotation) mới được tạo ra có kiểu là “PosWord” và 3 đặc trưng (feature) là kind = “Trich chon positive” và rule = “StrongWord + ”. 3.3.2.2 Thành phần thay thế (Macros)Ngoài ra trong việc xây dựng luật để cho thuận tiện và có khả năng sử dụng lại các thành phần ta có thể dùng thêm thành phần thay thế (Macros). Thành phần thay thế (Macros) thường xuyên được sử dụng trong các mệnh đề trái. Nó thay thế cho một tập các lệnh, giúp cho bộ luật đơn giản và rõ ràng hơn. Ngoài ra, khi một thành phần thay thế đã được khai báo thì mọi luật trong bộ luật đều có thể sử dụng nó mà không cần phải khai báo lại. Ví dụ về thành thần thay thế (Macros) - khai báo thành phần thay thế StrongWord Macro: StrongWord // rất, khá, hơi, siêu, ( {Word.string=="rất"} | {Word.string=="siêu"} | {Word.string=="khá"} | {Word.string=="hơi"} ) Sử dụng StrongWord trong mệnh đề trái của luật rulePositive1. Rule: rulePositive1 Priority: 1 ( (StrongWord) ({Lookup.majorType=="positive"}):name ) --> :name.PosWord = {kind = "Trich chon positive", type="Positive", rule = " StrongWord +
Options: control =
Ví dụ: Phase: Entity Input: Word Split Lookup Options: control = appelt Каталог: jspui -> bitstream -> 123456789 123456789 -> Nguyễn Ngọc Lý Giám đốc Trung tâm Nghiên cứu về Môi trường và Cộng đồng 123456789 -> Vò Quúnh Thu Cao häc K18 123456789 -> Khoa Báo chí Đhkhxh&NV 123456789 -> Acknowledgements 123456789 -> Danh mục chữ viết tắT 123456789 -> Chương TỔng quan vật liệu mao quản trung bình (mqtb) trật tự 1 Giới thiệu chung 123456789 -> Khoa hóa họC (141 142 báo cáo) tải về 0.69 Mb. Chia sẻ với bạn bè của bạn:
|
