Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt
tải về 1.53 Mb.
|
- Điều hướng trang này:
- THIẾT KẾ DỮ LIỆU
- Cơ sở dữ liệu trong SQL
- Hệ thống tập tin
- THU THẬP THÔNG TIN
- Cấu trúc UrlInfo
- Cấu trúc StartUrlInfo
- Cấu trúc FileRetrieval
- Cấu trúc ProjectInfo
THIẾT KẾ VÀ CÀI ĐẶTNgôn ngữ lập trình : Java, HTML Công cụ lập trình : JBuilder X, Microsoft Fontpage Web Server : Resin Hệ quản trị CSDL : Mircrosoft SQL Server 2000 THIẾT KẾ DỮ LIỆUKhi thiết kế hệ thống tìm kiếm thông tin vấn đề khó khăn nhất phải đối mặt là tổ chức cấu trúc dữ liệu . Vì khối lượng dữ liệu phải lưu trữ của hệ thống tìm kiếm thông tin là rất lớn, và khối lượng yêu cầu tìm kiếm phải xử lý cũng rất lớn (trên môi trường Web) nên cấu trúc dữ liệu phải được tổ chức tối ưu cho việc đáp ứng (về thời gian) đối với yêu cầu tìm kiếm của người sử dụng. Dữ liệu của hệ thống được xây dựng dựa trên mô hình vector, sử dụng phương pháp tập tin nghịch đảo Cơ sở dữ liệu trong SQLCSDL trong SQL server phục vụ cho toàn bộ hệ thống gồm bảng Url : chứa các thông tin cần thiết cho ứng dụng về 1 URL.
Bảng 6.11 : Bảng URL Hệ thống tập tinDo hệ thống dùng Webserver là Resin nên toàn bộ cơ sở dữ liệu được lưu trong thư mục làm việc của Resin “\doc\se\working”. Ngoài dữ liệu được lưu trữ trong Hệ quản trị Cơ sở dữ liệu SQL Server 2000, ứng dụng còn có hệ thống file như sau: “Index.txt”: chính là từ điển chỉ mục, chứa thông tin về một mục từ như trọng số, số tài liệu có chứa mục từ này, là từ tiếng Anh hay tiếng Việt, trang bắt đầu và trang kết thúc trong tập tin nghịch đảo, và sẽ được trình bày cụ thể ở phần dưới. “Inverse.dat”: tập tin nghịch đảo, chứa các thông tin về các tài liệu và trọng số của các mục từ trong tài liệu đó, xem cụ thể trong phần tập tin nghịch đảo ở phần dưới. “UnicodetoUTF8.txt”: font chữ Unicode. THU THẬP THÔNG TINCấu trúc dữ liệuVới mong muốn không chỉ đảm bảo được các nhiệm vụ của web robot mà còn giúp cho quản trị chủ động hơn nữa trong công việc của mình, module web robot sẽ hỗ trợ những chức năng sau : URL bắt đầu (StartURL) Định độ sâu liên kết Các tuỳ chọn khi phân tích một URL : cùng site, cùng thư mục gốc, khác site. Project Mỗi project có thể có nhiều StartURL. Các project khác nhau có thể có cùng một / nhiều StartURL. Chỉ phân tích URL để tạo CSDL hoặc download file. Download vớI 2 tuỳ chọn. Quy định các dạng và kích thước file cần download. Không quy định các dạng và kích thước file cần download. Tạm dừng 1 StartURL để xử lý 1 project khác hoặc 1 StartURL khác cùng project. Hệ thống Định số spider hoạt động đồng thờI, thờI gian đợI giữa 2 lần truy xuất server liên tiếp. Định số connection ban đầu, thờI gian đợI được cấp tài nguyên, số lần truy xuất CSDL khi hệ thống bận. Định chu kỳ lưu thông tin một project. Nhằm đáp ứng những chức năng đã nêu ra, hệ thống thu thập thông tin sẽ được bổ sung thêm các cấu trúc dữ liệu như : Cấu trúc UrlInfoUrlInfo là ánh xạ của bảng URL trong CSDL. Ngoài những thuộc tính kể trên, UrlInfo còn có các thuộc tính :
Bảng 7.12 : Cấu trúc URLInfo Cấu trúc StartUrlInfo
Bảng 7.13 : Cấu trúc StartURLInfo Cấu trúc FileRetrieval
Bảng 7.14 : Cấu trúc FileRetrieval Cấu trúc ProjectInfo
Bảng 7.15 : Cấu trúc ProjectInfo StartUrlVector là một vector mà mỗi phần tử là một biến cấu trúc kiểu StartUrlInfo. Tương tự FileRetrievalVector cũng là một vector mà mỗi phần tử là một biến cấu trúc kiểu FileRetrieval.
Каталог: books -> luan-van-de-tai -> luan-van-de-tai-cd-dh luan-van-de-tai-cd-dh -> Thế kỷ 21, cùng với sự phát triển nh vũ bão của khoa học kỹ thuật, của công nghệ thông tin. Sự phát triển kinh tế tác động đến tất cả mọi mặt đời sống kinh tế xã hội luan-van-de-tai-cd-dh -> VIỆN ĐẠi học mở HÀ NỘi khoa công nghệ thông tin đỒ Án tốt nghiệP ĐẠi họC luan-van-de-tai-cd-dh -> Phần một : Tình hình thu hút vốn đầu tư trên thị trường vốn việt nam hiện nay luan-van-de-tai-cd-dh -> TRƯỜng đẠi học cần thơ khoa công nghệ BỘ MÔN ĐIỆn tử viễn thôNG luan-van-de-tai-cd-dh -> Em xin chân thành cảm ơn! Vị Xuyên, ngày 19 tháng 5 năm 2012 sinh viêN luan-van-de-tai-cd-dh -> PHẦn I mở ĐẦu tầm quan trọng và SỰ ra đỜi của giấY luan-van-de-tai-cd-dh -> Đề tài: Tìm hiểu về vấn đề sử dụng hợp đồng mẫu trong đàm phán ký kết hợp đồng mua bán ngoại thương và thực tiễn ở Việt Nam luan-van-de-tai-cd-dh -> Đề tài phân tích thực trạng kinh doanh xuất khẩu cà phê nhân của các doanh nghiệP luan-van-de-tai-cd-dh -> Giao tiếp máy tính và thu nhận dữ liệU ĐỀ TÀI: TÌm hiểu công nghệ 4g lte tải về 1.53 Mb. Chia sẻ với bạn bè của bạn:
|