HƯỚng dẫn dạy và HỌc trong giáo dụC ĐẠi họC


Những yêu cầu hoặc tiêu chí của các bài trắc nghiệm đánh giá



tải về 1.92 Mb.
trang32/32
Chuyển đổi dữ liệu07.01.2018
Kích1.92 Mb.
#35831
1   ...   24   25   26   27   28   29   30   31   32

Những yêu cầu hoặc tiêu chí của các bài trắc nghiệm đánh giá


Mục đích cuối cùng của bất cứ sự đánh giá nào cũng đều là thu thập những thông tin có giá trị nhất định, có độ tin cậy và tiết kiệm để đưa ra những quyết định phù hợp. Sự xác đáng, tính hiệu lực, độ tin cậy và khía cạnh kinh tế là những yêu cầu hoặc những tiêu chuẩn mong đợi nhất hiện nay đối với bất kỳ sự kiểm tra đánh giá nào.

Tính xác đáng của những số liệu thu thập được bao hàm ý rằng thông qua việc đánh giá, vấn đề được đánh giá là hoàn toàn phù hợp với những mục tiêu đã đặt ra. Ví dụ, tính xác đáng của các bài thi kết thúc một chương trình nào đó rất cần thiết để nhận ra sự khác nhau giữa các bài thi nhằm đánh giá trình độ sinh viên để cho lên lớp cao hơn hoặc để đưa họ vào thị trường việc làm và vào cuộc sống.

Tính hiệu lực của số liệu thu thập được hàm ý rằng trên thực tế, sự đánh giá đã được tập trung vào chủ đề đã được nhắm tới ban đầu. Chẳng hạn, không thể đánh giá kỹ năng viết và nói của sinh viên bởi cùng một bài trắc nghiệm (hay nói cách khác độ hiệu lực hoặc độ có lợi của đề thi trắc nghiệm phản ánh đúng cái cần đánh giá. ND)

Độ tin cậy của các số liệu thu thập được chỉ ra rằng, các số liệu đó được xác định không phải bằng cách tuỳ tiện hay ý muốn chủ quan của người ra đề. Ví dụ, việc chấm hai vòng (phải cho kết quả không khác nhau không nhiều đối với một tập hợp ngẫu nhiên của các bài thi. ND) các bài thi có tác dụng củng cố và làm chắc chắn thêm cho độ tin cậy.


Phân tích và lý giải các kết quả trắc nghiệm


Việc phân tích dữ liệu là bước tiếp theo của trắc nghiệm. Các dữ liệu thu thập được sau khi kết thúc sự đánh giá về mặt định lượng hoặc đánh giá về mặt định tính luôn phải qua xử lý thống kê.

Sự phân bố về điểm số: Điểm số của các nhóm có thể thấy rõ thông qua việc lập thành bảng phân loại theo tần xuất và/hoặc thông qua vẽ biểu đồ hình đa giác. Các số hạng đặc biệt mô tả các dạng phân bố bao gồm tính đối xứng, thể thức, độ chóp nhọn và độ nghiêng lệch của chúng. Các đồ thị này cũng có thể được dùng để so sánh hai hay nhiều sự phân bố về điểm số.

Đo xu hướng trung tâm: Trong bản tóm tắt, các con số hoặc số thống kê, trên cơ sở điểm thi, phản ánh điểm trung bình hoặc điểm số đặc trưng của nhóm. Chỉ số này có thể được dùng để miêu tả chung hoặc đơn lẻ đặc trưng phân bố về điểm số.

Sự biến thiên về điểm số: Việc mô tả thống kê sự biến thiên hoặc khoảng phân bố điểm số giúp hiểu rõ sự phân bố điểm của nhóm. Về phương diện này, độ lệch chuẩn hay được sử dụng nhất trong các bài trắc nghiệm giáo dục và trắc nghiệm tâm lý. Chỉ số này là giá trị trung bình của các độ lệch so với kỳ vọng, đánh giá phạm vi khác nhau về điểm số giữa những người này so với nhau.

Vi trí tương đối trong sự phân bố về điểm số: Điểm số của một cá nhân có thể được diễn giải trên bình diện vị trí tương đối của nó trong sự phân bố chung về điểm. Những điểm số trực tiếp thể hiện vị trí tương đối này được gọi là điểm tham chiếu chuẩn (liên quan đến chuẩn). Trong đó chúng được mô tả xếp hạng độc lập trong nhóm, xếp hạng phần trăm, hoặc phần trăm của nhóm mà điểm của người đó đã vượt qua; và điểm tiêu chuẩn tuyến tính được gọi là điểm Z.

Hệ số tương quan: Mức độ tương quan giữa hai tâphợp điểm chấm được mô tả một cách định lượng bởi hệ số tương quan. Hệ số tương quan xác định về lượng mối liên hệ giữa điểm Z của hai bài trắc nghiệm. Mối tương quan này cũng có thể được trình bày ở dạng đồ thị phân bố.

Bài tập


Một nhóm gồm 19 sinh viên được chấm điểm như sau;

15;13;7; 8; 9;12;11;10; 8;17;18;19;10;12;13;16; 5;12;13.



  1. Hãy lập bảng tần xuất cho 19 điểm trên

  2. Mode của 19 điểm đó là bao nhiêu?

  3. Median nằm ở đâu?

  4. Điểm số trung bình của 19 điểm trên là bao nhiêu

  5. Hãy tính mức chênh lệch tiêu biểu trong 19 điểm trên

  6. Hãy tính điểm chuẩn của mỗi điểm trong số 19 điểm trên.


Đánh giá việc dạy và học ở đại học

E. A. Yoloye

Việc đưa ra định nghĩa về sự đánh giá là rất cần thiết đối với giáo dục đại học. Bất luận sử dụng định nghĩa nào thì quá trình đánh giá cũng phải bao gồm 3 thành phần sau đây:


  • Thực thể được đánh giá có thể là một sản phẩm, một quá trình hoặc một sự thực hiện.

  • Phép đo của một đối tượng để gán điểm số, một thang bậc hoặc sự mô tả mang tính định lượng khác.

  • Đánh giá sự đo về mặt định lượng bằng cách gán cho nó một giá trị. Giá trị có thể thể hiện dưới các dạng khác nhau như đỗ/trượt, loại 1/loại 2/loại 3/đỗ/trượt.

Cơ sở cho việc đánh giá


Việc gán một giá trị cho phép đo có thể được căn cứ vào những điểm số. Điểm số đó có thể là:

  • Điểm tham chiếu chuẩn, tức là so với nhóm tham khảo nhất định, ví dụ thông qua việc sử dụng xếp hạng trong mỗi khoảng 1/4 của phân bố điểm.

  • Điểm tham chiếu tiêu chí là so với các mức thành tích tuyệt đối đã định, ví dụ biểu thị mức độ nắm vững dựa trên điểm phần trăm.

Mục đích của việc đánh giá


Nói chung, việc đánh giá bao hàm hai mục đích:

Đánh giá nhằm mục đích giải trình – thông thường tiến hành ở cuối một giai đoạn cụ thể nhằm mục đích thông qua sự xét đoán về qui mô của những cái đã đạt được so với những cái mong đợi. Việc này đôi khi dẫn đến giống như đánh giá hết môn. Tiếp theo là sự công nhận thành tích, ví dụ như cho lên lớp hoặc cho ở lại lớp, cấp cho một chứng chỉ hoặc không cấp chứng chỉ, hoặc cho thôi học.

Đánh giá nhằm hoàn thiện dạy và học – thông thường tiến hành ở nhiều giai đoạn khác nhau trong quá trình dạy và học nhằm xác định những điểm yếu và những điểm mạnh có thể ảnh hưởng đến thành công hay thất bại ở cuối khoá học. Đôi khi việc này còn được gọi là đánh giá thường xuyên (hình thành) và tiếp theo đó thường là ý kiến nhận xét của giảng viên đối với từng sinh viên cụ thể để giúp họ khắc phục thiếu sót trong các học, thi và gia tăng cơ hội thành công khi kết thúc khoá học. Về mặt này, sự đánh giá thường xuyên có thể coi là đánh giá chẩn đoán.

Phạm vi của sự đánh giá


Nói chung, có hai mức như sau:

Mức vi mô - đánh giá các phần tử riêng biệt trong một hệ thống, ví dụ:

  • Thành tích của sinh viên

  • Sự giảng dạy của giảng viên

  • Nội dung giảng dạy trong một trường cụ thể.

Mức vĩ mô - đánh giá toàn bộ hệ thống để đánh giá sự hoạt động của nó, ví dụ:

Hiệu quả bên trong của hệ thống bằng cách dùng các chỉ tiêu như tỷ lệ lên lớp, tỷ lệ lưu ban, tỷ lệ tốt nghiệp.

Hiệu quả bên ngoài bằng cách dùng các chỉ tiêu như phần trăm số sinh viên tốt nghiệp có việc làm, khả năng làm việc của những sinh viên tốt nghiệp, mối liên hệ về kiến thức và kỹ năng cần thiết của những sinh viên tốt nghiệp với những việc đã có sẵn.

Những phương pháp và công cụ đánh giá việc học


  • Các bài kiểm tra viết

  • Các bài kiểm tra nói

  • Các bài thực hành trong phòng thí nghiệm

  • Các đề tài nghiên cứu

  • Các bài thi học kỳ

  • Luận văn

Những đặc tính mong muốn của các công cụ đánh giá


  • Có độ tin cậy, đặc biệt là độ tin cậy của người cho điểm

  • Có hiệu lực (độ giá trị)

  • Có khả năng thực hiện trong phạm vi thời gian, nhân lực và tài chính có sẵn.(khả thi)

Việc phân tích dữ liệu đối với đánh giá tham chiếu tiêu chí


Các đặc trưng thống kê chính bao gồm:

  • Các đại lượng phản ánh khuynh hướng trung tâm : Mode, Median, Mean.

  • Các đại lượng phản ánh độ phân tán: (khoảng phân bố, khoảng giữa các giới hạn 1/4 ), phương sai, sai lệch bình phương trung bình (độ lệch chuẩn).

Sự tiêu chuẩn hoá điểm số


Để có thể so sánh các điểm lấy từ các bài kiểm tra khác nhau và các công cụ đánh giá khác, cần chuyển đổi các điểm số thô thành điểm chuẩn bằng việc sử dụng giá trị trung bình và độ lệch chuẩn, chẳng hạn như, t-scores, z-scores.

Đánh giá về giảng dạy

Có thể đánh giá việc dạy của từng giảng viên dựa theo:



  • Mức độ đạt được những ứng xử chuẩn mực của giảng viên

  • Mức độ thành tích mà sinh viên đạt được so với mức độ mong muốn

  • Sự ứng xử trông đợi ở giảng viên bao gồm những việc như: đến lớp đúng giờ, không bỏ giờ, chuẩn bị đầy đủ các bài giảng đã ấn định, đúng mực trong quan hệ với các sinh viên trong lớp học, thể hiện hiệu quả, khẩn trương và đáng tin cậy trong việc cho điểm các bài kiểm tra và thi của sinh viên.

  • Thành tích học tập của sinh viên có thể được đo bằng nhiều loại công cụ đã được liệt kê trong phần 5.0.

  • Nếu chúng ta xem các điểm thô như là điểm tham chiếu tiêu chí và vẽ các đường cong tần số cho từng môn học thì có thể có được 3 dạng đường cong cơ bản: i) Đường cong lệch phải; ii) Đường cong chuẩn; iii) Đường cong lệch trái.

  • Đường cong thường gặp nhất với hoạt động dạy học truyền thống, nhất là với các lớp đông sinh viên, là đường cong chuẩn (Gauxo).

Trong bài trình bày về Tính tự chủ trong học tập, Bloom (1971) viết:

Không có gì đáng chê về đường cong chuẩn. Nó là sự phân bố thích hợp nhất đối với hoạt động ngẫu nhiên và không theo nguyên tắc. Giáo dục là một hoạt động có mục đích, và chúng ta mong muốn sinh viên học được những cái chúng ta dạy. Nếu chúng ta giảng dạy có hiệu quả, sự phân bố về thành tích học tập sẽ rất khác so với đường cong chuẩn tắc. Thực ra, chúng ta thậm chí có thể biết những nỗ lực giáo dục của chúng ta chưa thành công khi sự phân bố kết quả đạt được xấp xỉ với phân bố chuẩn.”

Nếu chúng ta chấp nhận điều khẳng định này, chúng ta có thể coi ba dạng đường cong theo một trật tự có thứ bậc khi xác định tính hiệu quả của công tác giảng dạy. Theo đó, đường cong lệch trái chỉ mức độ thấp nhất, đường cong chuẩn chỉ mức trung bình, còn đường cong lệch phải chỉ mức độ cao nhất. (Tuy nhiên điều này có thể đúng với các bài trắc nghiệm tiêu chuẩn. ND).

Nguồn trích dẫn:

Yoloye, E.A. (9/1998). Việc đánh giá ở đại học. Bài tham luận tại Hội thảo UNESCO về Dạy và Học ở đại học. Đại học Ibadan, Nigeria.



Đánh giá việc dạy và học ở đại học

Ezra Maritim

Giới thiệu

Mục đích của bài này là nhằm giới thiệu những định hướng cơ bản và đi thẳng vào các vấn đề về hoạt động đánh giá trong giáo dục đại học, có sự liên hệ đặc biệt tới nước Kenya. Trong lĩnh vực dạy và học, Hội thảo khu vực do UNESCO tổ chức tại Dakar, Senegal vào tháng Ba năm 1999, đã đưa ra những cơ sở hữu ích về các khái niệm đánh giá, các dạng đánh giá khác nhau và các đặc trưng của những công cụ đánh giá tốt. Các hình thức đánh giá được Hội thảo Dakar xác định gồm: bài tập môn học, các bài thi viết (bài luận, lựa chọn câu trả lời đúng, v.v), các bài thi nghe và nói, các bài chuyên đề, các báo cáo thí nghiệm, các bài kiểm tra ở lớp, các theo dõi trực tiếp (học ở bệnh viện, thực tập dạy học, thực hành kỹ năng nghề nghiệp), các bài thi học kỳ và luận văn tốt nghiệp. Những đặc điểm và tính chất của một công cụ đánh giá tốt là: độ hiệu lực, độ tin cậy, tính công bằng, tính thực tiễn, sự xác đáng và tính kinh tế.



Những điểm đáng chú ý của bài tham luận

Bài viết này tiếp cận sự đánh giá theo bốn cách.



Thứ nhất, đánh giá là gì? Mặc dù trong các trường đại học, việc đánh giá là một công việc nội trợ nhưng chắc chắn sẽ có ích nếu như bây giờ ta xem xét lại việc đó là như thế nào. Tôi cho rằng đánh giá là một phép đo nhằm biết được chất lượng của việc dạy và học ở đại học.

Thứ hai, sứ mệnh tổ chức và triết lý của việc đánh giá là gì? Sự đánh giá thuộc phạm trù triết học nào? Nhiệm vụ của nhà trường trong việc định hướng cho quá trình đánh giá. Về mặt nào đó, những cương lĩnh nhiệm vụ sẽ quy định những thuộc tính chất lượng và có thể đo được mà sinh viên phải đạt được trong khoá học của họ. Chính điều này tạo nên nét đặc thù của nhà trường. Những thuộc tính đó được phản ảnh ở mức độ quan trọng của chủ đề môn học được dạy, dưới dạng các mục tiêu chủ yếu và thứ yếu của môn học. Trong phạm vi này, tất cả mọi giảng viên của nhà trường cần biết sứ mệnh của nhà trường và biến thành hành động.

Thứ ba, cái gì thuộc nội bộ dùng để đánh giá? Hoặc là, cái gì dùng để đánh giá nhà trường và sinh viên? Câu trả lời hợp lý đối với sự đánh giá là để quản lý nội bộ việc dạy và học trong nhà trường. Trong bối cảnh dạy và học, việc đánh giá mang lại lợi ích cho cả giảng viên và sinh viên bởi vì nó cho phép:

  • giảng viên xác định được những gì sinh viên nắm được hoặc những gì sinh viên không nắm được để tạo điều kiện để giảng viên dạy có hiệu quả hơn, và

  • sinh viên học tập có hiệu quả hơn.

Ngoài những lợi ích kể trên, việc đánh giá cũng cho phép các trường thực hiện xét đoán tổng hợp về sự hoàn thành nhiệm vụ học tập của sinh viên dưới dạng:

  • cho điểm

  • xếp loại

  • cấp chứng chỉ

Thứ tư, những gì là rào cản trong việc đánh giá ở các trường đại học? Một vấn đề lớn là khoảng 95% số trường đại học và cao đẳng ở Kenia, các giảng viên và những người khác trong các khoa chuyên môn đều không được đào tạo nghiệp vụ sư phạm và do đó họ bị thiếu hụt những kỹ năng về mặt đánh giá. Sự thiếu hụt này dẫn đến các hậu quả tiêu cực sau đây:

  • Giảng viên nhận thức sai cả về mục đích và các hình thức đánh giá;

  • Xác định nhiệm vụ dưới tầm nhận thức sẽ hạn chế khả năng sinh viên phát triển nội dung môn học.

  • Giảng viên sử dụng sai các bài thi làm tăng nỗi lo lắng cho sinh viên.

Ngoài ra, khi giảng dạy cho những lớp có số sinh viên đông như hiện nay, các giảng viên không đạt được hiệu quả trong việc:

  • Cung cấp cho sinh viên thông tin phản hồi về sự học tập của họ;

  • Chỉ ra cho sinh viên biết những gì họ có thể làm để cải thiện kết quả học tập của họ;

  • Tạo ra mối quan hệ tương tác trực tiếp đầy đủ;

Có thể tìm thấy một vài giải pháp khả thi nhằm khắc phục sự thiếu hụt đó, ví dụ như:

  • Tiến hành đào tạo tại chức về lý thuyết và thực hành trong giáo dục;

  • Mở đào tạo tại chức về kỹ năng soạn thảo, điều tiết và hệ thống cho điểm các tiết mục nhằm gắn chất lượng vào việc đánh giá;

  • Áp dụng việc đánh giá theo nhóm để thuận tiện cho việc đạt được các kĩ năng hợp tác và quan hệ với các thành viên trong nhóm;

  • Áp dụng phối hợp các nhiệm vụ khác nhau sẽ tạo cho sinh viên cơ hội tốt nhất để họ bộc lộ năng lực học tập của họ, và

  • Làm cho sinh viên hiểu được những gì đang mong đợi họ.

Nguồn trích dẫn:

Maritim, E. (9/1999). Sự đánh giá trong giáo dục đại học. Bài tham luận tại Hội thảo khu vực về Dạy và Học ở đại học, Trường đại học Witwatersrand, Johannesburg, Nam Phi.


Bài 3: Đánh giá việc giảng dạy
Sau khi hoàn thành bài học này, các bạn có khả năng:

  • sử dụng các biểu hiện đơn giản để đánh giá việc giảng dạy; và

  • chuẩn bị được các công cụ để đánh giá giảng viên.



Việc đánh giá trong giáo dục đại học ở các nước châu Phi nói tiếng Pháp

Ousseynou DIA



Đánh giá việc giảng dạy

Việc đánh giá hoạt động giảng dạy phải được thực hiện ít nhất ở hai mức: đó là về mặt nội dung (phát triển và đánh giá về chương trình giảng dạy và đề cương môn học), và các phương pháp giảng dạy. Với các mục tiêu cụ thể mà các trường đại học đang theo đuổi, chúng ta phải tự đặt ra cho mình những câu hỏi trước khi chuẩn bị xây dựng chương trình giảng dạy. Các trường đại học sẽ có những mối liên kết nào với các trường đại học ở các nước phát triển? Nói cách khác, công việc phát triển chương trình đào tạo của chúng ta sẽ được thực hiện ra sao nếu nội dung chương trình giống với chương trình của các nước phát triển? Câu hỏi đặt ra cho chúng ta về các tiêu chuẩn dường như trở nên xác đáng hơn khi tính chất trung lập và tính phổ biến của những kiến thức khoa học và kỹ thuật xuất hiện ngày càng nhiều hơn và ngày càng thiếu tính xác thực (pseudo-evident). Thực tế là, những kiến thức khoa học và kỹ thuật có tác động văn hoá đến giác quan, cái làm cho người ta tiếp thu trong chừng mực nào đó một cái nhìn mang tính toàn diện, một phương pháp phân tích và nhận thức thực tế. Bởi vậy, câu hỏi này phản ánh cái riêng và cái chung cũng như các mối quan hệ phức tạp của chúng. Dù cho việc học có thể được xem là phổ biến trong chừng mực nào đó thì các mối liên hệ của nó được tăng cường bằng văn hoá.

Cần thiết phải kiểm tra những kiến thức khoa học cơ bản của sinh viên và cần xem xét nội dung môn học thích hợp mà họ cần bổ sung cho sự thiếu hụt. Nếu không tiến hành việc khảo sát ban đầu đó, sự giáo dục mà chúng ta đang thực hiện có thể sẽ kết thúc giống như một sự sao chép lại những kiến thức mà sinh viên đã có (những kiến thức cũ, những kiến thức kinh nghiệm của bản thân và xã hội); ngoài ra, cần tự hỏi một điều là liệu những kiến thức khoa học và kỹ thuật mà chúng ta truyền đạt cho họ có đề cập tới những vấn đề thường nảy sinh từ mối quan hệ của họ với môi trường.

Đánh giá các giảng viên

Vấn đề xung quanh việc đánh giá phương pháp giảng dạy thường ít được lý giải do sự thiếu hụt về kỹ năng sư phạm cần thiết hơn là so với thái độ tiêu cực của một số giảng viên nhất định về phương diện này. Sự đánh giá như thế chắc chắn được thực hiện bằng cách theo dõi công tác giảng dạy của giảng viên vì rằng một sự đánh giá khách quan chỉ có thể được thực hiện dựa trên cơ sở quan sát. Với việc quan tâm đến mục đích đào tạo, chất lượng và nhận xét các bài giảng đã dạy và thông tin phản hồi của các bài giảng đó, việc đánh giá có thể giúp giảng viên hoàn thiện được bài giảng của họ và do vậy sẽ nâng cao chất lượng giảng dạy; nó cũng giúp tìm hiểu chắc chắn xem những mục đích của môn học hay một chương trình học tập đã đạt được hay chưa, hoặc giúp khám phá ra những sự bất cập giữa mong muốn của sinh viên, dự định của người thầy và những yêu cầu của môn học.

Như vậy, dựa vào những công cụ nào để một người có thể đánh giá khách quan hoạt động dạy học của một giảng viên? Kỹ thuật quay video có ưu thế nhất vì nó không chỉ cho phép quan sát bài giảng của giảng viên bởi người thứ ba, mà còn giúp giảng viên tự quan sát. Đánh giá cũng có thể thông qua thanh tra môn học do các giáo sư hoặc các chuyên gia kinh nghiệm; phân tích đề cương bài giảng bởi các tổ chuyên môn và thực hiện đánh giá môn học bởi sinh viên.

Đánh giá việc giảng bài của giảng viên thường bị cản trở bởi một số giảng viên và điều đó cần phải lưu tâm. Sự từ chối này thực chất tạo ra sức cản đối với đổi mới phương pháp giảng dạy. Đó cũng là cách mà giảng viên không muốn mạo hiểm để làm đảo lộn hình ảnh “ông thầy” mà giảng viên vốn thích thú và thiết lập mang tính độc quyền để chi phối việc học tập, cái mà “ông thầy” tự vơ vào mình trong lớp học. Tuy nhiên, việc không tuân theo những thủ tục sư phạm về đánh giá dường như có liên quan đến bối cảnh văn hoá, hệ thống giáo dục, lề lối trong các trường mà ở đó các giảng viên quan tâm đến học tập của sinh viên, tri thức và hoạt động giảng dạy. Nó cũng liên quan tới mức độ tham gia của sinh viên vào công tác quản lý học tập của họ và vào các hoạt động chung của nhà trường, liên quan đến chất lượng thông tin giảng dạy cho giảng viên là những cái nhấn mạnh tầm quan trọng của việc đánh giá hoạt động và kỹ năng của giảng viên.

Hệ thống giáo dục hiện nay thường đánh giá giảng viên trong các trường đại học và cao đẳng chỉ dựa vào các công tác nghiên cứu của họ (ở chúng ta phần lớn dựa vào số giờ dạy trong năm học để đánh giá giảng viên. ND). Sự đánh giá như thế có giá trị ở chỗ cố gắng định ra những tiêu chí khách quan nhất định cho việc đánh giá, chẳng hạn như các công trình công bố, các luận án, và hướng dẫn tập sự các trợ giảng để họ có thể dạy một môn học trược khi nhận lãnh trách nhiệm. Mặt khác, điều đó giảng viên sẽ có khuynh hướng sa đà vào công việc nghiên cứu (để lấy thành tích. ND) và lơ là trách nhiệm dạy học. Đa số các giảng viên đã từng tham gia tranh luận về vấn đề nghiên cứu khoa học đều đi đến nhất trí về sự cần thiết giảng dạy phải đi đôi với nghiên cứu, cho dù một số người băn khoăn về vai trò của nghiên cứu giáo dục trong các trường đại học.

Điều này giải thích cho một thực tế là, trong các nước mà ở đó việc giảng dạy của giảng viên được đánh giá thường là do mong muốn cải thiện hiệu quả trong của cơ sở đào tạo khi đất nước bị khủng hoảng kinh tế và/hoặc khó tuyển sinh viên. Việc lấy lại niềm tin của hoạt động giáo dục cũng như việc đánh giá giảng viên và công tác giảng dạy xuất phát từ tình hình đó. Điều đó giải thích tại sao ngày nay sinh viên thích đánh giá gần như có hệ thống đối với các giảng viên. Dù cho có được nhiều hay ít thông tin về tính chất của các mối quan hệ mang tính sư phạm (các tiêu chí đối với giảng dạy và nghiên cứu; những đặc trưng của một môn học), hầu như không giúp gì cho việc đánh giá những nội dung và mức độ thu nhận và chuyển hoá nó đối với dạy học hiệu quả – chí ít là vì những sự đánh giá thường dựa trên các mối quan hệ con người, trong con mắt của nguời học. Kinh nghiệm đó cho thấy rằng những đánh giá của sinh viên có thể đo được mức độ hài lòng và nhiệt tình của con người!

Dù sao, sự đánh giá của sinh viên về hoạt động giảng dạy là nguồn thông tin cần thiết đối với những giảng viên thực sự quan tâm hoàn thiện môn học của mình. Vấn đề này là rất có lợi bởi vì hiếm có trường hợp mà giảng viên không điều chỉnh trước những nhận xét hoặc trước sự phân tích những lời bình luận nhằm mục đích hoàn thiện. Một chính sách về loại đánh giá này có thể chỉ được kết hợp trong một nỗ lực toàn diện bởi một trường đã được công nhận là giáo dục có chất lượng. Kinh nghiệm này thực ra vượt ra ngoài những phiếu thăm dò của sinh viên và chú ý đến cả các thông số sư phạm khác. Với tất cả những thận trọng cần thiết (chấp nhận về giá trị của các phiếu điều tra, tính khách quan trong các dữ liệu thu được), có thể yêu cầu các giảng viên xứng đáng được khen thưởng phải nộp bản báo cáo đánh giá về hoạt động giảng dạy của họ nhằm củng cố thêm đánh giá sư phạm hoặc quan điểm của các đồng nghiệp – những nhận xét không thể bỏ qua.

Nguồn trích dẫn:

Dia, O. (1998). Chất lượng giáo dục đại học ở các nước châu Phi nói tiếng Pháp.

J. Shabani (Ed.). Giáo dục đại học ở châu Phi: Những thành tựu, Thách thức và Triển vọng. Dakar: UNESCO BRENDA.
Chất lượng giáo dục đại học ở Nam Phi: Những quan niệm, những điều đang tranh luận và những bình luận

Nicko Cloete

Ở Nam Phi, cơ chế đảm bảo chất lượng khác nhau ở ba khu vực giáo dục đại học:

Trong khối các trường cao đẳng, hình thức phổ biến nhất là tổ chức các kỳ thi cấp sở (cấp tỉnh) và cấp quốc gia đối với những chương trình đào tạo cấp chứng chỉ hoặc cấp bằng.

Trong khối kỹ thuật chuyên nghiệp, Hội đồng cấp giấy chứng nhận về giáo dục kĩ thuật (SERTEC) đã thực hiện chức năng kiểm định chương trình đào tạo. Hội đồng này kết hợp chặt chẽ nhiều đặc điểm phổ biến mang tính quốc tế. (Một yếu tố bối cảnh quan trọng là tất cả các chương trình giáo dục kỹ thuật được đưa ra ở dạng hướng dẫn chương trình dựa trên sự thoả thuận mang tính quốc gia do khối trường kỹ thuật phối hợp với nhóm ngành công nghiệp/chuyên ngành có liên quan).

Trong khu vực các trường đại học, chất lượng được đảm bảo qua sự kiểm định chuyên nghiệp (ở những nơi có thể áp dụng) (do các tổ chức nghề nghiệp thực hiện) và thông qua một hệ thống đồng nghiệp đánh giá ngoài, mặc dù ở trường hợp sau không hoàn toàn thống nhất như vậy. Mới đây Uỷ ban Hiệu trưởng các trường đại học (CUP) đã thành lập một Bộ phận Khuyến khich Chất lượng. Nhìn chung, ở hệ thống trước đây, việc đảm bảo chất lượng là được chăng hay chớ, sử dụng những người đánh giá ngoài ít được tin tưởng và chất lượng hầu như được xác định bởi danh tiếng.

Rút ra từ kinh nghiệm quốc tế, Hội đồng về giáo dục đại học (báo cáo của NCHE,1996) đã kết luận rằng chắc chắn có những sự tương đồng trong số những hệ thống đã thiết lập. Thứ nhất, hầu hết các hệ thống đều bao gồm quá trình tự đánh giá ban đầu, sau đó nhờ một đồng nghiệp tiêu biểu bên ngoài đánh giá lại kết quả của quá trình tự đánh giá. Thứ hai, thông qua tự đánh giá và vai trò của các đồng nghiệp trong khâu đánh giá bên ngoài, trường đại học nghiễm nhiên “là chủ” của hệ thống chất lượng. Thứ ba, một hội đồng độc lập thường phối hợp với sự đánh giá bên ngoài (sự đánh giá được tiến hành dưới dạng tiêu chuẩn hoá nhiều hay ít từ những quy định chi tiết đến những bảng kê kiểm tra mang tính mềm dẻo hơn. Thứ tư, trong hầu hết các trường hợp, các kết quả đánh giá đều được công bố. Cuối cùng, ở hầu hết các nước, các hình thức trừng phạt tiêu cực có thể là bước sau cùng của thủ tục đánh giá.

Hội đồng nói trên đã đề nghị rằng, một hệ thống đảm bảo chất lượng trên cơ sở phát triển cần bao hàm ba chức năng: kiểm định cơ sở đào tạo, kiểm định chương trình, và đẩy mạnh chất lượng. Trước tiên, cần thành lập một Uỷ ban chất lượng giáo dục đại học, với tư cách là một uỷ ban thuộc Hội đồng giáo dục đại học. Hội đồng giáo dục đại học phải được công nhận bởi Tổ chức các chuyên gia chất lượng Nam Phi (SAQA) với tư cách đồng bảo trợ cho các chương trình đảm bảo chất lượng trong giáo dục đại học. Hội đồng giáo dục đại học sẽ thực hiện quyền này thông qua Uỷ ban chất lượng. Uỷ ban chất lượng giáo dục đại học có trách nhiệm kiểm định cơ sở đào tạo, kiểm định chương trình và chịu sự quản bởi một ban gồm những người được rút ra từ trong hay ngoài hệ thống giáo dục đại học. Uỷ ban chất lượng giáo dục đại học cần khuyến khích và giám sát các hoạt động đẩy mạnh chất lượng ở các trường đại học, chứ không tự mình thực hiện các hoạt động đó. Hội đồng đề nghị Bộ phận xúc tiến chất lượng của Uỷ ban Hiệu trưởng các trường đại học, với sự uỷ nhiệm rộng rãi, được coi như một bộ phận có thể thực hiện chức năng này.

Cần quan tâm đặc biệt đến hệ thống quản lý chất lượng này, hệ thống mà trong đó một khung các trình độ cần được phát triển cho tất cả các trình độ giáo dục đại học, với tư cách là một phần của Khung trình độ quốc gia. Khung trình độ cần bao gồm trình độ đầu ra trung cấp và phải bao hàm một tập hợp các trình độ từ chứng chỉ, diploma và bằng đại học và sau đại học. Tất cả các chương trình giáo dục đại học cần được đăng ký trong khung trình độ quốc gia (NQF), ở mức tối thiểu của đầu ra của toàn bộ các trình độ, với việc Ban biên soạn tiêu chuẩn quốc gia xác định các form đăng ký thích hợp dưới dạng áp dụng các tiêu chuẩn thống nhất trong khung trình độ. Ban biên soạn tiêu chuẩn quốc gia cũng được giao trách nhiệm đảm bảo tính liên thông giữa các trình độ trong từng lĩnh vực đã dăng ký đồng thời phải phát triển các cơ chế đảm bảo liên thông hiệu quả giữa các trình độ. Điều quan trọng là liên thông giữa các trình độ cần được thực hiện trong tất cả các lĩnh vực chuyên môn ở những nơi liên thông thường là vấn đề nóng nhất. Hội đồng giáo dục đại học cần đảm bảo rằng, những quyết định của SAQA và Ban biên soạn tiêu chuẩn quốc gia về cách thức đăng ký các văn bằng thế nào để tạo ra một cơ sở có hiệu quả trong việc sáp nhập các chương trình giáo dục đại học vào Khung trình độ quốc gia. Các lĩnh vực và cấp trình độ phải tương thích với các loại và trình độ được áp dụng trong hệ thống kế hoạch và hệ thống thông tin ở đại học. Các chương trình giáo dục đại học phải được đăng ký với tư cách hoặc là các chương trình “cấp quốc gia” được đưa ra bởi nhiều trường, hoặc là các chương trình “cấp trường” tương đối thống nhất với một số trường đối tác khác. (Báo cáo của NCHE,1996)

Việc công nhận chương trình sẽ được tiếp tục thông qua sự kết hợp đánh giá và đánh giá độc lập. Mục đích của việc đánh giá là để thừa nhận hoặc duy trì sự kiểm nhận đối với các chương trình đã thoả mãn những tiêu chuẩn tối thiểu có thể chấp nhận đã được Ban biên soạn tiêu chuẩn quốc gia và đảm bảo nâng cao chất lượng của các chương trình.

Các thủ tục đánh giá các trường và các chương trình gồm có: quá trình tự đánh giá cơ sở đào tạo hoặc đánh giá chương trình, sự đánh giá của các nhà đánh giá độc lập bao gồm cả các tổ chức chuyên nghiệp và các chuyên gia. Ngoài ra, Hội đồng cũng đề nghị cần xây dựng một hệ thống thông tin quốc gia mới bao gồm bộ các chỉ tiêu về hoạt động (performance), chất lượng và với sự phát triển.

Một loạt đề nghị do chính phủ đưa ra vào tháng 12 năm 1996 để lấy ý kiến về giáo dục đại học xác nhận rộng rãi vị trí của Hội đồng qua việc phát biểu “Bộ đồng ý rằng việc đảm bảo chất lượng của các chương trình là sự ưu tiên hàng đầu trong nền giáo dục đại học mang tính quốc tế những năm gần đây, với tư cách là một biện pháp đảm bảo việc giải trình và tương xứng với đồng tiền bỏ ra (tr 32). Bộ cũng đồng ý rằng trách nhiệm ban đầu đối với việc đảm bảo chất lượng là tuỳ thuộc các trường đại học và đề nghị thành lập một Uỷ ban chất lượng giáo dục đại học với tư cách là một uỷ ban bảo trợ độc lập.”



Nguồn trích dẫn:

Nicko Cloete (1998). Chất lượng giáo dục đại học ở Nam Phi: Những quan niệm, Những điều đang tranh luận và những bình luận.

J. Shabani (Ed.). Giáo dục đại học ở châu Phi: Những thành tựu, Thách thức và Triển vọng. Dakar: UNESCO BRENDA.
Như vậy, việc đánh giá giảng dạy, qua các bài đọc thêm ở trên, có thể được thực hiện ở mức độ nội bộ hoặc mức độ bên ngoài trường.

Các đánh giá trong (nội bộ) và bên ngoài về học tập có thể được thực hiện bởi:



  • mỗi giảng viên quan tâm đến việc cung cấp thông tin về kết quả công tác của riêng mình.

  • mỗi trường mong muốn kiểm soát tốt hơn chất lượng đào tạo của mình

  • các nhà chức trách quốc gia và địa phương tổ chức và tài trợ cho hệ thống giáo dục

  • các tổ chức quốc tế, nhất là đối với việc so sánh hoạt động của hệ thống giáo dục ở các nước khác nhau

  • các nhà nghiên cứu và các học giả độc lập.

Việc đánh giá trong không nhằm mục đích giống như đánh giá bên ngoài. Thông thường, việc đánh giá trong nhằm vào việc đo và đánh giá chất lượng sư phạm và những chi phí cho đào tạo. Trái lại, đánh giá bên ngoài tập trung vào tác động ảnh hưởng của các hệ thống giáo dục bên ngoài trường liên quan đến các yếu tố kinh tế, văn hoá, xã hội, tôn giáo, v.v. Nói chung, việc đánh giá nội bộ nhằm đo và đánh giá:

  • số sinh viên được lên lớp

  • số sinh viên phải lưu ban

  • số sinh viên bỏ học

  • số sinh viên hoàn thành có kết quả nhiệm vụ học tập.

Việc đánh giá bên ngoài về học tập nhằm giải quyết các vấn đề liên quan đến:

  • số người nhận bằng tìm được việc làm hoặc tạo ra được việc làm

  • sự phù hợp của các môn học với các vị trí việc làm

  • mối gắn kết chương trình đại học với các nhu cầu của cộng đồng

  • ảnh hưởng tác động của việc học tập đến trình độ và chất lượng sản xuất kinh tế.

Một số chỉ tiêu đánh giá về giảng dạy


Việc học tập có thể được đánh giá dựa vào hiệu quả bên trong hoặc hiệu quả bên ngoài của nó. Dưới đây là một vài chỉ tiêu tương đối đơn giản dùng để đánh giá hiệu quả bên trong:

  • tỷ lệ phần trăm số sinh viên được lên lớp ở cuối năm học

  • tỷ lệ phần trăm số sinh viên phải lưu ban

  • tỷ lệ phần trăm số sinh viên bỏ học trong môn học hoặc ở cuối năm học

  • tỷ lệ phần trăm số sinh viên đỗ tốt nghiệp và ra trường.

Các tỷ lệ này được tính toán bằng cách lấy số sinh viên bắt đầu vào các lớp học trong cùng năm đó. Trong trường hợp này, đó là tổng tỷ lệ hiệu quả bên trong. Tỷ lệ phần trăm có thể được lấy bằng cách tính toàn bộ số sinh viên tham dự cùng lớp, chứ không phải những người bắt đầu học cùng thời điểm. Trong trường hợp đó, chúng ta có tỷ lệ thực về hiệu quả bên trong.

Ví dụ:

Trong năm học 1998-99, có 205 sinh viên năm thứ nhất của trường Y. Trong số này có 152 sinh viên mới được tuyển vào ở đợt 1 của năm thứ nhất. Đến cuối năm học này, 167 sinh viên đã vượt qua kỳ thi, trong đó có 134 em thuộc số 152 sinh viên mới và 33 em thuộc số 53 sinh viên lưu ban.

Trong trường hợp này, tỷ lệ tổng cộng hiệu quả bên trong về số sinh viên được chuyển lên học năm thứ hai trong năm học1999-2000 là:

(134/152)*100 = 88,15 %

Tỷ lệ thực hiệu quả bên trong về số sinh viên được chuyển lên học năm thứ hai trong năm học 1999-2000 là:

(167/205)*100 = 81,46 %

Một số chỉ tiêu tương đối đơn giản về hiệu quả bên ngoài:


  • tỷ lệ phần trăm số người đã nhận bằng (hoặc số sinh viên đã hoàn thành nhiệm vụ học tập) tìm được việc làm

  • tỷ lệ phần trăm số người đã nhận bằng (hoặc số sinh viên đã hoàn thành nhiệm vụ học tập) đã tìm được việc làm đúng với năng lực chuyên môn của họ.

Ví dụ:

Kết thúc năm học 1996-97, 37 sinh viên đã hoàn thành luận văn Tiến sĩ y khoa. Trong số này, 29 người đã tìm được việc làm nhưng chỉ 15 người làm việc đúng trong ngành y vào năm 1997-98.

Tỷ lệ toàn bộ về số người nhận bằng y khoa đã tìm được việc làm trong năm 1997-98 là:

(29/37)*100 = 78,37 %

Tỷ lệ toàn bộ về số người nhận bằng y khoa đã tìm được việc làm trong lĩnh vực y tế trong năm 1997-98 là:

(15/37)*100 = 40,05 %


Bài tập:

Trong năm 1991-1992, đã có 585 sinh viên học năm thứ hai ngành kinh tế. Trong số này, 399 em được tuyển từ năm thứ nhất lên ở đợt đầu của năm 1991-92. Đến cuối năm, 377 sinh viên trong số 585 đã đủ điều kiện lên học năm thứ ba của năm học 1992-93. Trong đó có 77 em trong số 339 sinh viên tuyển đợt đầu của năm 1991-92.

1. Hãy tính tỷ lệ tổng cộng về hiệu quả bên trong cho năm học thứ hai trong ngành kinh tế

2. Hãy tính tỷ lệ thực về hiệu quả bên trong cho năm học thứ hai trong ngành kinh tế.



Đánh giá giảng viên

Việc đánh giá giảng viên đang ngày càng trở nên phổ biến trong thực tế. Nó được thực hiện trong nhiều trường đại học nói tiếng Anh. Ở các nước sử dụng tiếng Pháp, việc đánh giá giảng viên thông qua những đồng nghiệp của họ hoặc thông qua sinh viên không phải là chuyện phổ biến. Tuy nhiên, một số trường đại học thuộc khối Pháp ngữ là thành viên của các tổ chức hợp tác quốc tế như CAMES (Hội đồng Madagascar và châu Phi về giáo dục đại học) mà hoạt động của nó là một yếu tố quyết định trong việc khuyến khích về mặt chuyên môn cho các hoạt động giảng dạy và nghiên cứu ở các trường đại học thành viên.

Có một số công cụ để đánh giá giảng viên thông qua sinh viên. Các công cụ đó bao gồm một vài khía cạnh như:


  • Trình độ được đào tạo theo ngành của giảng viên

  • Các kỹ năng chuyên nghiệp của họ

Nhiều công trình nghiên cứu đã tập trung vào việc đánh giá giảng viên thông qua các sinh viên. Có nhiều người luôn luôn không thừa nhận tính hiệu lực và độ tin cậy của việc đánh giá giảng viên thông qua những sinh viên của chính họ. Người ta cho rằng các sinh viên không đủ khả năng để đưa ra những nhận xét có giá trị và xác đáng về nội dung của môn học. Đồng thời, những nhận xét thay đổi tuỳ thuộc vào độ tuổi của sinh viên hoặc phụ thuộc vào sự tiếp xúc và những mối quan hệ với người giảng viên được đánh giá.

Những kết quả nghiên cứu khả quan nhất về giáo dục hầu như chắc chắn có được từ những nhận xét khác nhau trong việc đánh giá giảng viên thông qua các sinh viên của họ, dựa trên mục đích cơ bản của sự đánh giá đó. Một sự đánh giá được tiến hành nhằm mục đích quản lý sẽ có nội dung không giống với đánh giá về mặt sư phạm. Có điều phải thừa nhận rằng, những ý kiến của sinh viên là rất có ích để giảng viên biết được những điểm mạnh và những điểm yếu trong giảng dạy của họ cũng như về các phương pháp và biện pháp thực hiện mà giảng viên đã áp dụng.

Bài giới thiệu dưới đây là bản tóm tắt các cuộc thảo luận ở nhóm tại Hội thảo khu vực về Dạy và Học ở đại học được tổ chức tại Eldoret, Kenya. Hãy xem xét với tư duy phê phán các kết luận của nhóm và nói lên quan điểm của bạn với đồng nghiệp cùng bộ môn.

Khi nói về vị trí và vai trò của việc đánh giá hoạt động dạy và học ở đại học, các nhóm thảo luận đã xác định một số vấn đề và những điều quan sát được. Có thể tóm tắt những điều đó như sau:



  • Dù cho có sự liên quan mật thiết đến chi phí, vẫn phải duy trì hệ thống đánh giá ngoài trường và cần mở rộng vai trò của họ trong việc đánh giá cách chấm điểm, các loại câu hỏi của bộ đề thi, chương trình và các phương tiện giảng dạy bao gồm phòng thí nghiệm và giáo trình.

  • Việc điều hành đánh giá cần được tăng cường thông qua việc thiết lập một hệ thống điều hành bên ngoài trường và uỷ ban điều hành cấp khoa.

  • Hội đồng giáo dục đại học (CHE) cần tăng cường kiểm soát chất lượng và bảo đảm chất lượng của các khoa chuyên môn thông qua kiểm tra thường xuyên.

  • Cần yêu cầu sinh viên thực hiện các đề tài nghiên cứu, xem như một phần của đồ án hoặc bài tập lớn

  • Mỗi học kỳ phải tiến hành ít nhất 2 bài trắc nghiệm thường xuyên (CAT) trong mỗi học kỳ.

  • Phải đảm bảo thi hết môn.

  • Giảng viên là những người đánh giá trong phải được huấn luyện về cách viết các câu trắc nghiệm và các khoa phải thành lập các ngân hàng đề thi.

  • Hệ thống cho điểm đã định trước (thang điểm) không thích hợp với đánh giá dựa theo mức độ thực hiện hoàn hảo. Điều này sẽ liên quan đến mức độ khó của kỳ thi.

  • Cần rà soát định kỳ chương trình đào tạo.

  • Các sinh viên và những giảng viên trong khoa cần tham gia đánh giá việc giảng dạy.

  • Việc đánh giá giảng dạy phải được tiến hành một cách dễ dàng, khoa học, liên tục và không nhất thiết phải ghi tên người đánh giá.

  • Các lớp đông sinh viên sẽ dẫn đến khối lượng giảng dạy nặng nề và việc cho điểm khó chính xác và thiếu nhất quán.

  • Sự gian lận trong thi kiểm tra của các sinh viên sẽ làm giảm độ tin cậy và hành động này phải bị trừng phạt thật nặng

  • Cần áp dụng hệ thống thi kiểm tra để cải thiện việc học tập bằng cách chỉ rõ điểm mạnh và điểm yếu của sinh viên.

  • Giữ bí mật kết quả của kỳ thi cần được xem xét lại, đồng thời chính sách từ chối không cho sinh viên biết điểm thi của mình cũng phải được kiểm tra.

Những lời khuyên


1. Hãy mở rộng vai trò của những người đánh giá ngoài trong việc đánh giá các phương tiện dạy và học, giáo trình các môn học, đề cương bài giảng các môn học.

2. Hội đồng giáo dục đại học thực hiện xuống thăm và kiểm tra, phân tích và đánh giá thực hiện công việc giảng dạy của các khoa nhằm đảm bảo chất lượng.

3. Các khoa đề nghị những người đánh giá ngoài.

4. Sử dụng nhiều công cụ đánh giá khác nhau để đánh giá sinh viên.

5. Tập huấn cho giảng viên những kỹ năng đánh giá.

6. Bổ túc cho các giảng viên về lý luận và thực tiễn dạy học.



7. Hạn chế sự gian lận trong học hành (thi kiểm tra, làm đồ án, viết tiểu luận…)

Tóm tắt và kết luận


Việc đánh giá trong trường đại học là một trong các cơ sở của việc đưa ra những quyết định. Đánh giá sinh viên giúp đo được mức độ hiểu và nắm vững các môn học giảng dạy. Sự đánh giá sinh viên cũng đóng vai trò quan trọng trong việc ra những quyết định về mặt quản lý như xét lên lớp, cấp bằng hay không cấp bằng. Sự đánh giá giảng viên bao hàm khía cạnh quản lý khi sự đánh giá đó được dùng để bổ nhiệm hoặc đề bạt. Việc đánh giá giảng viên thông qua các sinh viên của chính họ có thể xem như một dấu hiệu cảnh báo và một tín hiệu về chất lượng sư phạm của những phương pháp giảng dạy của giảng viên và mối quan hệ tương tác giữa giảng viên đó với sinh viên.





Каталог: 2009
2009 -> Công ty cổ phần Xây dựng Điện vneco3
2009 -> Ủy ban nhân dân cộng hòa xã HỘi chủ nghĩa việt nam thành phố HỒ chí minh độc lập Tự do Hạnh phúc
2009 -> BỘ NÔng nghiệp và phát triển nông thôN
2009 -> Nghị ĐỊnh số 163/2004/NĐ-cp ngàY 07/9/2004 quy đỊnh chi tiết thi hành một số ĐIỀu của pháp lệNH
2009 -> BỘ CÔng thưƠng cộng hoà XÃ HỘi chủ nghĩa việt nam
2009 -> Mẫu số: 01 (Ban hành kèm theo Thông tư liên tịch số 31 /2009/ttlt-btc –BLĐtbxh ngày 09 tháng 09 năm 2009) CỘng hòa xã HỘi chủ nghĩa việt nam
2009 -> BỘ y tế Số: 12/2006/QĐ-byt cộng hoà XÃ HỘi chủ nghĩa việt nam
2009 -> CỘng hòa xã HỘi chủ nghĩa việt nam sở TƯ pháP Độc lập Tự do Hạnh phúc
2009 -> CÔng ty cp đIỆn tử BÌnh hòa cộng hòa xã HỘi chủ nghĩa việt nam
2009 -> Ủy ban nhân dân thành phố HỒ chí minh

tải về 1.92 Mb.

Chia sẻ với bạn bè của bạn:
1   ...   24   25   26   27   28   29   30   31   32




Cơ sở dữ liệu được bảo vệ bởi bản quyền ©hocday.com 2024
được sử dụng cho việc quản lý

    Quê hương