Trần Thị Cẩm Thơ – CĐsp nghệ An BÁo cáo kết quả HỌc tập tại australia từ ngày 16/11 đến 11/12/2009

Theo Patrich Griffin: Liên hệ giữa Đánh giá với dạy và học thông qua việc sử dụng dữ liệu và đưa ra các quyết định dựa vào cơ sở. Sử dụng kết quả đánh giá để đưa ra quyết định. ĐG kết quả học tập của HS là quá trình xác định trình độ đạt tới những chỉ tiêu của mục đích DH, xác định xem khi kết thúc một giai đoạn (một bài, một chương, một học kỳ, một năm học…) của quá trình DH đã hoàn thành đến một mức độ về kiến thức, kỹ năng…

• 
  Tăng cường dạy học
  
• 
  Thiết lập và trao đổi mục tiêu
  
• 
  Giám sát sự phát triển
  
• 
  Đánh giá nhu cầu học tập
  
• 
  Trách nhiệm giải trình
  
• 
  -----
  

Đối với HS việc ĐG kích thích hoạt động học tập, cung cấp cho họ những thông tin phản hồi về quá trình học tập của bản thân mình để họ tự điều chỉnh quá trình học tập, khuyến khích họ phát triển năng lực tự ĐG. Về mặt tri thức và kỹ năng, việc ĐG chỉ cho mỗi HS thấy mình đã lĩnh hội những điều vừa được học đến mức nào, còn những lỗ hổng nào cần bổ khuyết. Đối với GV, việc ĐG học sinh cung cấp những thông tin cần thiết giúp người thầy xác định đúng điểm xuất phát hoặc điểm kế tiếp của quá trình dạy học, phân nhóm HS, chỉ đạo cá biệt và kịp thời điều chỉnh hoạt động dạy học.

Về các cách tiếp cận:

• 
  Phương pháp đánh giá và năng lực tiền ẩn
  
• 
  Sự phát triển dần về nhận thức
  
• 
  Tinh thần học tập
  
• 
  Can thiệp có định hướng đối tượng
  
• 
  Tiếp cận theo nhóm để ra quyết định và can thiệp
  

Theo Bloom có 6 mức độ nhận thức: nhận biết, thông hiểu, vận dụng, phân tích, tổng hợp, Đánh giá. Theo thang Bloom mới do học trò của Bloom đưa ra đó là: nhận biết, thông hiểu, vận dụng, phân tích, đánh giá, sáng tạo.

1. Nhận biết: Nhận biết/kiến thức được định nghĩa là việc ghi nhớ những tài liệu đã học trước đó. Điều này có thể bao gồm việc ghi nhớ những nội dung trong tài liệu, từ những dữ kiện cụ thể cho đến những lý thuyết toàn diện tuy nhiên yêu cầu của cấp độ này chỉ là nhớ được các thông tin phù hợp Mức độ nhận biết/kiến thức là mức độ nhận thức thấp nhất trong kết quả đầu ra của thang nhận thức.
2.Thông hiểu: Thông hiểu được định nghĩa là khả năng hiểu được ý nghĩa của tài liệu. Điều này có thể thể hiện thông qua việc diễn đạt các tài liệu từ hình thức này sang hình thức khác (từ từ ngữ sang số) hoặc diễn giải tài liệu đó ( bằng cách giải thích hay tóm tắt) hoặc bằng cách dự đoán các xu hướng tương lai (dự đoán hậu quả hoặc tác động). Kết quả đầu ra của học tập này ở mức độ cao hơn so với việc chỉ đơn giản ghi nhớ các tài liệu và cũng là mức độ thấp nhất cảu việc hiểu.

3.Áp dụng: Áp dụng chủ khả năng sử dụng những tài liệu đã học vào những tình huống cụ thể. Điều này có thể bao gồm việc ứng dụng những nguyên tắc, phương pháp, khái niệm, quy định hoặc lý thuyết. Kết quả đầu ra của việc học ở mức độ này đòi hỏi mức độ hiểu cao hơn so với mức 2: Thông hiểu.

4. Phân tích: Phân tích chỉ khả năng có thể phân chia tài liệu thành những phần nhỏ để có thể hiểu được cấu trúc tổ chức của tài liệu đó. Điều này bao gồm việc việc xác định các phần, phân tích mối quan hệ giữa các phần và nhận thức lại những nguyên tắc tổ chức có liên quan. Kết quả đầu ra của học tập thể hiện mức độ tư duy cao hơn thông hiêu và ứng dụng vì đòi hỏi cần hiểu được cả nội dung và cấu trúc của tài liệu.

5. Tổng hợp. Tổng hợp chỉ khả năng có thể sắp xếp các phần của tài liệu với nhau để tạo thành một chỉnh thể mới. Điều này có thể liên quan đến việc tạo ra một thông tin thống nhất (bài phát biểu, trình baỳ), một kế hoạch hoạt động (đề xuât nghiên cứu) hoặc một tập hợp các mối liên hệ trừu tượng (kế hoạch phân loại thông tin). Kết quả đầu ra của học tập trong mức độ này nhấn mạnh đến những hành vi sáng tạo, chú ý đến việc tạo ra những xu hướng hay cấu trúc mới.

6. Đánh giá: Đánh giá chỉ khả năng xác định giá trị của tài liệu (đoạn văn, tiểu thuyết, tài liệu hướng dẫn, quy trình, báo cáo nghiên cứu) phục vụ một mục đích nhất định. Những nhận xét đưa ra cần dựa trên những tiêu chí xác định Đó có thể là tiêu chí đánh giá bên trong (tổ chức) hay tiêu chí đánh giá bên ngoài ( liên quan đến mục đích) và người học có thể được cung cấp các tiêu chí đánh giá hoặc tự xác định. Kết quả đầu ra của học tập trong bậc thang này ở mức cao nhất trong thang nhận thức vì nó bao trùm toàn bộ những khả năng khác và có thể đưa ra những đánh giá có giá trị dựa trên những tiêu chí đã xác định.

Các công cụ đánh giá:

• 
  Thu thập dữ liệu từ trường học
  
• 
  Test chuẩn hóa đánh giá năng lực học sinh
  
• 
  Bảng hỏi thông tin học sinh
  
• 
  Bảng hỏi giáo viên
  
• 
  Bảng hỏi trường học
  
• 
  Bảng hỏi phụ huynh
  
• 
  Ghi video dạy học trong lớp
  

Đo lường, độ giá trị và độ tin cậy là ba vấn đề kỹ thuật quan trọng và đóng vai trò trung tâm trong đánh giá. Phép đo được xây dựng thông qua một bài kiểm tra đánh giá cần chính xác và có thể lặp lại được để hỗ trỡ các mục tiêu đánh giá đã đề ra. Cần phải đưa ra những nhận định về độ giá trị và độ tin cậy của việc đo lường thông qua nhiều nguồn bằng chứng khác nhau và việc tài liệu hóa các bằng chứng đó là hết sức quan trọng.

Có 4 cấp độ của đo lường:

- Danh nghĩa:ví dụ các biến phân chia theo nhóm như giới tính của học sinh

- Thứ tự: ví dụ các hình thức xếp hạng như thấp, trung bình, cao hay luôn luôn, thỉnh thoảng, không bao giờ.

- Khoảng: ví dụ nhiệt độ đo bằng độ C

- Tỷ lệ: ví dụ chiều cao đo bằng cm

Tất cả các hình thức trên đây đều có thể biểu thị bằng số học

Các đặc tính được đo lường trong giáo dục thường được gọi là: biến ngầm

Biến ngầm thông thường không trực tiếp nhìn thấy được mà chỉ có thể thông qua các chỉ số có thể quan sát được của những đặc tính của phép đo. Ví dụ: để có thể đưa ra một phép đo đối với kết quả học tập của học sinh, trước hết cần tìm hiểu xem học sinh đã biết và làm được những gì. Một bài kiểm tra về nội dung môn học có thể giúp đưa ra một số thông tin về kết quả học tập của học sinh. Người ta không thể nhìn thấy kết quả học tập của học sinh giống như kích thước một ngôi nhà. Chúng ta chỉ có thể đo được kết quả học tập của học sinh thông qua những biến chỉ số như những nhiệm vụ gì học sinh có thể làm được.

Độ giá trị của bài kiểm tra chỉ mức độ theo đó những kết luận dựa trên kết quả của bài kiểm tra là có nghĩa, hữu ích và phù hợp. Độ giá trị của một công cụ đánh giá chỉ việc sử dụng và diễn giải những bằng chứng đã thu thập được, ngược với phương pháp, nhiệm vụ đánh giá. Do đó độ giá trị không chỉ đơn thuần là một đặc tính của công cụ đánh giá. Một công cụ đánh giá có thể có giá trị cao cho khi sử dụng một mục đích hay sử dụng trong một bối cảnh cụ thể, tuy nhiên lại có thể không có giá trị khi sử dụng trong những điều kiện và bối cảnh khác.

Độ tin cậy là mức đô nhất quán của kết quả đạt được trong đánh giá mà không phụ thuộc vào ai tiến hành đánh giá cũng như thời gian và địa điểm đánh giá. Độ tin cậy sẽ được gia tăng nếu giảm được những sai sót trong các bằng chứng. Nhìn chung độ tin cậy được nâng lên thông qua việc chuẩn hóa các dạng bằng chứng có thể tập hợp, cách thức tập hợp và diễn giải các bằng chứng có được. Độ tin cậy là đặc tính của các bằng chứng và kết quả, chứ không phải của công cụ đánh giá. Phép đo bởi ĐTN đạt được mục tiêu đó là phép đo có giá trị. Nói cách khác, độ giá trị của ĐTN là đại lượng biểu thị mức độ đạt được mục tiêu đề ra cho phép đo nhờ ĐTN.

Để ĐTN có độ giá trị cao, cần phải xác định tỉ mỉ mục tiêu cần đo qua ĐTN và bám sát mục tiêu đó trong quá trình xây dựng NHCH trắc nghiệm. Nếu thực hiện các quá trình nói trên không đúng thì có khả năng kết quả của phép đo sẽ phản ánh một cái gì khác chứ không phải cái mà ta muốn đo bằng ĐTN.

Qua định nghĩa về độ tin cậy và độ giá trị, chúng ta có thể thấy rõ mối tương quan giữa chúng. Khi ĐTN không có độ tin cậy, tức là phép đo nhờ ĐTN rất kém chính xác, thì chúng ta không thể nói đến độ giá trị của nó. Nói cách khác, khi ĐTN không có độ tin cậy cao thì nó cũng không thể có độ giá trị. Như vậy, một ĐTN có độ tin cậy cao thì có nhất thiết sẽ có độ giá trị cao hay không? Câu trả lời là: không nhất thiết. Thật vậy, đôi khi phép đo nhờ ĐTN có thể đo chính xác, nhưng nó đo một cái gì khác chứ không phải cái nó cần đo, trong trường hợp đó thì ĐTN có độ tin cậy cao nhưng độ giá trị thấp.

GV có thể đưa về nhà chấm, sau đó scan và gửi file ảnh cho trung tâm. Lí do vì sao BKT được chụp ảnh, vì BKT cần được bảo mật. Hầu như các BKT về toán đều ra trắc nghiệm.

Trong BKT có bài được dùng máy tính, có bài không được dùng máy tính. Đáng lẽ BKT được chia thành 2 cuốn. Một số Bang tiết kiệm làm một cuốn. Đầu tiên họ cho HS làm bài có sử dụng máy tính, sau đó máy tính được đem ra và HS mới được làm bài không sử dụng máy tính.

Theo ông Giám đốc Trung tâm: có nhiều bước để tiến hành đánh giá, có nhiều cách để đảm bảo độ chính xác của BKT. Các GV chấm đã vượt qua nhiều khâu lựa chọn. Thi NAPLAN là kỳ thi quốc gia, các trường đều rất coi trọng, các thông tin BKT đưa lên phương tiện công cộng – để ĐG sự phát triển giúp HS học tốt hơn, đây không phải là BKT thi đại học. (NAPLAN làm việc cho chính phủ liên bang)

Tất cả các CH đều được thử nghiệm trước khi in, thử nghiệm ít nhất 300 HS/1 câu hỏi. Các chuyên gia hay GV là người xem xét các CH nhưng HS là quan trọng nhất. Chúng tôi thử nghiệm CH nhiều hơn chúng tôi cần. Mẫu thử nghiệm đảm bảo an toàn. Sauk hi thử nghiệm GV tiếp tục dạy cho HS. Chúng tôi có phân tích tổng quát, CH có khó không, khó đến mức độ nào, phân tích phương án nhiễu, bao nhiêu HS chọn phương án nhiễu này, bao nhiêu HS chọn phương án nhiều kia. Đảm bảo phương án đúng dễ chọn. Nếu CH mà HS thông minh trả lời sai thì CH đó có vấn đề.

Sau khi thử nghiệm ra BKT -> độ khó của CH, không có ý nghĩa khi BKT toàn CH khó, hay toàn CH dễ.

Cần CH bắc cầu vì tất cả các BKT cần so bằng, các CH cho HS 3, 5, 9 mỗi BKT có 10 CH cầu, điều đó giúp cho chúng tôi so bằng.

Với BKT tự luận có hướng dẫn chấm điểm cụ thể, không so bằng hay định cỡ .

KQ của HS được đưa lên 1 thang đo.

KQ của HS được gửi cho phụ huynh, gửi về trường học.

Những em khuyết tật có nhiều khó khăn để đạt được mức độ trung bình về khả năng đọc và viết. HS khuyết tật có thể vào học bất kỳ trường nào, các trường ko từ chối HS khuyết tật. Tiểu học 5-12; THCS (12-15); các em khuyết tật sinh ra trong gia đình bố mẹ bình thường thì khả năng bố mẹ trợ giúp tương đối cao; Các GV biết rằng các em khuyết tật khả năng kém hơn nhiều so với em bình thường nhưng không công bằng nếu ko ĐG HS khuyết tật. Có nhiều em HS sử dụng ngôn ngữ người khuyết tật như cử chỉ…có một số tỉ lệ % nhỏ em khuyết tật đạt được …… với người tiến hành khảo sát, một số tiến lương <20 000$ thì đó là dưới mức nghèo đói. Những người khiếm thính chưa thực sự bước vào đời . Nhiều GV dạy trẻ em khiếm thính chuẩn bị nghỉ hưu. Hầu hết GV dạy tiểu học, rất ít GV dạy ở bậc cao hơn. Để đảm bảo cho mọi trẻ em khiếm thình đều tiếp cận với giáo dục bình thường, yếu tố nào giúp trẻ em khiếm thính học tốt hơn. Các em HS bình thường ,

Kỳ thi VCE

Kỳ thi VCAL

1.Nhiệm vụ của TT là cung cấp kiến thức và giúp cho quá trình học tốt hơn, TT là một tổ chức tự chi trả cho nên TT ký hợp đồng với các tổ chức khác. ACER thành lập năm 1930, hiện tại có 260 nhân viên. TT thường làm việc với các cấp quốc gia, Bang, địa phương . Về gián tiếp nhân viên của TT tham gia vào một số dự án. TT có khách hàng ở viện, trường…Về kinh doanh, chương trình nghiên cứu đánh giá , lập báo cáo và một số chương trình khác..TT tiến hành ĐG với qui mô lớn, chương trình nghiên cứu về dạy học và lãnh đạo.

- Chương trình khảo sát cấp quốc gia và quốc tế như PISA. ACER vừa đóng vai trò quốc gia, vừa đóng vai trò quốc tế, kiểm tra hệ thống và trường học ở trong nội bộ nước Úc.

ĐG các môn học như toán, đọc, khảo sát các môn như GDCD…

ĐG chính sách và ĐG chương trình trong nhà trường, phỏng vấn hoặc khảo sát để lấy thông tin. Sau tốt nghiệp phổ thông và học nghề - khảo sát. Một nhiệm vụ chính nữa đó là tư vấn chuyên gia về một số lĩnh vực.

Về tư vấn và cung cấp tài liệu: TT có một nhà xuất bản, nguồn tài liệu của we có thể cung cấp trên mạng. Chủ để của sách tập trung vào giáo dục. TT có một thư viện toàn diện nhất nước Úc về giáo dục.

TT tập huấn cho các lãnh đạo, tất cả các dịch vụ ở đây đều phải trả phí. Ví dụ: Ở ÚC có nhiều trường ngoài công lập có chính sách trao học bổng cho HS học giỏi.

Dịch vụ: ĐG cấp quốc tế PISA: toán, đọc…một số nước không đủ tiền tham gia PISA có thể làm bài test và sau đó nối test.

Chương trình ĐG và lập báo cáo chính: có 65 nhân viên làm việc cho chương trình này là chương trình có cấp độ lớn. Công tác lập báo cáo là 1 phần công việc của trung tâm.

- k-12: chương trình từ mẫu giáo đến lớp 12.thiết kế chương trình tất cả các môn học. Việc tiến hành ĐG mang tính chính quy: như kĩ năng sống (đạo đức). ĐG năng lực tiềm ẩn khi các em học chương trình này như thế nào?. Ngoài ra chúng tôi ĐG chương trình học thực sự hiệu quả hay chưa, Ngoài ĐG chương trình học, we ĐG với yêu cầu của khách hàng. Ngoài ĐG kiến thức HS còn ĐG khả năng suy luận, kĩ năng thông thường như kỹ năng giao tiếp. Các công việc we tiến hành ĐG: thu thập số liệu; phân tích; đưa ra lời khuyên và tư vấn: độ phân biệt, độ giá trị, độ khó.

- Việc ĐG của chúng tôi: thiết kế ra ĐKT, có hội đồng chuyên gia thảo luận ĐKT đó, hội đồng gồm nhiều thành phần, đưa ra ý kiến thay đổi ĐKT, bảo vệ ý kiến vì sao không thay đổi. Trong quá trình thiết kế có bước thử nghiệm ĐKT, thảo luận cùng HS, lấy thông tin phản hồi từ HS đó là những thông tin quý báu để ĐG chất lượng ĐKT và có những thay đổi cần thiết. Rà soát mang tính định tính, quy trình đưa ra cho mẫu thử nghiệm dung mô hình Rasch…

- ĐG về môn toán, về môn CNTT…các em sử dụng được Exel như thế nào?

Khi phân tích số liệu, Vẽ được đường cong đặc tính bằng cách nào, để vẽ được ICC chúng ta cần năng lực và độ khó, công thức thêm vào chỉ số mới đó là ảnh hưởng của người chấm

Đó là các yếu tố phụ ảnh hưởng đến kết quả học tập của học sinh gọi là Facets, có 2 loại yếu tố phụ: các yếu tố liên quan đến đặc tính câu hỏi (như việc in đề kiểm tra và hình thức HS làm bài (HS làm bài trên mạng so với HS làm bài trên giấy, hình thức làm bài tự luận.) Đây là các yếu tố nằm ngoài HS, tức là HS không liên quan trực tiếp, một yếu tố phụ nữa liên quan trực tiếp HS như là giới tính, quốc tịch. Như vậy khi xem xét năng lực phải tính toanscac yếu tô liên quan trực tiếp đến HS như là: giới tính… Chẳng hạn khi tính năng lực HS, không tính đến các yếu tố liên quan đến đặc tính CH, hình thức làm bài. Khi chúng tôi tính toán năng lực thì tính toán xem yếu tố nào không liên quan đến HS và yếu tố nào liên quan trực tiếp.

• 
  Người chấm liên quan đến đặc tính bài kiểm tra hay liên quan đến người làm bài
  
• 
  Ví dụ liên quan đến sự khó tính hay dễ tính của người chấm.: bài luận
  

Ví dụ ở slide6- mô hình nhiều yếu tố.- GV thứ 2 dễ tính hơn, GV 1 khó tính hơn.

• 
  File số liệu: Raters1.dat
  
  • 
    04904 02452 0 0
    
  • 
    04097 16136 6 7
    
  • 
    04894 04905 9 8
    
  • 
    00719 02447 4 7
    
  • 
    04890 02481 3 3
    
  • 
    04904 02452 5 7
    

Mở conquest: chạy dữ liệu 20 GV châm 1 CH

W3…\distribution\data\rater1.dat

Rater 1-5 mã số của người chấm 1 ; rater 9-13 cột chấm điểm GV 2

Điểm GV chấm 1 nằm từ 17-18 (a2) khai báo rằng 2 cột này chỉ một điểm số

Điểm GV chấm 2 nằm từ 19-20 (a2) -----------------

conqest hiểu tương ứng người chấm mã 1-5 tương ứng điểm là điểm 17-18

cộng thêm yếu tố người chấm vào độ khó CH, do người chấm có điểm nên không cần dòng lệnh key

Ghi vào folder có dữ liệu và đặt tên VD: essay1 – run all – plot- item expected….. để xem đồ thị.

Đoạn chương trình

data Raters1.dat;

format rater 1-5 rater 9-13 responses 17-18 (a2) responses 19-20 (a2);

model rater + item + item*step;

estimate;

ý nghĩa đồ thị

đây là đồ thị điểm số mong đợi, đường …. Là đường thực tế. Ở item 2 xem 2 đồ thị

ở item 1 cùng năng lực -1 giáo viên 1 cho 4 điểm nhưng ở item 2 cùng năng lực -1 giáo viên 2 cho điểm lớn hơn 4.

Plot – item expected-

Overlay plot- hiện tất cả các đồ thị mong đợi

Show legend – hiện chú giải

Show data table- hiện bảng dữ liệu

Include raw data – hiện đường dữ liệu thô
Nếu chọn cả 2 đường cùng trên 1 đồ thị thì khó nhìn

Một cột dọc là 1 GV chấm; 20 GV chấm chia thành 10 cặp, 1 BKT có 2 GV chấm

Có 886 BKT
Phân tích mức độ dễ , khó tính của 20 GV, đường trên cùng là GV dễ tính nhất, cùng HS có năng lực -1 thì điểm cao hơn GV khác. Đây là kỳ thi tốt nghiêp 12 sự chênh lệch 1 điểm là quan trọng. Trước khi chấm GV đã được tập huấn về chấm bài. Năng lực của HS được đo dựa trên GV chấm điểm.
show !estimate=latent >> run1show;

Độ khó tính của người chấm thể hiện ở ,

GV 6 khó tính nhất estimate càng cao thì người chấm càng khó tính

theo bảng dưới người khó tính nhất là 6, GV dễ nhất là 13 (bảng thang đo năng lực, sự trải rộng về độ khó tính của người chấm. Với người chấm 13, năng lực HS trên -1 , khoảng cách lớn giữa GV khó tính nhất và GV dễ tính nhất, sự khác biệt điểm thô chỉ là 1 những sự khác biệt về…. lớn, dùng bảng báo cáo để tập huấn cho GV,

Có thể GV có tâm trạng khác nhau theo thời gian, theo plot người ở giữa có lúc khó tính, lúc dễ tính, do đó plot nằm ở giữa. Từ plot có thể thấy sự khó, dễ của GV tùy theo năng lực HS, đồ thị thay đổi Zichzac thể hiện sự thay đổi của người chấm. Ta đang xem xét GV chấm 1 câu, đối với GV không có thông tin . độ tin cậy tách biệt có thể chấp nhận ?

Đây là các con số mang tính ước lượng, sig level nói đến các con số có ý nghĩa hay không?

Chỉ số sig level : vd tung đồng xu 10 lần, cơ hội 10 lần mặt trên, 5 lần mặt dưới. hoặc 6 lần mặt trên, 4 lần mặt dưới. XS tung đồng xu xuất hiện mặt sấp, ngửa

Sig level – có ý nghĩa thống kê, nếu <0,005 thì độ tin cậy tách biệt là tin cậy, còn nếu >0,005 thì độ tin cậy của độ tin cậy tách biệt bé.
Khi lưu trữ CH thì phải liên kết độ khó CH và năng lực HS, nói một cách lý tưởng khi thiết kế NHCH thì phải đặt độ khó CH và năng lực lên một thang đo, đó là điểm mấu chốt của NHCH, tức là đặt CH lên một thang đo. Như vậy làm thế nào để đưa các CH lên cùng một thang đo , việc đó gọi là so bằng. Ví dụ: thiết kế test1 cho trường A và test2 cho trường B, điểm thô trung bình của trường A cao hơn trường B, chúng ta nói gì điều này. Liệu có thể so sánh HS 2 trường này hay ko?. HS trường A liệu có giỏi hơn HS trường B hay không? Tương tự so sánh hai lần ĐG cấp quốc gia, ví dụ so sánh năm 2008 với 2009, điểm thô của năm 2009 > điểm thô năm 2008, HS trường nào giỏi hơn.

Bảng kết quả thang đo:

Có thể đặt số 0 ở mức độ trung bình (TB) độ khó CH, cũng có thể đăt số 0 ở mức đô TB của năng lực, VD đây là KQ của HS trường A , số 0 ở mức độ TB của trường B thì sẽ ở điểm khác so với trường A.

Như vậy nên có CH chung của cả hai vài KT, dó đó nhờ vị trí CH chung trên thang đo ta có thể so sánh được mức độ TB của 2 BKT trên thang đo, hay có thể so sánh được 2 BKT tra. Ví dụ cH 24 ở BKT 1 ứng với mức năng lực 0,3. còn CH 24 ở BKT 2 ứng với mức năng lực 0,8 . từ đó có thể so sánh độ khó 2 BKT đó,

Có thể dung chung đối tượng để so sánh các BKT, chúng ta có nhiều phương pháp để thiết kế các BKT và so sánh độ khó, ví dụ so sánh ĐKT 2007 so sánh với 2000, cho HS có cùng năng lưc làm 2 ĐKT rồi so sánh độ khó. Tuy nhiên thực tế, không lấy ĐKT năm 2000 cho HS năm 2007 làm vì có thể các em đã biết.

Đưa các CH chung vào ĐKT, ví dụ 2 CH chung cho 2 ĐKt, lấy bao nhiêu CH và sắp xếp chúng như thế nào là 1 vấn đề. Giả sử công việc so bằng luôn luôn chính xác, CH này tương ứng với năng lực này thì chỉ cần 2 CH là đủ. Tuy nhiên khi chạy conquest thì luôn có sai số, 2 CH quy chiếu có thể cách xa nhau do có sai số nhất định, như vậy khi so bằng không chính xác nữa. Như vậy có thể lấy 10 CH để có mức độ ổn định nào đó, chúng ta tính toán lấy bao nhiêu CH và sắp xếp như thế nào?

Như vậy có 2 nguyên nhân để so bằng, thanh có thể di chuyển lên hay xuống, các CH costtheer thay đổi vị trí trên thang đo.

Estimate là ước lượng tức là ko chính xác tuyệt đối được. Thông thường đưa 1 BKT cho 1 nhóm HS này tỉ lệ trả lời đúng là 60% nhưng với nhóm HS khác tỉ lệ là 70%.

Đặt thứ tự CH ntn cho phù hợp, chẳng hạn với BKT 1 bộ CH B nằm cuối ĐKT, BKT 2 bộ CH B nằm đầu BKT. Giả định HS luôn luôn thấy mệt, thì ở BKT 1 bộ CH A làm tốt hơn bộ B, còn ở BKT 2 bộ B làm tốt hơn C , ở đây do ảnh hưởng của sự mệt mỏi của HS,

Giả định cho BKT 1 và BKT2, một số em làm BKT1 và một số em là BKT 2,

Giả sử CH có cùng độ khó, HS có cùng năng lực, sự sắp xếp CH B không phù hợp thì sự so sánh cũng không chính xác do yếu tố mệt mỏi. Như vậy lý tưởng nhất là ĐKT sắp xếp cân bằng vị trí của các CH. Đây là cách thiết kế ĐKt khác có 7 ĐKT, nhóm các CH với nhau, mỗi ĐKT có các nhóm CH ở trong đó.

Các kết quả thu được từ phần mềm Conquest cung cấp các thông tin để báo cáo:

Các báo cáo cung cấp các thông tin phản hồi về kết quả đánh giá

Cần có những báo cáo khác nhau cho những mục đích và đối tượng sử dụng khác nhau

Các phần mềm báo cáo có thể được sử dụng để xây dựng nhiều loại báo cáo khác nhau

• 
  Làm rõ mục đích của việc đánh giá
  
• 
  Xác định đối tượng cần đánh giá
  
• 
  Xác định các biến cần đo lường
  
• 
  Điều kiện vật chất
  
• 
  Xác định các điều kiện của đề kiểm tra
  
• 
  Xây dựng tiêu chí kỹ thuật của đề kiểm tra
  
• 
  Xây dựng đề kiểm tra và viết hướng dẫn cho điểm
  
• 
  Thẩm định câu hỏi thông qua hội đồng và chỉnh sửa
  
• 
  Chuẩn bị bài kiểm tra để thử nghiệm
  
• 
  Thử nghiệm và phân tích
  
• 
  Sửa đổi câu hỏi
  
• 
  Hoàn thành bài kiểm tra cuối cùng.
  

• 
  Đối tượng đánh giá: Hướng đến một nhóm người cụ thể hoặc một nhóm học sinh nhất định. Có những bài kiểm tra được thiết kế đặc biệt để thu thập thông tin về những học sinh yếu cũng như những bài kiểm tra dành cho top 10% học sinh giỏi nhất.
  

• 
  Bảng tiêu chí kỹ thuật thể hiện tỷ lệ phần trăm và các dạng câu hỏi được dựa trên những phần khác nhau của nọi dung môn học cũng như tỷ lệ phần trăm của câu hỏi trong mỗi mục tiêu
  
• 
  Ma trận này cũng thể hiện trọng tâm của việc đánh giá. Phần nội dung kiến thức nào của môn học được xem là quan trọng hơn? Cấp độ nhận thức nào được khóa học chú trọng?Đơn thuần là nhận biết và thông hiểu hay chú trọng đến cấp độ tư duy cao hơn là phân tích và tổng hợp?
  

• 
  Mục đích của đề kiểm tra. Cần đánh giá những nội dung gì?
  
• 
  Hình thức của hoạt động cần quan sát?
  
• 
  Dạng của nhiệm vụ sẽ sử dụng?
  
• 
  Phương pháp ghi lại các quan sát.
  
• 
  Các thức diễn đạt các dữ liệu đã ghi lại.
  
• 
  Cần báo cáo nội dung gì cho ai.
  

• 
  Xác định rõ “biến ngầm” hay “biến xây dựng”:
  
  • 
    Mục đích
    
  • 
    Đánh giá nội dung nào
    
  • 
    Đánh giá quy trình nhận thức nào
    
• 
  Xác định các tham số của đề kiểm tra :
  
  • 
    Thời gian làm bài và các điều kiện khác của đề kiểm tra
    
  • 
    Chấm điểm/dạng câu hỏi
    
  • 
    Đặc điểm của nhóm đối tượng kiểm tra và các đặc điểm khác
    

1. 
   Dùng từ để hỏi trong câu dẫn
   
2. 
   Viết những câu hỏi dạng khẳng định
   
3. 
   Diễn đạt nhiệm vụ rõ ràng
   
4. 
   Sử dụng những từ ngữ có nghĩa rõ ràng
   
5. 
   Sử dụng những câu đơn giản
   
6. 
   Đảm bảo rằng những đáp án đúng thực sự đúng
   
7. 
   Kiểm tra lỗi ngữ pháp
   
8. 
   Các phương án nhiễu cần có vẻ đúng
   
9. 
   Không sử dụng “ Không có phương án nào”
   
10. 
    Sắp xếp đề triểm tra sao cho các phương án lựa chọn ( a,b,c,d đối với câu hỏi trắc nghiệm) được sắp xếp ngẫu nhiên.
    
11. 
    Phù hợp với khả năng của đối tượng học sinh được kiểm tra.
    

• 
  Các câu hỏi cần hướng tới phạm vi năng lực của nhóm học sinh được kiểm tra.
  
• 
  Các câu hỏi cần bao phủ một phạm vi nội dung nhất định.
  
• 
  Các lựa chọn câu trả lời cần thống nhất với nhau về cấu trúc câu cũng như ngữ pháp, tranh đưa ra những gợi ý cho học sinh thông qua cấu trúc câu hay cách dùng từ.
  
• 
  Các phương án nhiễu đưa ra phải gần đúng với đáp án chính xác và cũng phải đồng đẳng với nhau.
  
• 
  Đưa ra một vấn đề duy nhất trong mỗi câu hỏi: đảm bảo rằng câu dẫn mang tính chất định hướng cho suy nghĩ của học sinh
  
• 
  Cần có một câu trả lời đúng hoặc một số các phương án lựa chọn minh họa cách tiếp cận ngày càng phức tạp hơn đối với vấn đề đưa ra trong câu hỏi.
  
• 
  Tránh lạm dụng dùng từ phủ định
  
• 
  Không sử dụng những câu hỏi “đánh lừa” học sinh
  

• 
  Không bao giờ sử dụng “Không có phương án nào ở trên” hay “tất cả các phương án trên” hoặc “Tôi không biết”.
  
• 
  Tránh những câu hỏi liên quan đến thực tế hiển nhiên
  
• 
  Đảm bảo nội dung câu hỏi phù hợp với nhóm đối tượng kiểm tra.
  
• 
  Các phương án nhiễu cần dựa trên những lỗi sai thông thường của học sinh.
  
• 
  Sử dụng số lượng các lựa chọn ở hai bên khác nhau trong câu hỏi ghép đôi để tránh việc học sinh chỉ phỏng đoán.
  
• 
  Không kiểm tra những quan điểm, ý kiến.
  
• 
  Sử dụng ngôn ngữ đơn giản.
  
• 
  Không nên bỏ trống quá nhiều thông tin trong câu hỏi điền khuyết.
  
• 
  Sự phức tạp về ngôn ngữ cần phù hợp với nội dung đang được kiểm tra.
  
• 
  Câu hỏi không được thể hiện định kiến giới, dân tộc, vùng nông thôn, địa vị kinh tế xã hội…
  
• 
  Các câu hỏi cần tập trung vào một vấn đề cụ thể.