تحليل أسئلة الاختبار يجيب عن سؤالين لكل سؤال: هل هو بالصعوبة المناسبة، وهل يجيب عنه المتقنون أكثر من غيرهم؟ الأول يقيسه معامل الصعوبة (نسبة من أجابوا إجابة صحيحة)، والثاني يقيسه معامل التمييز (الفرق في نسبة الإجابة الصحيحة بين أعلى المتقدمين درجة وأدناهم، أو ارتباط السؤال بالدرجة الكلية). ويكمّلهما تحليل البدائل: أي خيار خاطئ يجذب المتقدمين، ومن يجذب. القاعدة العملية: سؤال تمييزه سالب يُراجع فورًا لأن مفتاحه أو صياغته غالبًا خطأ، وسؤال تمييزه ضعيف يُعدّل، ولا يُحذف سؤال بناءً على دفعة صغيرة واحدة.
متى يحتاج فريق التدريب إلى تحليل الأسئلة؟
أغلب فرق التدريب تنظر إلى نتيجة الاختبار ككل: متوسط الدرجات، ونسبة النجاح. لكن الاختبار الذي نجح فيه 95٪ قد يكون سهلًا لأن المتعلمين أتقنوا المحتوى، أو لأن نصف أسئلته تكشف إجابتها من صياغتها. والاختبار الذي رسب فيه الثلث قد يكون صعبًا بحق، أو فيه ثلاثة أسئلة مفتاحها خاطئ منذ تحديث الإجراء الأخير. الدرجة الكلية لا تفرق بين هذه الحالات، وتحليل الأسئلة يفرق.
وتزداد الحاجة في ثلاث حالات: حين يُربط اجتياز الاختبار بشهادة أو تجديد ترخيص داخلي أو قرار وظيفي، فيصبح السؤال المعيب ظلمًا لمتقدم بعينه؛ وحين يُسحب الاختبار من بنك أسئلة كبير، فيأخذ كل متقدم نسخة مختلفة ويجب أن تكون الأسئلة متكافئة فعلًا لا في تصنيفها فقط؛ وحين يكتب الأسئلة أكثر من مدرب أو قسم، فتتفاوت جودتها دون أن يلاحظ أحد. وفي الجامعات يضاف سبب رابع: الاختبار الموحد لشعب كثيرة يحتاج دليلًا على أن أسئلته لم تظلم شعبة دون أخرى.
هذه المقالة تشرح المؤشرات بصيغها، ثم تطبقها على مثال محسوب، ثم تعطيك قواعد القرار: متى تُبقي السؤال، ومتى تعدله، ومتى تحذفه. أما بناء البنك نفسه وتصنيفه فمكانه دليل بناء بنك الأسئلة.
المؤشرات الأربعة لتحليل السؤال وصيغها
التحليل الكلاسيكي للأسئلة (الذي يكفي أغلب جهات التدريب والجامعات) يقوم على أربعة مؤشرات. المؤشران الأولان لكل سؤال، والثالث لكل خيار، والرابع للاختبار كله.
| المؤشر | طريقة الحساب | المدى | السؤال الذي يجيب عنه |
|---|---|---|---|
| معامل الصعوبة (p) | عدد من أجابوا إجابة صحيحة ÷ عدد من أجابوا عن السؤال | من 0 إلى 1، وكلما ارتفع كان السؤال أسهل | هل السؤال بالمستوى الذي صنفناه به؟ |
| معامل التمييز (D) | نسبة الإجابة الصحيحة في المجموعة العليا − نسبتها في المجموعة الدنيا | من −1 إلى +1 | هل يجيب عنه المتقنون أكثر من غيرهم؟ |
| معامل الارتباط النقطي الثنائي | ارتباط درجة السؤال (0 أو 1) بالدرجة الكلية، ويفضَّل استبعاد السؤال نفسه منها | من −1 إلى +1 | السؤال نفسه، باستخدام كل المتقدمين لا الطرفين فقط |
| تحليل البدائل | نسبة من اختار كل خيار، في المجموعة العليا والدنيا | نسب لكل خيار | هل تعمل الخيارات الخاطئة كمشتتات حقيقية؟ |
| ثبات الاختبار (ألفا كرونباخ أو KR-20) | يُحسب من تباين الأسئلة وتباين الدرجة الكلية | من 0 إلى 1 عمليًا | هل تقيس الأسئلة معًا شيئًا متسقًا؟ |
كيف تُكوَّن المجموعتان العليا والدنيا؟
رتّب المتقدمين بدرجاتهم الكلية، وخذ أعلى 27٪ وأدنى 27٪. هذه النسبة تعود إلى كيلي (Kelley)، ويشرح دليل تحليل أسئلة الاختبارات المرجعية المحك (ERIC) أنها تجمع بين تعظيم الفرق بين المجموعتين وتوفير عدد كافٍ من الحالات، ويذكر أن بعض المراجع والبرامج تستخدم الربع أو الثلث. الصيغة إذن: D = (الصحيح في العليا ÷ عدد العليا) − (الصحيح في الدنيا ÷ عدد الدنيا). وميزة معامل الارتباط النقطي الثنائي أنه يستخدم كل المتقدمين بدل 54٪ منهم، ولذلك تعتمده أغلب برامج التصحيح الآلي.
كيف تقرأ القيم؟
للتمييز تصنيف شائع منسوب إلى إيبل وفريسبي (Ebel & Frisbie) ينقله الدليل نفسه: 0.40 فأعلى سؤال جيد، ومن 0.30 إلى 0.39 جيد بدرجة معقولة وقد يتحسن، ومن 0.20 إلى 0.29 هامشي يحتاج مراجعة، وأقل من 0.20 ضعيف يحتاج مراجعة جوهرية أو حذفًا. وتستخدم بعض مراكز القياس الجامعية حدودًا أخرى لمعامل الارتباط؛ فمكتب التقييم التعليمي في جامعة واشنطن يصف ما فوق 0.30 بالجيد، وما بين 0.10 و0.30 بالمقبول، وما دون 0.10 بالضعيف، وينبه إلى أن نتائج التحليل مؤقتة وتتأثر بنوع المتقدمين وعددهم. خذ هذه الحدود دليلًا للمراجعة لا حكمًا آليًا.
مثال محسوب: أربعة أسئلة من اختبار واحد
مثال افتراضي للتوضيح مصنع أدوية بنحو 950 موظفًا في ثلاث ورديات، يجري اختبارًا سنويًا في إجراءات التشغيل القياسية لموظفي الإنتاج والجودة، من 40 سؤال اختيار من متعدد بأربعة خيارات، ودرجة نجاح 80٪. في نافذة الاختبار الأولى تقدم 200 موظف. المجموعة العليا = أعلى 27٪ = 54 موظفًا، والدنيا = أدنى 54 موظفًا.
| السؤال | الصحيح من 200 | الصعوبة p | الصحيح في العليا | الصحيح في الدنيا | التمييز D |
|---|---|---|---|---|---|
| س 9: تسلسل خطوات تنظيف الخط | 104 | 0.52 | 38 من 54 = 0.70 | 18 من 54 = 0.33 | 0.37 |
| س 14: حدود الحرارة في منطقة التعبئة | 128 | 0.64 | 47 من 54 = 0.87 | 20 من 54 = 0.37 | 0.50 |
| س 22: أين تُسجل الانحرافات | 182 | 0.91 | 53 من 54 = 0.98 | 45 من 54 = 0.83 | 0.15 |
| س 31: الإجراء عند انقطاع التبريد | 70 | 0.35 | 15 من 54 = 0.28 | 21 من 54 = 0.39 | −0.11 |
الحساب لكل سؤال: الصعوبة = الصحيح ÷ 200، والتمييز = نسبة العليا − نسبة الدنيا. في السؤال 14 مثلًا: 128 ÷ 200 = 0.64، و0.87 − 0.37 = 0.50. وقراءة الأسئلة الأربعة:
- السؤال 14 نموذج للسؤال الجيد: متوسط الصعوبة، وتمييزه فوق 0.40. يبقى كما هو.
- السؤال 9 تمييزه جيد بدرجة معقولة (0.37)، لكن تحليل البدائل سيكشف فيه شيئًا آخر نعود إليه في القسم التالي.
- السؤال 22 سهل جدًا وتمييزه ضعيف. في اختبار يرتب المتقدمين هذا سؤال ضعيف، لكن في اختبار إتقان لإجراء إلزامي قد يكون مقبولًا تمامًا: المطلوب أن يعرف الجميع أين تُسجل الانحرافات، وارتفاع النسبة نتيجة مرغوبة لا عيب.
- السؤال 31 تمييزه سالب: من حصلوا على أعلى الدرجات أخطؤوا فيه أكثر ممن حصلوا على أدناها. هذا ليس سؤالًا صعبًا، بل سؤال معيب. ويصف الدليل المذكور السؤال الذي يجيب عنه الأدنى أكثر من الأعلى بأنه لا يفيد فحسب، بل يُنقص صدق الاختبار.
تحليل البدائل: الخيار الخاطئ يكشف ما لا تكشفه النسبة
معامل التمييز يقول إن في السؤال 31 مشكلة، وتحليل البدائل يقول ما هي. وزّع إجابات المجموعتين على الخيارات الأربعة:
| الخيار | كل المتقدمين (200) | المجموعة العليا (54) | المجموعة الدنيا (54) |
|---|---|---|---|
| أ (المفتاح المسجل) | 70 (35٪) | 15 | 21 |
| ب | 96 (48٪) | 33 | 17 |
| ج | 22 (11٪) | 4 | 10 |
| د | 12 (6٪) | 2 | 6 |
الخيار «ب» يجذب المجموعة العليا ضعف ما يجذب الدنيا (33 مقابل 17). حين يختار أفضل المتقدمين خيارًا خاطئًا بهذه الكثرة، فالاحتمال الأول أن المفتاح هو الخطأ لا هم. وفي المثال، تبين عند المراجعة أن إجراء انقطاع التبريد عُدّل قبل أشهر، وأن «ب» هي الخطوة الصحيحة في الإجراء الجديد، بينما بقي السؤال على النسخة القديمة. الموظفون الأكثر التزامًا بالإجراء الجديد هم من «أخطؤوا».
أما السؤال 9 فمشكلته من نوع آخر: الخيار «د» لم يختره أحد تقريبًا في المجموعتين. خيار لا يجذب أحدًا لا يعمل مشتتًا، فيتحول السؤال عمليًا إلى ثلاثة خيارات، وتزيد فرصة التخمين. العلاج استبدال هذا الخيار بخطأ شائع حقيقي يقع فيه الموظفون فعلًا، وأفضل مصدر له ملاحظات المشرفين في الميدان.
- نعمهل يجذب خيار خاطئ المجموعة العليا أكثر من الدنيا؟
- نعمراجع المفتاح والمحتوى المرجعي فورًا، وصحح درجات الدفعة إن ثبت خطأ المفتاح
- لاراجع الصياغة: غموض، أو نفي مزدوج، أو سؤال يقيس مهارة لغوية لا المعرفة المقصودة
- نعم
- لاهل السؤال سهل جدًا أو صعب جدًا بتمييز ضعيف؟
- نعمفي اختبار إتقان لنقطة حرجة: أبقِه. في اختبار ترتيب أو قبول: عدّله أو استبدله
- لاأبقِه، وافحص الخيارات التي لا يختارها أحد واستبدلها
- نعم
اختبارات الإتقان في التدريب المؤسسي: لا تطبق المعايير نفسها
أغلب مراجع تحليل الأسئلة كُتبت لاختبارات ترتب المتقدمين، كاختبارات القبول والاختبارات الجامعية الفصلية، وفيها يُراد أن تتوزع الدرجات. أما اختبار التدريب الإلزامي في الشركة فاختبار إتقان: المطلوب أن ينجح الجميع بعد التدريب، ونجاح 95٪ نتيجة جيدة. تطبيق حدود التمييز نفسها عليه سيقودك إلى حذف أسئلة مهمة لأنها «سهلة».
لهذا يقترح الدليل المذكور التفريق: إحصاءات الترتيب تناسب الاختبار القبلي قبل التدريب، وإحصاءات الاختبار المرجعي المحك تناسب الاختبار البعدي. ومن أنفع مؤشرات الاختبار المرجعي المحك مؤشر الفرق بين القبلي والبعدي: الصعوبة في الاختبار البعدي − الصعوبة في القبلي للسؤال نفسه. السؤال الذي يجيب عنه 85٪ قبل التدريب و90٪ بعده (فرق 0.05) لا يقيس أثر التدريب، بل ما يعرفه الموظفون أصلًا. والسؤال الذي يرتفع من 0.30 إلى 0.85 (فرق 0.55) يقيس ما علّمه البرنامج فعلًا.
| نوع الاختبار | الصعوبة المرغوبة | المؤشر الأهم | ما لا يُعد عيبًا |
|---|---|---|---|
| القبول والتوظيف وتحديد المستوى | متوسطة غالبًا ومتنوعة | التمييز والارتباط النقطي الثنائي | نسبة نجاح منخفضة إن كانت المقاعد محدودة |
| الاختبار الجامعي الفصلي | متنوعة تغطي مستويات المقرر | التمييز وثبات الاختبار، والمقارنة بين الشعب | أسئلة سهلة قليلة تغطي الأساسيات |
| اختبار الامتثال والتدريب الإلزامي | مرتفعة بعد التدريب | تحليل البدائل، والفرق بين القبلي والبعدي | صعوبة مرتفعة وتمييز منخفض للنقاط الحرجة |
| اختبار تجديد شهادة داخلية | مرتفعة مع أسئلة تكشف التهاون | تحليل البدائل والأسئلة الأكثر خطأ | نجاح الأغلبية |
وفي اختبارات الإتقان، أهم ما يكشفه التحليل غالبًا ليس السؤال المعيب، بل النقطة التي لم يفهمها المتعلمون: خيار خاطئ واحد يختاره ثلث الموظفين في فرع بعينه يعني أن الدرس، أو المدرب، أو الإجراء نفسه في ذلك الفرع، يحتاج مراجعة.
قواعد القرار: متى تحذف السؤال ومتى تعدله؟
التحليل لا يفيد إن لم يتحول إلى قرارات متسقة يعرفها كل كتّاب الأسئلة. اكتب هذه القواعد في سياسة البنك:
- لا قرار على عدد صغير: مع عشرات قليلة من المتقدمين تتأرجح المؤشرات كثيرًا بين دفعة وأخرى. اجمع أكثر من نافذة قبل الحذف، إلا في حالة المفتاح الخاطئ.
- التمييز السالب يُراجع قبل إعلان النتائج إن أمكن، لأن تصحيح المفتاح بعد إعلانها يعني إعادة احتساب درجات وربما تغيير قرارات نجاح.
- التعديل أولًا والحذف أخيرًا: السؤال الذي يقيس هدفًا مهمًا يُعاد صياغته أو تُستبدل بدائله، ولا يُحذف إلا إن بقي ضعيفًا بعد التعديل.
- السؤال المعدل سؤال جديد: لا تجمع إحصاءاته القديمة مع الجديدة؛ ابدأ تتبعه من الصفر.
- حدّث تصنيف الصعوبة في البنك من البيانات: «صعب» و«سهل» عند كتابة السؤال تقدير من كاتبه. بعد التحليل، أعد التصنيف بحسب الصعوبة الفعلية حتى تبقى النسخ المسحوبة من البنك متكافئة.
- دوّن القرار وسببه: من راجع، وماذا وجد، وماذا عُدّل، ومتى. هذا السجل هو ما تعرضه حين يعترض متقدم على نتيجته.
والقاعدة الخامسة هي التي تربط التحليل بعدالة الاختبار. حين يسحب نظام الاختبارات لكل متقدم نسخة مختلفة «بالمستوى نفسه من الصعوبة»، فالتكافؤ حقيقي بقدر ما يكون تصنيف الصعوبة حقيقيًا. سؤالان مصنفان «متوسط» صعوبتهما الفعلية 0.85 و0.40 يجعلان نسختين من الاختبار غير متكافئتين، وإن تطابقت مواصفاتهما على الورق.
تريد أن ترى تحليل أسئلتك أنت؟ أرسل نموذجًا من اختبار حقيقي، ونعرض تحليل كل سؤال وخياراته في العرض التوضيحي.
شاهد تحليل الأسئلةأين تجد تحليل الأسئلة في المنصة؟
في الاختبارات الإلكترونية في المنصة يُعرض بعد كل اختبار تحليل يكشف جودة الأسئلة: نسبة الإجابة الصحيحة لكل سؤال، ومعامل التمييز، والخيار الخاطئ الأكثر اختيارًا، ومتوسط الدرجات والمحاولات والوقت، ومقارنة النتائج بين المجموعات والفروع. وفي بنك الأسئلة إحصاءات لكل سؤال: عدد مرات استخدامه، ونسبة الإجابة الصحيحة عنه عبر كل الاختبارات التي ظهر فيها، وهو ما تحتاجه لتحديث تصنيف الصعوبة. وتعرض تحليلات التعلم الأسئلة الأكثر خطأ والخيار الخاطئ الذي يختاره أغلب المتعلمين على مستوى البرامج، إلى جانب الدروس التي يتوقف عندها المتعلمون، فتربط السؤال المشكل بالدرس الذي يسبقه.
وافصل بين ثلاثة مستويات عند التقييم. بالإعداد: مؤشرات الصعوبة والتمييز وتوزيع الخيارات والمقارنة بين المجموعات المذكورة أعلاه، وتقرير تحليل الأسئلة ضمن مكتبة التقارير مع التصدير إلى Excel. ومعها أدوات تنفّذ قواعد القرار السابقة في البنك نفسه: حالات للسؤال من المسودة إلى المراجعة والاعتماد والإيقاف، فلا يدخل السؤال المعدل الاختبارات قبل اعتماده؛ وأسئلة تجريبية لا تُحتسب في الدرجة، فيجمع السؤال الجديد إحصاءاته دون أن يظلم أحدًا؛ وإعادة احتساب الدرجات بعد إلغاء سؤال ثبت عيبه. بالحساب على البيانات المصدّرة: الارتباط النقطي الثنائي وثبات الاختبار إن احتجتهما بصيغهما الدقيقة؛ اسأل في العرض التوضيحي هل يتضمن التصدير إجابة كل متقدم عن كل سؤال مع درجته الكلية، لأن الحساب يحتاج ذلك. بالتطوير أو التكامل: تقرير خاص بالمؤشرات كما تريدها لجنة القياس لديك، أو قراءة البيانات عبر واجهة API إلى أداة تحليل لديكم، ويُحدد ذلك في نطاق المشروع. ولجهات القبول والتوظيف والاعتماد التي تحتاج الاختبارات أولًا، يتوفر نظام الاختبارات الإلكترونية وحده أو ضمن المنصة.
دورة مراجعة الأسئلة بعد كل نافذة اختبار
التحليل الذي يُجرى مرة في السنة لا يحسّن البنك. اجعله دورة ثابتة بعد كل نافذة اختبار مهمة، بمسؤوليات واضحة:
- خلال النافذة: مسؤول الاختبار يتابع الأسئلة ذات التمييز السالب حين تكتمل نسبة كافية من المتقدمين، قبل إعلان النتائج إن كانت تُعلن بعد الاعتماد.
- بعد الإغلاق: كاتب كل سؤال يراجع أسئلته الضعيفة مع تحليل بدائلها، ويقترح: إبقاء، أو تعديل، أو استبدال.
- لجنة البنك أو المشرف الأكاديمي: يعتمد التعديلات ويحدّث تصنيف الصعوبة، ويُبلغ صاحب المحتوى حين يكشف السؤال خللًا في الدرس أو الإجراء.
- قبل النافذة التالية: يتحقق مسؤول البنك من أن الأسئلة المعدلة دخلت البنك بإحصاءات جديدة، وأن مواصفات الاختبار ما زالت تجد ما يكفي من كل تصنيف.
وفي الجامعات، تُضاف إلى الدورة مقارنة نتائج الأسئلة نفسها بين الشعب: سؤال تمييزه جيد في كل الشعب إلا شعبة واحدة يشير غالبًا إلى اختلاف في التدريس لا في السؤال. وتجد ما يخص الاختبارات الموحدة والشعب في المنصة التعليمية للجامعات. وإن كانت جودة الأسئلة جزءًا من مشكلة نزاهة أوسع، فاقرأ ضوابط منع الغش في الاختبارات الإلكترونية، لأن تسرب الأسئلة يظهر في التحليل أيضًا: سؤال صعبٌ تقفز نسبة الإجابة الصحيحة عنه فجأة بين نافذتين دون تغيير في التدريب.
الأسئلة الشائعة
لا يوجد رقم واحد متفق عليه، لكن كلما قل العدد زاد تذبذب المؤشرات بين دفعة وأخرى. مع أعداد صغيرة استخدم التحليل لاكتشاف الأخطاء الواضحة (المفتاح الخاطئ، والخيار الذي لا يختاره أحد)، واجمع أكثر من نافذة قبل حذف سؤال أو إعادة تصنيفه.
لا. الحدود المتداولة دليل للمراجعة لا قاعدة حذف. في اختبارات الإتقان والامتثال، قد يكون السؤال السهل ضعيف التمييز ضروريًا لأنه يتحقق من نقطة حرجة يجب أن يعرفها الجميع. افحص غرض السؤال وبدائله أولًا.
صحح المفتاح، وأعد احتساب الدرجات للدفعة كلها، وراجع قرارات النجاح والشهادات التي تأثرت، ودوّن ما حدث في سجل البنك. وإن قررت إلغاء السؤال بدل تصحيحه، فالمنصة تعيد احتساب الدرجات بعد إلغائه. ولهذا يُفضَّل في الاختبارات المهمة أن تُعلن النتائج بعد الإغلاق والمراجعة لا فورًا.
يُحلل كل سؤال على من ظهر لهم فقط، ولذلك يحتاج كل سؤال وقتًا أطول ليجمع عددًا كافيًا من الإجابات. والمؤشر الأهم هنا صعوبة السؤال الفعلية مقارنة بتصنيفه، لأن تكافؤ النسخ يعتمد على صحة التصنيف.
المؤشرات هنا مصممة للأسئلة الموضوعية التي تُصحح صحيحًا أو خطأ. في الأسئلة المقالية والتطبيقية تُراجع جودة السؤال بثبات التصحيح بين المصححين ووضوح معايير التقييم، وهو موضوع مختلف.
الخلاصة: الدرجة الكلية لا تكفي للحكم على الاختبار
تحليل أسئلة الاختبار يحوّل الاختبار من رقم نهائي إلى أداة يمكن تحسينها: الصعوبة تقول هل السؤال بمستواه، والتمييز يقول هل يفرق بين المتقن وغيره، وتحليل البدائل يقول لماذا يفشل السؤال أو يفشل المتعلمون فيه. ابدأ بالأسئلة ذات التمييز السالب، وافحص مفاتيحها قبل أي شيء، وطبّق معايير الإتقان على اختبارات الامتثال لا معايير الترتيب، وحدّث تصنيف الصعوبة في البنك من البيانات.
وإن كنت تقيّم منصة اختبارات، فاطلب أن ترى هذا التحليل على أسئلة من اختباراتك أنت لا على بيانات نموذجية، وتعرّف قبل ذلك على أنواع الأسئلة في الاختبارات الإلكترونية وما يصلح منها للتحليل الآلي.