ما يدين به التقييم لك

التقييم هو الجزء من مشروع الذكاء الاصطناعي الذي يُحسم فيه المال فعلًا، وهو دائمًا تقريبًا الجزء الذي يحصل على أقلّ تدقيق. فيعرض عليك أحدهم أربعة وتسعين بالمئة، وتُومئ الغرفة، وتبدأ عملية الشراء. ولا يسأل أحد: أربعة وتسعون بالمئة من ماذا، مقيسة على أي أمثلة، مقابل ما كان سيحقّقه إنسان يؤدّي المهمة نفسها، وهي الأسئلة الثلاثة التي تحدّد هل للرقم أي معنى.

وهذه ليست شكوى من المورّدين. فالشيء نفسه يحدث في المشاريع الداخلية التي يبنيها أشخاص دقيقون، لأن تصميم التقييم صعب فعلًا وإنتاج العرض سهل. والفرق بينهما ليس الجهد ولا الصدق؛ بل أن التقييم مبني ليستطيع الفشل والعرض مبني ليُعرض. فرقم لم يكن ليخرج سيئًا ليس قياسًا، وإدراك هذا الفرق هو معظم المهارة هنا.

الرقم يحتاج رقمًا بجانبه

أنفع عادة وحيدة في هذا المجال هي رفض قراءة رقم دقّة يأتي وحده. فأربعة وتسعون بالمئة ممتازة لبعض المهام وكارثية لغيرها، وأيّهما تعتمد كليًا على ما تحقّقه البدائل. فإن كانت المهمة تصنيف تذاكر الدعم إلى اثنتي عشرة فئة وكانت أشيع فئة تمثّل واحدًا وتسعين بالمئة منها، فنظام يخمّن تلك الفئة دائمًا يحقّق واحدًا وتسعين، ويكون النموذج قد اشترى لك ثلاث نقاط.

وتلك المقارنة تُسمّى خط أساس الفئة الأغلبية وحسابها يأخذ نحو دقيقة. ونطلبها في كل تقييم نراجعه، وفي نحو ثلث الحالات يتبيّن أن لا أحد حسبها، وفي نسبة معتبرة من تلك يتوقّف الرقم الرئيسي عن كونه مُبهرًا لحظة ظهورها. وهذا ليس محاولة تضليل عادةً. بل إن خط الأساس مُملّ في حسابه ولم يسأل عنه أحد.

وهناك خط أساس ثانٍ يستحقّ الدقيقة نفسها، وهو الذي يحسم الجدوى التجارية لا التقنية: ماذا تحقّق العملية الحالية؟ لا أفضل حالة نظرية، بل العملية الحالية الفعلية، بما فيها الثلاثاء الذي كان فيه شخصان في عطلة. فنموذج أسوأ قليلًا من إنسان دقيق وأفضل كثيرًا من الطابور الحقيقي في أسبوع سيئ استثمار جيد تمامًا، ولا ترى ذلك بلا قياس الطابور الحقيقي.

من أين جاءت أمثلة الاختبار

السؤال الثاني هو من أين جاءت مجموعة التقييم، والجواب الذي تنتظره أن أحدًا اختارها قبل أن يعرف أداء النظام. فمجموعة اختبار جُمعت بعد الواقع باختيار أمثلة من حوض ليست مجموعة اختبار — بل اختيارًا، وضغط الاختيار يسير بالضبط في الاتجاه الذي يُحسّن الرقم، سواء قصد أحد ذلك أو لا.

والصيغة العملية لهذا السؤال: هل أستطيع رؤية الأمثلة؟ لا ملخّصًا، بل الصفوف الفعلية. فقراءة ثلاثين منها تخبرك عن التقييم أكثر من أي مقياس، لأنك ترى هل تشبه العمل. وفي مراجعة واحدة وجدنا أن كل مثال في مجموعة تقييم من أربعمئة صفّ جاء من شهر واحد، وكان ذلك الشهر هو الشهر السابق لتغيير منتج غيّر المفردات التي يستخدمها العملاء.

سؤال التسرّب

وإن كان النظام قد دُرّب أو ضُبط على أي شيء، فالسؤال التالي هل كان أي مثال تقييم قد يُرى في تلك العملية. وهذه أشيع طريقة يُنتج بها فريق صادق رقمًا منفوخًا، لأن التسرّب غير مباشر عادةً.

• التذكرة نفسها تظهر مرتين بمعرّفين مختلفين.
• أو شبه مكرّر من قالب.
• أو حقل تاريخ يسمح للنموذج باستنتاج الجواب.

والفحص غير متطوّر — ابحث عن المكرّرات ثم عن أشباهها — ويُتخطّى أكثر كثيرًا مما يُؤدّى.

رقم واحد يُخفي حالات الفشل

الدقّة الإجمالية متوسط، والمتوسطات تُخفي التوزيعات في هذا المجال كما تفعل تمامًا في عمل الأداء. فنظام عند أربعة وتسعين بالمئة إجمالًا قد يكون عند تسعة وتسعين في الفئات الشائعة الثماني وأربعين في النادرة الأربع، وهل ذلك مقبول يعتمد على ما لا يعرفه أي مقياس: هل الفئات النادرة هي الرخيصة أم التي تتضمّن استردادًا أو التزامًا قانونيًا أو مسألة سلامة.

اطلب التفصيل بحسب الفئة واقرأ أسوأ صفّ أولًا. فالنادر والمكلف هو التوليفة الخطرة، لأن النُدرة تعني أن المقياس الإجمالي لن يُبلّغ عن المشكلة أبدًا والتكلفة تعني أن كل حالة تهمّ. وهذا أيضًا سبب كون مصفوفة الالتباس أقيَم من رقم دقّة: فهي تخبرك لا بكم يخطئ النظام فقط بل بأي اتجاه يخطئ، ولهذين الخطأين تكلفتان مختلفتان جدًا عادةً.

تكلفة كل نوع من الخطأ

معظم القرارات الحقيقية تدور على عدم التماثل. فإقرار معاملة احتيالية ورفض معاملة مشروعة خطآن وليسا الخطأ نفسه إطلاقًا، فنظام مضبوط لتصغير إجمالي الأخطاء سيكون مضبوطًا خطأً للعمل. والأثر النافع هنا جدول قصير يعطي تكلفة كل نوع خطأ بالوحدة التي تهمّك فعلًا — مال أو ساعات أو شكوى — وهو قرار منتج لا قرار تقني.

وبوجود ذلك الجدول يتوقّف الحدّ عن كونه تفضيلًا هندسيًا ويصبح حسابًا. ويجعل التقييم أيضًا مقروءًا لمن لا يقرأون المقاييس، وهذا يهمّ أكثر مما يبدو: فمن يتعامل مع الإيجابيات الكاذبة ليس في المراجعة التقنية عادةً، وإعطاؤه رقمًا بوحداته هو كيف يعترض قبل إطلاق النظام لا بعده.

شغّل المدخل نفسه مرتين

للأنظمة التوليدية سؤال إضافي لم يحتج التقييم الكلاسيكي لسؤاله: هل الناتج مستقرّ؟ فالمُدخل نفسه قد يُنتج أجوبة مختلفة، ما يعني أن تقييمًا بتشغيل واحد يقيس عيّنة واحدة من توزيع ويُبلّغ عنها كسلوك النظام. وتشغيل مجموعة التقييم ثلاث مرات والتبليغ عن التشتّت أصدق وأكثر إدهاشًا كثيرًا من الرقم الرئيسي، خصوصًا في الأمثلة القريبة من حدّ قرار.

وهذا يغيّر أيضًا ما تستطيع وعد فريق التشغيل به. فنظام صحيح أربعة وتسعين بالمئة من الوقت ويعطي الجواب نفسه كل مرة مختلف تشغيليًا تمامًا عن نظام صحيح أربعة وتسعين بالمئة ويغيّر رأيه أحيانًا في حالة الأمس، لأن الثاني يُنتج محادثات دعم يصعب حلّها جدًا.

من صحّح الأجوبة

في أي مهمة تكون الصحّة فيها حكمًا لا بحثًا، كان على أحدهم تحديد الجواب الصحيح، وذلك الشخص جزء من القياس. فإن وسم مهندس واحد كل الأمثلة، كان التقييم قياسًا للاتفاق مع ذلك المهندس. والعلاج المعياري أن يوسم شخصان عيّنة متقاطعة ويُبلَّغ عن نسبة اتفاقهما، لأن مهمة يتّفق فيها إنسانان دقيقان ثمانين بالمئة فقط لا يمكن تقييمها منطقيًا مقابل هدف خمسة وتسعين بالمئة.

وهذا الرقم — اتفاق الواسمين — هو السقف أيضًا. فهو يخبرك بأفضل درجة يستطيع أي نظام تحقيقها بصدق في هذه المهمة كما عُرّفت، وحين يكون منخفضًا تكون الاستجابة الصحيحة عادةً تحديد التعريف بدقة لا شراء نموذج أفضل. وقد رأينا مشروعًا يُمضي شهرين في اختيار النموذج لمهمة اختلف خبيران من خبرائه على وسومها خُمس الوقت.

حين يصحّح النموذج

استخدام نموذج لتصحيح ناتج نموذج آخر شائع الآن ونافع، لكنه يحتاج تحقّقه الخاص: على أحدهم فحص المصحّح مقابل حكم بشري على عيّنة، والتبليغ عن ذلك الاتفاق مع النتيجة. وبدونه يكون التقييم قياسًا لمدى تشابه نموذجين، وهي كمّية حقيقية وليست التي أرادها أحد.

التقييم ليس مراقبة

التقييم يخبرك بأداء النظام على مجموعة أمثلة ثابتة في لحظة ثابتة، وهذا بالضبط ما يجعله قابلًا للمقارنة وبالضبط سبب توقّفه عن كونه صحيحًا. فالمدخلات تنحرف. فيبدأ العملاء بوصف منتج جديد بمفردات لم تكن موجودة حين ثُبّتت المجموعة، ويغيّر منافس أسعاره فتتغيّر أشكال الأسئلة، ويصبح النظام الذي حقّق أربعة وتسعين في مارس يحقّق ثمانية وثمانين في سبتمبر دون أن يلمس أحد سطرًا منه.

فالتقييم يحتاج رفيقًا يعمل مستمرًا، وهو يقيس شيئًا مختلفًا: لا هل الأجوبة صحيحة، فلا أحد يعرف ذلك في الإنتاج بلا وسوم، بل هل لا تزال المدخلات تشبه المدخلات التي قُيّم النظام عليها.

• توزيع أطوال الطلبات.
• ومعدّل المدخلات التي يرفض النظام الإجابة عنها.
• ونسبة الواقع في كل فئة.

لا يحتاج أي منها جوابًا صحيحًا ليكون نافعًا، وكلها تتحرّك قبل أن تتحرّك الدقّة.

والترتيب العملي إعادة تشغيل التقييم المثبّت بجدول — ربعيًا يكفي عادةً — ومراقبة توزيع المدخلات يوميًا. فالتشغيل الربعي يخبرك هل لا يزال النظام يعمل؛ والمراقبة اليومية تخبرك متى تشغّله مبكرًا. والفرق التي تفعل الأول فقط تعرف بالانحراف بعد ربع سنة، والتي تفعل الثاني فقط لديها لوحة خطوط متحرّكة بلا شيء تُثبّتها عليه.

الأمثلة التي تخطئ فيها هي الأصل

حين ينتهي التقييم، لا يكون أقيَم ناتج هو الدرجة بل قائمة الأمثلة التي أخطأ فيها النظام، ويجب أن يقرأها شخص لا أن تُعدّ. فثلاثون دقيقة مع حالات الفشل تُنتج دائمًا تقريبًا تصنيفًا لم يكن أي مقياس سيقترحه.

• فثلثها يتبيّن أنه موسوم خطأً في المجموعة نفسها.
• وثلثها يشترك في سبب واحد يمكن التعرّف عليه.
• والباقي صعب فعلًا.

وذلك الثلث الأول يهمّ أكثر مما يبدو. فالأمثلة الموسومة خطأً تضع سقفًا صلبًا على الدرجة المقيسة لا علاقة له بالنظام، وإصلاحها أرخص تحسين متاح في معظم المشاريع — لكن يجب أن يؤدّيه من لم يرَ أي الأمثلة فشل فيها النظام، وإلا صار التصحيح شكلًا هادئًا من ضبط الاختبار على الجواب.

والثلث الأوسط هو موضع الهندسة. فسبب واحد يمكن التعرّف عليه — تواريخ بصيغة غير معتادة، أو اسم منتج يتصادم مع كلمة شائعة، أو مدخلات تأتي بحقول بترتيب مختلف — إصلاحٌ لا مشكلة بحثية، ويستحقّ عادةً نقاطًا أكثر من تغيير النموذج. وقد استبدلنا مرّتين ترقية نموذج مخطّطة بظهيرة من تطبيع المدخلات استعادت دقّة أكثر مما كانت الترقية متوقّعة له.

احفظ حالات الفشل كمجموعة ثانية

اجمع حالات الفشل الصعبة فعلًا في ملفها الصغير وشغّله مع المجموعة الرئيسية. فهو قياس متشائم بقصد ويتحرّك أسرع كثيرًا من الإجمالي، ما يجعله إشارة أفضل حين تُكرّر. وهو يُوقف أيضًا أكثر نمط مُحبط في هذا العمل، حيث يُحسّن تغييرٌ الرقم الإجمالي نصف نقطة ولا يستطيع أحد معرفة هل أُصلح ما كانوا يحاولون إصلاحه فعلًا.

ما لا تخبرك به النتيجة

كل تقرير تقييم نكتبه ينتهي بفقرة عن حدوده، وهو القسم الذي يقتبسه العملاء لنا أكثر من غيره. فدرجة على مجموعة مثبّتة لا تخبرك كيف يسلك النظام على مدخلات لا تشبه شيئًا في المجموعة، ولا كيف يفشل حين تبطؤ خدمة أعلى منه، ولا ماذا يفعل بمدخل عدائي بقصد، ولا هل سيثق به من يعملون بجانبه. وكلها أسئلة حقيقية ولا يجيب الرقم أيًّا منها.

وكتابة تلك الفقرة غير مريحة وهي أنفع شيء في المستند، لأنها تحوّل وعدًا ضمنيًا إلى نطاق معلن. فالعميل الذي قرأها لا يكتشف فجوة لاحقًا ويستنتج أنه بُوعد بأكثر مما سُلّم؛ بل يكتشف فجوة أُخبر بها ويسأل كم يكلّف إغلاقها. والفرق بين هاتين المحادثتين هو الفرق بين مشروع ثانٍ ونزاع.

وهي تُضبط التقييم نفسه أيضًا. فحين يجب أن تكتب ما لا يغطّيه القياس، تلحظ أي تلك الفجوات كان يمكن تغطيته برخص، وعمليًا يُضاف نحو نصفها للمجموعة قبل صدور التقرير. فالفقرة إذًا ليست تنصّلًا فقط؛ بل آخر وأكثر خطوة مراجعة إنتاجيةً في العملية كلها.

ما نضعه في تقرير التقييم

تقاريرنا قصيرة وتحوي الأقسام نفسها دائمًا، لأن القيمة في القابلية للمقارنة لا في النثر. المجموعة ومن أين جاءت، بتاريخ تثبيتها. والدرجات الثلاث. والتفصيل بالفئة. وجدول التكلفة. وسقف الاتفاق. والتشتّت عبر التشغيلات المتكرّرة. وفقرة في النهاية تقول ما نظنّ أن النتيجة لا تخبرك به، وهو القسم الذي غيّر قرار عميل أكثر من غيره.

• مجموعة التقييم وأصلها وتاريخ تثبيتها.
• ثلاث درجات: النظام والفئة الأغلبية والعملية الحالية.
• تفصيل بالفئة بأسوأ فئة أولًا.
• تكلفة كل نوع خطأ بوحدات العمل.
• اتفاق البشر على المهمة نفسها، كسقف.
• التشتّت عبر ثلاث تشغيلات للأنظمة التوليدية.

ولا شيء من هذا يجعل التقييم مكلفًا. فأول تقييم صادق عادةً يومان أو ثلاثة، معظمها في تجميع المجموعة والجدل المثمر عن الجواب الصحيح. وذلك الجدل هو الجزء القيّم. وقد أنهى التقييم المشروع مبكرًا أكثر من مرة، لأن تعريف الصحّة بدقة كشف أن المهمة كما وُصفت لا يمكن أداؤها، ومعرفة ذلك في الأسبوع الأول هي أرخص نتيجة ممكنة.