الحق في فهم الأنظمة التي تحكمك

في مكان ما من مدينتك، هناك برنامج يتخذ قرارات تمسّ حياة الناس. يقرر من يستحق مساعدة السكن. ويحدد أي الطلاب يُلحقون بأي المدارس. ويحسب هل تستحق أسرة ما دعمًا غذائيًا. ويوجّه خدمات الطوارئ. ويوزّع الموارد العامة.

لم ينتخب أحد هذا البرنامج. ولم يصوّت أحد على قواعده. وفي أغلب الحالات لا يستطيع أحد خارج فريق التطوير أن يقرأ كيف يتخذ قراراته. القواعد مخبّأة في الشيفرة، كتبها مهندسون ربما لم يلتقوا قط بالناس الذين يتأثرون بعملهم، وتتولى صيانتها شركات التزامها الأول تجاه مساهميها.

ومع ذلك فإن هذه الأنظمة تحكم. إنها، بكل معنى مهم، البيروقراطية الخفية للحياة الحديثة.

لقد بنيت أنظمة كهذه. كتبت الشيفرة التي تحوّل السياسات إلى منطق، وتحوّل الحكم البشري إلى قرارات آلية. فعلت ذلك أكثر من عقدين، في عدة بلدان، وبأحجام تتراوح بين الأعمال الصغيرة والمنصات على مستوى الدول. وانتهيت إلى قناعة: الطريقة التي نبني بها هذه الأنظمة معطوبة من أساسها. ليس لأن التقنية سيئة، بل لأنها تجعل المعرفة غير مرئية.

سأشرح ما أعنيه.

حين تقرر جهة حكومية أن الأسر التي لديها أطفال دون الخامسة لها أولوية في مساعدة السكن، فهذه قاعدة. في العالم القديم كانت القاعدة تعيش في وثيقة سياسات. يستطيع أي شخص أن يقرأها، وأن يعترض عليها، وأن يقترح تغييرها. كانت القاعدة مرئية.

في العالم الجديد تعيش القاعدة في عبارة شرطية داخل قاعدة شيفرة. قد تكون في دالة اسمها calculateEligibility، وقد تكون موزعة على ثلاث خدمات مصغّرة ونموذج تعلّم آلي. ولكي تفهم القاعدة عليك أن تقرأ الشيفرة. ولكي تغيّرها تحتاج إلى مطوّر. ولكي تتحقق من أنها تُطبَّق كما ينبغي تحتاج إلى تدقيق لا تقدر عليه معظم المؤسسات.

القاعدة لم تتغير. لكنها صارت غير مرئية للناس الذين تمسّهم. والقواعد غير المرئية خطرة، لا لأنها خبيثة، بل لأنه لا يمكن مساءلتها.

ويزداد الأمر سوءًا مع الذكاء الاصطناعي. النظام التقليدي القائم على القواعد قابل للتدقيق على الأقل من الناحية النظرية. تستطيع أن تتتبع المنطق. أما مع التعلّم الآلي فتنبثق القرارات من أنماط في بيانات التدريب لا يفهمها إنسان فهمًا كاملًا. قد يكون النموذج منحازًا. وقد يحمل افتراضات من سياق مختلف. وقد يصنع استثناءات لم يقصدها أحد. والناس الذين تطالهم هذه القرارات لا يملكون وسيلة ليفهموا السبب، فضلًا عن أن يعترضوا.

لقد أنشأنا عالمًا تزداد فيه الأنظمة التي تحكم حياة الناس غموضًا على من تحكمهم. وجعلنا هذا أمرًا عاديًا. نسميه «التحول الرقمي». ونسميه «الكفاءة». ونسميه «الابتكار». ونادرًا ما نسميه باسمه الحقيقي: نقل للسلطة من المجتمعات إلى المنصات.

أظن أن هناك طريقة مختلفة. بل عدة طرق في الواقع.

أوضحها التشريع الذي يفرض الشفافية. قانون الذكاء الاصطناعي في الاتحاد الأوروبي بداية، إذ يشترط أن تقدّم أنظمة الذكاء الاصطناعي عالية الخطورة تفسيرات لقراراتها. لكن التشريع وحده لا يحل مشكلة بنيوية. تستطيع أن تُلزم شركة بشرح خوارزميتها، لكن إن كان الشرح يحتاج إلى دكتوراه في التعلّم الآلي لفهمه، فليست هذه شفافية حقًا. الشفافية الحقيقية تعني أن يفهم المتأثرون بقرار ما القاعدة التي أنتجته، بلغة يتكلمونها، وبمستوى من التفصيل يتيح لهم أن يعترضوا عليه اعتراضًا ذا معنى.

وهناك طريق آخر يمكن أن نسميه القابلية المنظّمة للقراءة. بدل أن نكتب القواعد في شيفرة ثم نحاول شرحها بعد ذلك، نكتبها في صيغة مقروءة بطبيعتها: رسمية بما يكفي لتنفذها الآلة، وواضحة بما يكفي ليتحقق منها خبير في المجال. وهذه ليست فكرة جديدة. النظم القانونية تفعل شيئًا مشابهًا منذ قرون: القوانين تُكتب بلغة دقيقة يستطيع القضاة والمواطنون تفسيرها معًا. ولا يوجد للبرمجيات ما يماثل ذلك. ويمكن أن يوجد.

تخيّل أن كل نظام يتخذ قرارات أُلزم بنشر قواعده في صيغة منظّمة مقروءة للبشر. لا الشيفرة المصدرية، فهي شديدة التقنية. ولا ملخصًا تسويقيًا، فهو شديد الغموض. بل منطق القرار الفعلي، معبَّرًا عنه في مواصفة يستطيع خبير سياسات أو ناشط مجتمعي أو صحفي أن يقرأها ويقيّمها. حين يُعبَّر عن منطق التوزيع في بنك الطعام بقواعد مقروءة، يستطيع المجتمع أن يتأكد من أن ترتيب الأولويات عادل. وحين يعلن نظام التسجيل في مدرسة منطقه علنًا، يستطيع الأهل أن يفهموا لماذا وُضع ابنهم حيث وُضع.

البرمجيات مفتوحة المصدر تشير إلى هذا الاتجاه لكنها لا تبلغه تمامًا. الشيفرة متاحة تقنيًا، لكن القابلية للقراءة والإتاحة شيئان مختلفان. دالة بلغة Python «مقروءة» فقط لمن يقرأ Python. ما نحتاج إليه طبقة فوق الشيفرة: تمثيل للمنطق يصل إلى الناس الذين يمسّهم هذا المنطق، أيًّا كانت خلفيتهم التقنية.

وهناك أيضًا مسألة قابلية النقل. حين تكون قواعد مجتمع ما محبوسة داخل نظام مورّد، يصير المجتمع أسيرًا. وإن أراد أن يغيّر المورّد فقد المعرفة المؤسسية المشفّرة في النظام القديم. قوانين نقل البيانات تساعد في المعلومات، لكنها لا تعالج المنطق. تستطيع أن تصدّر بياناتك من منصة. لكن نادرًا ما تستطيع أن تصدّر القواعد التي تحكم كيفية استعمال تلك البيانات.

وأفكر في العمل أيضًا ضمن هذا السياق. الحديث عن الذكاء الاصطناعي والوظائف يركّز عادة على الأتمتة: أي المهام ستؤديها الآلات بدلًا من البشر؟ لكن هناك إزاحة أعمق تجري. حين تُمتصّ معرفة المجتمع في أنظمة معتمة، يفقد من كانوا يحملون تلك المعرفة دورهم. لا لأن روبوتًا أخذ وظائفهم، بل لأن خبرتهم صارت غير مرئية. النظام يعمل، ولا أحد يعرف لماذا، والبشر الذين كانوا يفهمون المجال يصيرون مشغّلين بعد أن كانوا خبراء.

الحل ليس أن نبطّئ التقنية. الحل أن نبني تقنية تُبقي المعرفة البشرية مرئية والخبرة البشرية ذات صلة. تقنية يرى فيها من يفهم حقًا كيف يعمل شيء ما فهمه منعكسًا في النظام الذي ينفذه. حيث تُشفَّر الخبرة ولا تُمحى.

أعرف الحجة المضادة. الشفافية مكلفة. والقواعد المقروءة أبطأ في التنفيذ من كتابة الشيفرة وحسب. وأن تشرح نفسك أصعب من أن تعمل في صمت. كل هذا صحيح. لكن كلفة التعتيم أعلى. كلفة التعتيم مجتمعات لا تفهم الأنظمة التي تعتمد عليها. ومواطنون لا يستطيعون الاعتراض على قرارات تُتخذ بشأنهم. ومؤسسات لا تستطيع أن تكيّف أدواتها حين يتغير الواقع، لأن المنطق محبوس داخل شيفرة مملوكة لمورّد.

كلفة التعتيم عالم تتجه فيه السلطة نحو من يقرؤون الشيفرة وتبتعد عن الجميع.

الحق في فهم الأنظمة التي تحكم حياتك ليس طلب ميزة. إنه شرط أساسي لمجتمع عادل. وينبغي للتقنية أن توسّع هذا الحق لا أن تلغيه.

Osamah Alghanmi شريك مؤسس في «المدار»، وهي استوديو برمجيات مقرّه ليوبليانا في سلوفينيا. أمضى أكثر من عقدين في بناء أنظمة المؤسسات، منها منصات على مستوى الدول في المملكة العربية السعودية، قبل أن يقرر أن أهم مشكلة في البرمجيات ليست كيف نبنيها أسرع، بل كيف نجعلها خاضعة للمساءلة.