1۔ "کیا یہ AI ہے؟" اور "کیا یہ سچ ہے؟" الگ الگ سوال ہیں
تصویر کی تصدیق پر حالیہ کام کا بیشتر حصہ ایک سوال پر مرکوز رہا ہے: کیا یہ تصویر کسی جنریٹو ماڈل نے بنائی ہے؟ خلاصہ اس نکتے سے شروع ہوتا ہے کہ یہ اس سوال کا جواب نہیں دیتا جو عملی طور پر اہم ہے۔ یہ جان لینا کہ تصویر AI سے بنی ہے یا نہیں، یہ ثابت نہیں کرتا کہ اس میں دکھائی گئی صورتحال حقائق سے ثابت ہے۔[1]
مشکل صورتیں عام سی ہوتی ہیں۔ ایک حقیقی تصویر کو یوں دوبارہ پوسٹ کیا جاتا ہے گویا وہ کسی اور دن یا کسی اور جگہ کی ہو۔ منظر اصلی ہوتا ہے، مگر اس سے جوڑی گئی کہانی جھوٹی ہوتی ہے۔ اس کے برعکس بھی ہوتا ہے: ایڈٹ کی گئی تصویر بھی کوئی درست بات پہنچا سکتی ہے۔ ان میں سے بہت سی صورتوں میں، "اصلی" یا "تخلیق شدہ" بتانے والا ڈیٹیکٹر کوئی مدد نہیں کرتا۔
ایک دوسری مشکل بھی ہے۔ حقائق کی جانچ کے زیادہ تر نظام کو ایک تحریری دعویٰ ملتا ہے، جیسے "یہ تصویر X کو ظاہر کرتی ہے"، اور پھر وہ اسے پرکھتے ہیں۔ یہ مقالہ اس دعوے کو ہٹا دیتا ہے۔ نظام کو صرف تصویر اور اس کی تصدیق کرنے کی ایک عمومی ہدایت ملتی ہے۔ اسے خود فیصلہ کرنا ہوتا ہے کہ کس چیز کی جانچ کرنا ضروری ہے۔
2. بنیادی خیال: تحقیق کے دوران سوال پر نظرثانی
مصنفین اس کام کی تعریف یوں کرتے ہیں۔ ایک تصویر اور ایک عمومی تصدیقی ہدایت دیے جانے پر، نظام ایک فیصلہ لوٹاتا ہے، جو یا تو تائید شدہ ہوتا ہے یا رد شدہ، ساتھ شواہد پر مبنی وضاحت کے۔ چونکہ کوئی دعویٰ فراہم نہیں کیا جاتا، اس لیے نظام کو تحقیق آگے بڑھنے کے ساتھ اپنے حقائق پر مبنی سوالات کو محدود کرنا ہوتا ہے اور اسے ملنے والے بیرونی شواہد کو تصویر میں موجود مخصوص صورتحال سے ملانا ہوتا ہے۔
EviScene اسی کام کے لیے بنایا گیا ہے۔ خلاصے کے مطابق، یہ ReAct انداز کا ایک ملٹی موڈل ایجنٹ ہے جو تین کارروائیوں کے درمیان باری باری کام کرتا ہے: تصویر کا معائنہ، بیرونی معلومات کی تلاش، اور شواہد کا تجزیہ۔ ReAct ایک پہلے سے موجود فریم ورک ہے جس میں زبان کا ماڈل استدلال کے مراحل کو تلاش جیسی کارروائیوں کے ساتھ ملا کر چلاتا ہے۔[4]
یہ جائزہ طریقۂ کار کو ایک نکتے تک محدود کرتا ہے: ایجنٹ نئی دریافتوں کو استعمال کر کے اپنے سوالات دوبارہ لکھتا ہے اور تصویر کے متعلقہ حصوں کی طرف واپس جاتا ہے۔ وہ اس سوال کے ساتھ تلاش جاری نہیں رکھتا جس سے اس نے آغاز کیا تھا۔ مصنفین کا کہنا ہے کہ جب تلاش کو سہارا دینے کے لیے کوئی دعویٰ نہ ہو تو یہی آگے پیچھے کا عمل فیصلے کے معیار کا تعین کرتا ہے۔
تربیتی طریقۂ کار بھی بیان کیا گیا ہے۔ ایک مختصر پالیسی ماڈل کو پہلے ایک ٹیچر ماڈل کے تفتیشی ٹریسز پر فائن ٹیون کیا جاتا ہے، جنہیں انسانوں نے جانچا تھا۔ اس کے بعد اسے اپنی ہی تفتیشوں کے ان فیصلوں پر، جن کی تصدیق ممکن تھی، مراعات یافتہ آن-پالیسی سیلف-ڈسٹلیشن کے ذریعے تربیت دی جاتی ہے۔ "مراعات یافتہ" معلومات کن چیزوں پر مشتمل ہے، یہ خلاصے میں بیان نہیں کیا گیا۔
3. خلاصہ کیا بتاتا ہے
- بینچ مارک (EviLens): 10,174 تصدیق شدہ اور تردید شدہ تصاویر، جن کا ماہرین نے جائزہ لیا، اور جو کنٹرول شدہ تیاری اور ویب سے جمع کرنے دونوں ذرائع سے لی گئی ہیں۔ یہ حقائق کی غلطی کی بارہ اقسام کا احاطہ کرتا ہے اور فیصلے کی درستگی اور حوالہ دیے گئے ثبوت کے کافی ہونے، دونوں کی جانچ کرتا ہے۔
- ماڈل: Qwen3.5-9B بیک بون پر تربیت یافتہ ایک ایجنٹ۔
- نتائج: 1,527 تصاویر کے ٹیسٹ سیٹ پر، تربیت یافتہ ایجنٹ 79.05% متوازن درستگی اور 52.26% Strict Evidence Sufficiency Rate (SESR) حاصل کرتا ہے۔
- موازنہ: یہ اسی بنیادی ماڈل پر غیر تربیت یافتہ بیس ایجنٹ سے 6.71 اور 9.37 فیصد پوائنٹس زیادہ ہیں۔ اس کا SESR جانچے گئے ایجنٹس میں سب سے زیادہ بتایا گیا ہے۔
ایک فرق نمایاں ہے۔ شواہد کی کفایت فیصلے کی درستگی سے کہیں کم ہے، یعنی درست فیصلے کے ساتھ اکثر ایسے شواہد ہوتے ہیں جو سخت جائزے میں پورے نہ اتریں۔ خلاصے میں نہ ان دوسرے ایجنٹس کا نام بتایا گیا جن سے موازنہ کیا گیا، اور نہ یہ کہ یہ فرق کتنے بڑے تھے۔
4. ایک عملی مثال: ایک تصویر جو کمپنی کے اندر گردش کرتی ہے
ایک ایسے معاملے پر غور کریں جو ادویات سازی کے کام سے قریب ہے۔ اندرونی چیٹ میں ایک تصویر پوسٹ کی جاتی ہے جس میں فارمیسی کی شیلف پر ایک غیر مانوس پیکج دکھائی دیتا ہے، اور لوگ پوچھنے لگتے ہیں کہ کیا یہ جعلی ہے۔ نیچے دیا گیا تبادلہ صرف وضاحت کے لیے EviScene کے طریقے کو لاگو کرتا ہے؛ خلاصہ یہ نہیں بتاتا کہ آیا مقالے میں اس طرح کی تصاویر شامل تھیں۔
عملے کا رکن:براہ کرم جانچیں کہ آیا یہ تصویر حقائق پر مبنی ہے۔
ایجنٹ: (تصویر کا معائنہ کرتا ہے) مجھے پیکیج کا لیبل، شیلف پر قیمت کا ٹیگ اور اسٹور میں لگا ایک نوٹس نظر آ رہا ہے۔ میرا پہلا سوال یہ ہے کہ آیا یہ پیکیج موجودہ اصلی ڈیزائن سے مطابقت رکھتا ہے۔
ایجنٹ: (تلاش کرتا ہے) مینوفیکچرر کی ویب سائٹ پر پیکیجنگ کی تبدیلی کا نوٹس موجود ہے، اور نیا ڈیزائن تصویر سے مطابقت رکھتا ہے۔
ایجنٹ: (سوال میں ترمیم کرتا ہے) اگلا سوال: یہ تصویر کب اور کہاں لی گئی بتائی جا رہی ہے؟ میں اسٹور کے نوٹس پر لکھی تحریر کو دوبارہ دیکھتا ہوں۔
ایجنٹ: فیصلہ: تصدیق شدہ۔ سرکاری نوٹس پیکیج سے مطابقت رکھتا ہے، اس لیے جعلی ہونے کی کہانی کی تائید نہیں ہوتی۔ میں یہ تصدیق نہیں کر سکا کہ تصویر کہاں لی گئی تھی۔
اس مثال کا نکتہ یہ ہے کہ پہلا سوال (کیا یہ جعلی ہے؟) اور ترمیم شدہ سوال (یہ کب اور کہاں لی گئی تھی؟) مختلف ہیں۔ فیصلے کے ساتھ ان باتوں کو بھی واپس کرنا جن کی تصدیق نہیں ہو سکی، اسی لیے ہے کہ مقالہ شواہد کی کفایت کو درستگی سے الگ شمار کرتا ہے۔
5. کیا نیا نہیں ہے، اور حدود کہاں ہیں
کچھ حصے جانے پہچانے ہیں۔ استدلال کو تلاش کے ساتھ ملانا ReAct کے سلسلۂ کام کی پیروی ہے۔ دعووں کو بیرونی شواہد سے جانچنے کی تحقیق کی طویل تاریخ ہے۔ استاد ماڈل کے نشانات کو چھوٹے ماڈل میں منتقل کرنا ایک معیاری تکنیک ہے۔ اصل حصہ بہتر طور پر کام کی تشکیل (بغیر فراہم کردہ دعوے کے حقیقت پسندی)، بینچ مارک، اور ایسی جانچ کے طور پر دیکھا جانا چاہیے جو یہ پوچھتی ہے کہ آیا شواہد کافی ہیں، صرف یہ نہیں کہ فیصلہ درست ہے یا نہیں۔
حدود کئی ہیں۔ پہلی، EviLens کیسے بنایا گیا۔ کنٹرول شدہ تعمیر کے تحت تیار کی گئی تصاویر میں غلطیوں کی اقسام کو ترتیب دینا آسان ہوتا ہے، لیکن ہو سکتا ہے وہ اس طریقے سے مطابقت نہ رکھیں جس سے غلط معلومات حقیقی دنیا میں پھیلتی ہیں۔ خلاصہ یہ بیان نہیں کرتا کہ ماہرین کا جائزہ کتنا وسیع تھا۔
دوسری بات خود شواہد کا معیار ہے۔ ایجنٹ بازیافت (retrieval) پر انحصار کرتا ہے۔ اگر اسے ملنے والا ویب مواد پرانا، غلط یا جان بوجھ کر رکھا گیا ہو تو فیصلہ بھی اسی کے مطابق ہوگا۔ خلاصے میں یہ نہیں بتایا گیا کہ تلاش کا دائرہ یا تلاش کی تاریخ کیسے طے کی گئی۔
تیسری بات، اعداد و شمار کو کیسے پڑھا جائے۔ آٹھ میں سے تقریباً دس کے قریب متوازن درستگی کا مطلب یہ بھی ہے کہ ایجنٹ تقریباً پانچ میں سے ایک کیس میں غلط ہوتا ہے، اور شواہد کی کفایت اس سے بھی کم ہے۔ یہ ایسی سطح نہیں ہے جس پر انسانی جائزہ ترک کیا جا سکے، اور مصنفین بھی ایسا دعویٰ نہیں کرتے۔
چوتھا، تکرار پذیری۔ خلاصے میں کہا گیا ہے کہ کوڈ، ماڈلز اور ڈیٹا جاری کیے جائیں گے۔ یہ ایک بیان کردہ منصوبہ ہے؛ اس جائزے میں یہ جانچا نہیں گیا کہ اجراء ہو چکا ہے یا نہیں۔
6. یہ موضوع اب کیوں زور پکڑ رہا ہے
منتخب کرنے والی پائپ لائن نے اس مقالے کو سائز 2 کے "Agents and Autonomy" کلسٹر میں رکھا۔ دوسرا مقالہ، "Beyond the Verdict"، سرکاری submissions خرچ کیے بغیر مسابقتی پروگرامنگ کے حلوں کو پرکھنے اور ان کی تشخیص کرنے کا مطالعہ کرتا ہے، اور تیار کردہ جوابی مثالوں کو جانچے جا سکنے والے ثبوت کے طور پر برتتا ہے۔[3]
تصاویر اور پروگرام بہت مختلف مواد ہیں۔ دونوں مقالوں میں مشترک بات یہ ہے کہ وہ محض صحیح یا غلط کے فیصلے پر رکنے سے انکار کرتے ہیں۔ دونوں نظام سے ایسا ثبوت پیش کرنے کا تقاضا کرتے ہیں جسے کوئی تیسرا فریق جانچ سکے۔ جیسے جیسے ایجنٹس کو زیادہ فیصلے سونپے جاتے ہیں، سوال اس بات سے ہٹ کر کہ فیصلہ درست ہے یا نہیں، اس طرف آ جاتا ہے کہ کیا کوئی بعد میں اس کا آڈٹ کر سکتا ہے، اور دونوں مقالے اس تقاضے کو اپنی جانچ میں شامل کرتے ہیں۔
ریکارڈ کے لیے، اشارے معمولی ہیں۔ Hugging Face کے مقالے کے صفحے پر اس کام کو 44 اپ ووٹ اور 1 تبصرہ ملا ہے، اور اس کی GitHub ریپوزیٹری کے 0 اسٹار ہیں۔[2] اپ ووٹس ظاہر کرتے ہیں کہ محققین نے مقالے کو نوٹس کیا۔ وہ اس بارے میں کچھ نہیں بتاتے کہ اس کے دعوے درست ہیں یا عملی طور پر مفید ہیں۔ دو کا گروہ چھوٹا ہے، اور اسے مکمل طور پر تشکیل شدہ رجحان کہنا قبل از وقت ہوگا۔
7. یہ دواسازی اور ریگولیٹری کام سے کہاں جڑتا ہے
دوا ساز کمپنیوں کو مشکوک ماخذ کی تصاویر مسلسل موصول ہوتی رہتی ہیں: سوشل میڈیا پر مصنوعات کی تصاویر، ممکنہ طور پر جعلی پیکیجنگ، منفی واقعات کی انکوائریوں کے ساتھ منسلک تصاویر، اور پروموشنل مواد میں استعمال کے لیے تجویز کردہ تصاویر جن کے ماخذ کی جانچ ضروری ہے۔ ان میں سے کوئی بھی اس سوال سے طے نہیں ہوتی کہ تصویر بنائی گئی ہے یا نہیں۔ اہم بات یہ ہے کہ تصویر میں دکھائی گئی صورتحال حقیقی ہے یا نہیں۔
عملی طور پر سب سے متعلقہ ڈیزائن انتخاب فیصلے اور اس کے ثبوت کی کفایت کے درمیان علیحدگی ہے۔ ضابطے کے تحت کیے جانے والے فیصلوں میں، نتیجے تک پہنچنے کے طریقے کا ریکارڈ اکثر خود نتیجے جتنا ہی اہم ہوتا ہے۔ کمزور بنیاد کے ساتھ درست فیصلے کا آڈٹ میں دفاع کرنا مشکل ہوتا ہے۔ ثبوت کی کفایت کو الگ محور پر جانچنا اس بات پر سوچنے کا طریقہ دیتا ہے کہ تصدیق کے کام میں AI شامل کرتے وقت قبولیت کے معیارات کیا ہوں۔
پھر بھی، اس طرح کا ایجنٹ ابتدائی درجے کی چھانٹی (first-pass triage) اور تحقیقات کے مسودہ لاگ کی سطح پر ہی رہے گا۔ چونکہ یہ اس پر منحصر ہے کہ کسی خاص لمحے میں ریٹریول کیا واپس کرتا ہے، اس کے فیصلے اسی لمحے سے بندھے ہوتے ہیں۔ لاگ کو محفوظ رکھنا چاہیے، حتمی فیصلہ کسی انسان کے پاس رہنا چاہیے، اور وہ شخص لاگ کو پڑھنے اور جانچنے کے قابل ہونا چاہیے۔ اس مرحلے پر کسی پری پرنٹ سے جو چیز لی جا سکتی ہے وہ کارکردگی کا مخصوص عدد کم اور فیصلے اور شواہد کو الگ الگ درج کرنے کی ڈیزائن کی عادت زیادہ ہے۔