AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · Anthropic · 2026-10-09

সাংবিধানিক শ্রেণিবিন্যাসকারী

মূল শিরোনাম: Constitutional Classifiers

বৃহৎ ভাষা মডেলকে এখনও জেলব্রেক করা সম্ভব, অর্থাৎ ব্যবহারকারীরা তাদের নিরাপত্তা সুরক্ষা এড়িয়ে ক্ষতিকর আউটপুট আদায় করেন। Anthropic-এর Safeguards Research Team Constitutional Classifiers-ভিত্তিক একটি প্রতিরক্ষা প্রস্তাব করেছে, যেগুলো ইনপুট ও আউটপুট ক্লাসিফায়ার। একটি প্রোটোটাইপ ইউনিভার্সাল জেলব্রেকের বিরুদ্ধে হাজার হাজার ঘণ্টার মানব রেড টিমিং সহ্য করেছিল, কিন্তু এতে অতিরিক্ত প্রত্যাখ্যানের হার ও কম্পিউটেশনাল ওভারহেড বেশি ছিল। একটি হালনাগাদ সংস্করণ সিন্থেটিক মূল্যায়নে একই রকম দৃঢ়তা দেখিয়েছে, যেখানে প্রত্যাখ্যানের হার মাত্র 0.38% বেড়েছে এবং অতিরিক্ত কম্পিউট মাঝারি।

মূল লেখা পড়ুন ↗

সব আইটেম →