AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26

जैकोबियन लेंस का एक गणितीय सिद्धांत

मूल शीर्षक: A Mathematical Theory of the Jacobian Lens

Jacobian lens (J-lens), जो Anthropic का एक इंटरप्रेटेबिलिटी टूल है, ने भाषा मॉडलों में कार्यशील-स्मृति जैसी दिशाओं का पता लगाया, लेकिन यह स्पष्ट नहीं था कि ये फ़ीचर क्यों पहचाने जा सके। लेखक एक गणितीय सिद्धांत प्रस्तुत करते हैं जो दिखाता है कि J-lens प्राथमिकता से सुसंगत फ़ीचरों की पहचान करता है, जिनके विक्षोभ परतों में प्रवर्धित होते हैं और टोकन स्थितियों तथा संदर्भों में सुसंगत बने रहते हैं। उन्होंने इसे एक Bayes फ़िल्टर और एक हिडन मार्कोव मॉडल से टोकन की भविष्यवाणी करने वाले खिलौना ट्रांसफ़ॉर्मर पर सत्यापित किया, जहाँ फ़ीचर की सुसंगति बदलने वाले पैरामीटर बदलने पर J-lens की प्रतिक्रिया अनुमान के अनुसार बदल गई।

मूल लेख पढ़ें ↗

सभी आइटम →