Внутри Claude нашли скрытое пространство для молчаливых рассуждений
Исследователи из компании Anthropic обнаружили в больших языковых моделях семейства Claude механизм, который авторы назвали J-пространством. Оно служит рабочей зоной, где на короткое время появляются и удерживаются словесные понятия, которые модель использует во время промежуточных вычислений и «размышлений в уме». J-space не проектировалось намеренно и спонтанно возникает в процессе обучения, сообщается на сайте компании.
Подробные результаты исследования доступны в статье. Большие языковые модели генерируют ответ, предсказывая следующий наиболее вероятный фрагмент текста (токен). Опытным путем инженеры давно выяснили, что качество таких ответов значительно возрастает, если позволить нейросети сперва расписать этапы своего решения — например, используя метод Chain of Thought («цепь размышлений»). Ряд промежуточных результатов служит для нее опорой при генерации итогового ответа и делает работу более прозрачной для проверки. Однако оказалось, что далеко не вся вычислительная активность больших языковых моделей переходит в явную текстовую форму.
Исследователи компании Anthropic, создателя семейства Claude, разработали метод J-lens (Jacobian lens), который позволяет читать промежуточные представления языковых моделей. Он анализирует внутреннюю активность нейросети и в реальном времени выявляет наборы паттернов активации нейронов в промежуточных слоях трансформера, которые повышают вероятность генерации определенного слова в ближайшем будущем. Можно сказать, что метод позволяет «читать мысли» модели — слова, которые она «обдумывает», но не «произносит вслух», то есть не выводит в итоговый текст.
Изучая с помощью этого метода внутренние слои во время работы моделей семейства Claude, авторы обнаружили изолированный кластер активностей и назвали его J-пространство (J-space, от англ. Jacobian). На его долю приходится менее 10 процентов от общей активности модели. Это не доказательство сознания, но важный шаг к пониманию того, как на самом деле работают современные ИИ-системы.
