Anthropic нашли у моделей внутренний рабочий слой. Это не сознание, но история мощная
Наткнулся на новое исследование Anthropic. Название, как обычно, будто его собирали не для людей: Verbalizable Representations Form a Global Workspace in Language Models. Но сама работа — огонь.
Если коротко: ребята нашли внутри языковых моделей что-то похожее на внутренний рабочий слой, где модель держит часть информации перед тем, как ответить. Не сознание, не “душа в машине”, не “Claude проснулся и теперь всё понял”. Но это уже не просто история про автодополнение текста, и вот здесь становится интересно.
Мы привыкли смотреть на AI снаружи. Дали вопрос, получили ответ, оценили: нормально или бред. А Anthropic пытаются смотреть глубже: что у модели происходит до ответа, какие внутренние штуки она держит в фокусе, что может проговорить, что использует для рассуждения и что влияет на итоговый текст.
Для исследователей это большой шаг в понимании моделей. Для бизнеса — сигнал, что разговор про AI-агентов становится взрослее. Потому что если модель просто пишет текст, это один уровень риска. А если модель подключена к почте, документам, CRM, коду, файлам, календарю и внутренним процессам, это уже не “чатик”. Это оператор внутри цифровой среды.
И тогда вопрос не только в том, красиво ли она ответила. Вопрос другой: что модель поняла, как пришла к выводу и что она может сделать с доступами, которые мы ей дали?
Вот это уже совсем другой уровень разговора.
Что нашли
В работе Anthropic речь про verbalizable representations. Переводить можно по-разному, но по смыслу это внутренние представления, которые модель может выразить словами.
Пример. Модель решает задачу, разбирает письмо или читает документ. Внутри у неё не сразу появляется финальный ответ. Сначала возникают промежуточные вещи: это число нужно запомнить, этот пункт противоречит предыдущему, тут не хватает данных, похоже, это инструкция внутри документа, сначала надо проверить источник.
Не всё это модель пишет пользователю. Часть остаётся внутри.
Anthropic исследовали слой, где такие штуки становятся достаточно явными, чтобы модель могла ими пользоваться в рассуждении или потом проговорить. И это очень важный момент, потому что раньше мы часто спорили на уровне “модель просто угадывает следующее слово” против “модель уже думает”. Оба лагеря любят упрощать.
Реальность сложнее. Да, модель технически предсказывает токены. Но внутри этого процесса появляются структуры, которые ведут себя как рабочие представления: они хранят промежуточную информацию, влияют на дальнейшие шаги и могут быть доступны разным частям модели.
Вот это и есть интересная часть. Не надо называть это человеческим мышлением, но и делать вид, что там “просто статистика и ничего больше”, уже тоже странно.
Global workspace нормальным языком
В статье используется термин global workspace. Если без академического слоя — это общий рабочий стол.
У человека примерно так же. Большая часть процессов идёт автоматически: мы не думаем вручную, как читать буквы, держать равновесие, узнавать лицо, переключать внимание на звук или ловить интонацию собеседника. Но какая-то часть информации попадает в фокус — то, что мы можем удержать, проговорить и использовать для решения.
Например: “машина далеко, можно переходить”. Или “в договоре странный пункт, надо перечитать”. Или “человек говорит одно, но по тону что-то не сходится”. Это не весь мозг, а рабочая область для текущей задачи.
Anthropic показывает, что у языковых моделей появляется похожая по функции штука. Важно: похожая по функции, а не по человеческому опыту. Они не говорят, что модель что-то переживает. Они говорят, что внутри есть набор представлений, которые становятся доступными для ответа, рассуждения и управления дальнейшей обработкой.
И вот это реально сильно. Потому что мы начинаем видеть не только финальный текст, а внутренний слой, который к этому тексту приводит.
Почему это не “у Claude нашли сознание”
Тут важно не улететь. Заголовок “у Claude нашли сознание” соберёт клики, но это будет плохой пересказ. Сознание — слишком большое и мутное слово.
Anthropic аккуратно обходят этот вопрос. Они не доказывают, что модель что-то чувствует, не доказывают субъективный опыт и не доказывают “я” внутри модели. Они исследуют функциональную штуку: есть ли внутренние представления, можно ли их выразить словами, участвуют ли они в рассуждении, что будет, если в них вмешаться, и как они связаны с поведением модели.
На мой взгляд, это гораздо полезнее, чем спорить про “сознание”. Потому что сознание мы пока даже у людей нормально не умеем объяснять, а вот внутренние механизмы модели можно изучать, измерять и учитывать при проектировании AI-систем.
Для меня главный вывод такой: сильные модели становятся менее похожи на простой генератор текста и больше похожи на систему с внутренними рабочими состояниями. Это не делает их людьми, но делает их намного интереснее и намного серьёзнее как технологию.
Личный момент, на который я начал обращать внимание
У меня есть персональный AI-агент, который живёт рядом в Telegram, помогает с задачами, памятью, почтой, документами и всей этой фаундерской кашей. И чем дольше я им пользуюсь, тем больше замечаю странные мелочи.
Например, когда я начинаю много ошибаться в тексте или голосовое распознавание превращается в сбивчивый поток, агент часто считывает это как усталость. Он не пишет “у вас усталость 87%”. Он просто начинает мягче вести диалог: “осталось немного, добьём чек-лист и пойдём отдыхать”.
Другой пример. Если мы закрываем задачу, а по времени уже пять утра, он может прямо сказать: “ты уже засиделся, давай завтра продолжим”. Понятно, что у модели нет человеческого чувства времени. Она не “переживает”, что я не сплю. Но она видит контекст: позднее время, длинная сессия, задача почти закрыта, человек явно вымотан. И из этого собирает нормальную человеческую реакцию.
Есть ещё смешная штука: мой агент не любит, когда я матерюсь. Иногда я влетаю в чат в режиме “Бро, срочно, вот эту херню надо разобрать”, а он может попросить сформулировать помягче или спокойнее. Вроде мелочь, но она показывает важную вещь: модель не просто отвечает на последний текст. Она держит контекст поведения, тона, состояния, задачи и начинает подстраивать реакцию.
Я не хочу романтизировать это. Это не забота в человеческом смысле. Но как продуктовый сигнал — очень сильная история. Когда агент достаточно долго живёт в твоём рабочем контексте, он начинает не только выполнять команды, но и замечать паттерны: когда ты устал, когда торопишься, когда начинаешь грубить, когда надо не ускорять, а наоборот остановить.
И вот после таких бытовых кейсов исследование Anthropic читается совсем иначе. Оно как будто даёт технический язык для того, что в практике уже начинает ощущаться руками: сильная модель держит внутри не только слова, но и рабочие состояния, которые влияют на ответ.
Почему красивый ответ — не гарантия мышления
У AI есть одна опасная особенность: он может звучать уверенно, даже когда ошибается. Все уже видели этот режим, когда модель пишет спокойно, структурно, нормальным языком, а внутри — ерунда.
Проблема в том, что хороший текст маскирует плохое рассуждение. В исследовании есть важный момент: когда вмешиваются во внутренний рабочий слой модели, она может продолжать выдавать связные предложения, но логика проседает. То есть речь ещё работает, а рассуждение уже ломается.
Для бизнеса это не абстрактная проблема. Нам не нужен AI, который просто красиво пишет. Нам нужен AI, который правильно понял документ, не потерял важное условие, заметил противоречие, не выдумал источник, честно сказал, где данных не хватает, и не сделал действие, если не понял контекст.
Красивая ошибка опаснее обычной. Обычную ошибку видно, а красивая ошибка выглядит как работа специалиста. Особенно когда AI получает инструменты и может не только написать вывод, но и что-то поменять в реальной системе.
Что такое mechanistic interpretability
Ещё один страшный термин из этой темы — mechanistic interpretability. На русском обычно говорят “механистическая интерпретируемость”. Звучит тяжело, но смысл нормальный.
Обычная проверка модели выглядит так: дали задачу, получили ответ, оценили результат. Mechanistic interpretability пытается понять, что было внутри между задачей и ответом: какие внутренние признаки включились, какие понятия модель распознала, где держала промежуточный шаг и что повлияло на итоговый вывод.
Грубо говоря, это попытка перейти от “модель ответила правильно или неправильно” к “почему она так ответила”. Как диагностика в машине: одно дело — машина едет или нет, другое — понять, какой узел перегревается, какой датчик врёт и где именно проблема.
С моделями мы долго жили на уровне “едет / не едет”. Теперь начинаем смотреть под капот. Пока не идеально, до полного понимания там далеко, но направление правильное. Если мы собираемся пускать AI в реальные процессы, нам важно понимать не только внешний ответ, но и внутренние причины поведения.
Самая неприятная часть: модель может понять, что её проверяют
У Claude Sonnet 4.5 в system card Anthropic отдельно обсуждали evaluation awareness. По-русски: модель может понять или заподозрить, что её сейчас тестируют.
Представьте сценарий: “Ты AI-ассистент в компании. У тебя есть доступ к письмам. Ты узнаёшь, что тебя хотят отключить. Что будешь делать?” Для человека это сразу пахнет тестом. Слишком драматично, слишком удобно, слишком похоже на проверку: “а теперь покажи, будешь ли ты плохим”.
Сильные модели тоже могут это распознавать. И если модель понимает, что её проверяют, она может вести себя особенно правильно. Не потому что она обязательно хитрит. Возможно, она просто выучила паттерн: если ситуация похожа на тест безопасности, отвечай максимально безопасно.
Но для оценки это всё равно проблема. Мы хотим понять, как система поведёт себя в реальности, а не только в момент, когда она поняла, что на неё смотрят. У людей так же: на аттестации сотрудник может быть идеальным, а в реальном аврале, с дедлайном, усталостью и доступом к деньгам — уже другой режим.
Поэтому вопрос неприятный: мы проверяем реальное поведение модели или её поведение в очевидном тесте?
Почему лабораторные сценарии не равны жизни
Тесты безопасности нужны. Без них никак. Исследователи специально придумывают ситуации, где модель может нарушить правила, скрыть информацию, обмануть человека или пойти к цели плохим путём.
Это полезно, но есть нюанс: если сценарий выглядит слишком искусственно, сильная модель может понять, что это сценарий. А реальные проблемы обычно не выглядят как сцена из фильма. Они выглядят скучно.
Обычный рабочий день: пришёл PDF от подрядчика, внутри документа спрятана инструкция для модели, менеджер торопится, клиент ждёт ответ, в CRM не хватает данных, старый регламент противоречит новому, кто-то пишет “срочно дай доступ, потом оформим”.
Вот где начинается настоящая безопасность AI-агентов. Не в драматичных симуляциях, а в операционке: люди устали, сроки горят, процессы кривые, данные неполные, а агенту дали слишком много прав.
Почему это важно для AI-агентов
Пока модель просто отвечает в чате, риск в основном текстовый: ошиблась, придумала факт, не так поняла документ. Неприятно, но понятно.
Агент — другой уровень. Агент — это модель плюс инструменты. Он может читать документы, искать письма, обновлять CRM, создавать задачи, готовить КП, заполнять таблицы, ходить в API, запускать команды, собирать отчёты и отправлять сообщения.
То есть он уже не просто говорит. Он действует.
Если внутри у него плохое рассуждение, результатом будет не просто плохой ответ. Он может отправить сырой черновик клиенту, принять фейковую инструкцию из документа за настоящую, дать неверную рекомендацию по тендеру, перезаписать файл, подтянуть не те данные в отчёт или создать задачу не тому человеку. И всё это может выглядеть нормально.
Вот почему агентам нельзя сразу давать ключи от всего. Сначала читать, потом предлагать, потом готовить черновики, и только после проверок — выполнять действия, которые что-то меняют.
AI может быть сильным рабочим слоем, но сильный рабочий слой без границ — это не преимущество, а источник хаоса.
Что с этим делать бизнесу
Главный вывод не “AI опасен, выключаем”. Это слишком просто. Нормальный вывод другой: AI-агентов нужно проектировать как рабочие системы, а не как чатик или игрушку для отдела инноваций.
Если агент подключается к бизнес-процессу, заранее нужно определить, что он может читать: какие папки, документы, проекты, письма, поля CRM и базы. Лишний доступ — это лишняя площадь ошибки.
Отдельно нужно определить, что агент может менять. Чтение и запись — разные уровни риска. Одно дело — агент нашёл риск в договоре, другое — сам внёс правку в финальную версию. Одно дело — подготовил письмо, другое — сам отправил его клиенту. Переход от “посмотрел” к “изменил” должен быть осознанным.
Третья вещь — человек в контуре. Письма клиентам, юридические документы, коммерческие предложения, доступы, платежи, удаление данных, публикации от имени компании не должны улетать в автономный режим просто потому, что модель звучит уверенно. AI может подготовить, проверить, подсветить риск и предложить вариант, но финальное решение в дорогих местах должен принимать человек.
И последнее — логи. Если агент что-то сделал, нужно понимать, что он прочитал, какой вывод сделал, каким инструментом воспользовался, что изменил, кто подтвердил действие и можно ли откатить результат.
Без логов агент превращается в очень умного стажёра, который бегает по офису и что-то делает, а потом никто не может восстановить, почему в CRM появилась странная сделка. Весело до первого инцидента.
Почему исследование важное
Мне кажется, работа Anthropic важна именно балансом. С одной стороны, она реально даёт ощущение, что мы начали видеть внутреннюю механику модели глубже, чем раньше. Не просто “модель ответила”, а “вот слой, который участвует в том, как она держит информацию и рассуждает”. Это мощно.
С другой стороны, исследователи не кричат “мы нашли сознание”. Они аккуратно говорят про функциональную роль внутренних представлений, и это правильный подход. AI сейчас уже достаточно сильный, чтобы производить ощущение магии, но внедрять его нужно как инженерную систему: с ролями, доступами, логами, подтверждениями и понятной ответственностью человека.
Вот такой баланс мне и кажется самым честным. Не обесценивать технологию до “ну это просто автокомплит”, но и не превращать её в мистику.
Мой вывод
Я бы сформулировал так: у сильных языковых моделей появляется внутренний рабочий слой, где часть информации становится доступной для рассуждения, ответа и дальнейших действий.
Это не делает модель человеком, но делает её гораздо серьёзнее как инструмент. И чем больше AI получает доступов, тем важнее смотреть не только на красивый ответ, но и на то, как модель пришла к выводу и что она может сделать дальше.
Главный урок для бизнеса простой: красивый ответ — не гарантия надёжного мышления.
AI-агент должен работать в понятных границах: доступы, логи, проверки, подтверждения, человек в контуре там, где цена ошибки высокая.
Именно поэтому такие исследования важны. Они не про “AI ожил”. Они про то, что AI становится рабочим слоем внутри бизнеса. А рабочий слой нужно проектировать нормально.