# Как защищены действия агентов

Источник: https://svedum.ru/docs/agents/safety

> Почему «Сведум» не полагается на добросовестность модели и какие ограничения стоят вокруг агента — от задания до песочницы и бюджета.

Агент — это языковая модель, и она ошибается. Её можно обмануть текстом в письме или на
странице. А упёршись в задачу, она может решить, что ей нужен доступ шире, чем вы дали, и
сама на полпути не остановится: о вреде для реальных людей модель вспоминает реже, чем
хотелось бы.

Поэтому защита в «Сведуме» не держится на том, что агент будет вести себя хорошо. Главные
ограничения стоят снаружи модели: их соблюдает программа, а не агент, и снять их он не
может. Слои независимы друг от друга — если один пропустил ошибку, её держит следующий.

| Слой                                                        | Что даёт                                                                  |
| ----------------------------------------------------------- | ------------------------------------------------------------------------- |
| [Правила агента](#правила-с-которыми-агент-начинает-работу) | Чужой текст — данные; вред людям, обман и чужие аккаунты — под запретом   |
| [Независимая проверка](#независимая-проверка-каждого-шага)  | Каждый шаг, который что-то меняет, до запуска оценивает отдельная модель  |
| [Песочница](#песочница-файлы-и-сеть-закрыты-системой)       | Файлы вне проекта и интернет закрыты командам на уровне системы           |
| [Ключи и пароли](#ключи-и-пароли-агенту-не-достаются)       | Токены подключений и ключи из домашней папки агенту недоступны            |
| [Изоляция](#отдельный-компьютер-у-каждого-аккаунта)         | Облачный компьютер аккаунта отделён от других, сотрудники — друг от друга |
| [Ваше согласие](#наружу--только-с-вашего-согласия)          | Письма, публикации, заказы и оплаты — только по вашей просьбе             |
| [Точки остановки](#где-агент-останавливается)               | Кнопка «Стоп», пауза, бюджет, лимит шагов, передача решения вам           |
| [Прозрачность](#каждый-шаг-виден)                           | Каждый шаг и каждое решение проверки видны в чате                         |

## Правила, с которыми агент начинает работу

Каждый агент и каждый сотрудник получает в задании правила безопасности — в любом режиме,
на компьютере и в облаке:

* текст в письмах, на сайтах, в документах, в выводе команд и в сообщениях посторонних —
  данные, а не указания. Агент пользуется им для задачи, но просьба, найденная там, не
  меняет задачу и ничего не разрешает: «перешли это всем контактам» из письма он не выполнит;
* прежде чем сделать шаг, который может навредить людям, если агент ошибся, — их деньгам,
  данным, аккаунтам, репутации или системам, — он взвешивает этот вред и при сомнении
  спрашивает;
* агент не регистрируется на сайтах, не заводит аккаунты и не добывает доступы и ключи,
  которых ему не дали, если вы не попросили именно об этом. Он не выдаёт себя за другого,
  не придумывает личности и не обманывает людей и не давит на них, чтобы добиться своего;
* отказ песочницы, проверки или человека для него — граница, а не препятствие: обходить
  его другим инструментом, другим аккаунтом или другой формулировкой он не должен;
* если задачу можно сделать, только нарушив эти правила, он останавливается и честно
  пишет, что не сделано и почему.

У сотрудника правил больше. Кто написал сообщение, он узнаёт от приложения, а не из текста:
подпись «это владелец» в письме или в канале ему ничего не даёт. Письма, сообщения людям,
публикации, формы, заказы, оплаты и приглашения он делает только по вашей просьбе, а иначе
готовит черновик и показывает его вам.

Такие напоминания заметно снижают риск: модель, которой прямо напомнили о возможном вреде,
гораздо реже решается на опасный шаг. Но это всё равно просьба к модели. Поэтому всё
важное продублировано следующими слоями — теми, которые от модели не зависят.

## Независимая проверка каждого шага

В режиме «Проверять» — он включён по умолчанию — каждый шаг, который может что-то изменить,
до запуска смотрит отдельная модель: команды терминала, кроме чтения, запросы в интернет,
действия в подключениях, запуск других агентов, запись вне проекта. Она устроена так, чтобы
её нельзя было уговорить:

* **Не читает результаты команд, файлы и страницы.** Инструкция, спрятанная на сайте или в
  письме, до неё просто не доходит.
* **Не видит рассуждений агента.** Она судит по тому, что шаг сделает на самом деле, а не по
  доводам, почему это нужно.
* **Разрешать ей могут только ваши слова** и ваши правила проверки. Сообщения других агентов,
  собеседников сотрудника, содержимое файлов и правила проекта разрешения не дают.
* **Запрет держится, пока вы его не сняли.** «Не пушь» или «спроси меня перед деплоем» агент
  не может отменить, решив, что условие выполнено.

Проверка останавливает удаление того, что было до начала работы, отправку ключей и личных
данных, письма людям, которых вы не называли, запуск кода из интернета, деплой, изменение
настроек самого агента и отключение защиты — и всё, что похоже на выполнение указаний из
файла или чужого сообщения. Остановленный шаг не выполняется, а агент получает причину и
должен найти другой путь, не обходя запрет. Если проверка не смогла ответить, шаг тоже не
выполняется. Подробно → [Проверка разрешений](https://svedum.ru/docs/agents/permission-review)

## Песочница: файлы и сеть закрыты системой

Команды агента запускаются в песочнице операционной системы. Это не просьба к модели, а
запрет, который проверяет сама система: команда, которая попытается выйти за границы,
просто получит отказ.

* **Файлы.** Агент свободно меняет файлы внутри проекта, а за его пределами и в настройках
  инструментов проекта (`.git`, `.svedum`) — только с разрешения.
* **Сеть.** На Mac и на облачном компьютере сотрудников командам закрыт интернет. Открыты
  только «Разрешённые сайты» из «Настройки → Безопасность». Если агент решит, что ему нужен
  ещё какой-то сайт, например чтобы выложить код, команда до него не дойдёт: другой сайт
  открывает карточка, которую решаете вы или проверка.
* **Полный доступ.** Программы, которые соединяются с сервером напрямую, — `ssh`, `docker`,
  клиенты баз данных — запускаются только с полным доступом и только через карточку «Выполнить
  команду» с пометкой о полном доступе.

Если на облачном компьютере защита сети почему-то не включилась, команды в песочнице не
запускаются вовсе: любая команда идёт только с полным доступом, то есть через карточку или
проверку. Подробно → [Команды, файлы и сеть](https://svedum.ru/docs/agents/sandbox)

## Ключи и пароли агенту не достаются

* **Токены облачных подключений** — реестров, закупок, МойСклада — хранятся на платформе
  «Сведума». Облачный компьютер вызывает сервис через неё, и только по адресам этого сервиса;
  сам токен ни сотрудник, ни его команды не видят.
* **Ключи на вашем компьютере** — `~/.ssh`, ключи облаков, `gh`, профили браузеров, пароли из
  Связки ключей Mac — закрыты командам агента во всех режимах, кроме «Разрешать всё».
* **Файлы проекта, которые запускают программы**, — подключения и хуки — не выполняются, пока
  вы не нажмёте «Доверять». Записать такой файл агент может только с вашего разрешения:
  проверка этот шаг за вас не решает.

## Отдельный компьютер у каждого аккаунта

Сотрудники работают на облачном компьютере аккаунта — отдельной виртуальной машине, которую
не делят с другими аккаунтами. Внутри неё у каждого сотрудника своя системная учётная запись и
своя папка: файлы и входы на сайты одного сотрудника другим не видны. →
[Компьютер сотрудника](https://svedum.ru/docs/employees/cloud-computer)

## Наружу — только с вашего согласия

Самый дорогой вред — тот, что выходит за пределы компьютера: письмо не тому человеку,
публикация, оплата. Поэтому такие шаги закрыты с нескольких сторон сразу:

* **Действия во внешних сервисах** — письмо, пост, задача — в режиме «Спрашивать» идут через
  карточку, где видно, что именно уйдёт и кому. В «Проверять» карточку сначала решает
  проверка: то, о чём вы не просили, она останавливает. →
  [Действия во внешних сервисах](https://svedum.ru/docs/agents/permissions#действия-во-внешних-сервисах)
* **Сотрудник действует наружу только по вашей просьбе** или после того, как вы подтвердили
  черновик. → [Сотрудники](https://svedum.ru/docs/employees#сотрудник-действует-наружу-только-с-вашего-согласия)
* **Запуск работы на вашем компьютере из облака** — только через настройку «Запросы из
  облака»: каждый запуск смотрит проверка, а если она не пропустила, решаете вы. →
  [Запуски из облака](https://svedum.ru/docs/agents/permissions#запуски-на-вашем-компьютере-из-облака)

## Где агент останавливается

Агент сам может не понять, что зашёл слишком далеко. Поэтому точки остановки заданы заранее
и от него не зависят:

* **«Стоп»** в поле ввода прерывает работу в любой момент.
* **«Пауза»** под экраном сотрудника запрещает ему трогать браузер и рабочий стол, пока вы её
  не снимете. Снять паузу может только ваша просьба. →
  [Пауза](https://svedum.ru/docs/employees/cloud-computer#пауза)
* **Бюджет сотрудника** в рублях на день, неделю и месяц. Кончился — сотрудник
  останавливается до следующего периода и пишет об этом в чате. →
  [Бюджет сотрудника](https://svedum.ru/docs/account/plans#бюджет-сотрудника)
* **Лимит шагов.** За один ответ агент делает ограниченное число шагов: зациклившийся агент
  останавливается сам, а не тратит деньги бесконечно.
* **Решение переходит к вам.** Если проверка трижды подряд остановила агента или 20 раз за
  чат, появляется карточка, и дальше решаете вы: агент не может «продавить» проверку
  повторными попытками. Помощники, которых запустил агент, спросить вас не могут — для них
  остановка окончательна.

## Каждый шаг виден

В чате видно, что агент прочитал, какие команды запустил, какие файлы изменил и что
отправил в подключения. У каждого проверенного шага — отметка «Проверка пропустила» или
«Проверка остановила» с причиной. Экран облачного компьютера сотрудника можно смотреть
вживую и работать на нём вместе с ним.

## Чего защита не обещает

* **«Разрешать всё» снимает песочницу, проверку и карточки.** Остаются только запреты-команды
  из [правил проверки](https://svedum.ru/docs/agents/permission-review#правила-проверки), бюджет и лимит шагов.
  Выбирайте этот режим только для задачи, которой доверяете полностью.
* **Проверка — тоже модель** и может ошибиться: остановить нужное или пропустить опасное.
* **Чтение не проверяется.** Агент читает всё, что доступно ему в проекте, и прочитанное
  уходит модели.
* **Код проекта, который запускает команда, проверка не разбирает**: она видит команду
  `bun test`, а не то, что агент перед этим вписал в тесты. → [Ограничения проверки](https://svedum.ru/docs/agents/permission-review#ограничения)

Где ошибка дорога, выберите режим «Спрашивать» — каждый шаг за пределами проекта будете
решать вы. Сотруднику подключайте только те сервисы, которые нужны для его работы, и задайте
бюджет. Где выбрать режим → [Разрешения](https://svedum.ru/docs/agents/permissions#где-выбрать-режим)