Облачное подразделение Amazon Web Services (AWS) представило новую систему Automated Reasoning на мероприятии re:Invent 2024.
Эта система предназначена для борьбы с так называемыми «галлюцинациями» — ошибками в моделях искусственного интеллекта, когда они выдают неправильные ответы.
Automated Reasoning нацелена на снижение числа опасных ошибок, которые могут возникать из-за этих «галлюцинаций». Такие сбои могут угрожать безопасности ИИ-сервисов и привести к финансовым потерям для компаний.
AWS обозначает Automated Reasoning как «первую и единственную защиту генеративного ИИ», которая помогает избегать реальных ошибок из-за проблем с моделью.
Система работает, проверяя ответы, сгенерированные моделью, с информацией, предоставленной клиентом. Если система не может подтвердить точность ответа, он возвращается в модель для повторной проверки.
Automated Reasoning является частью набора инструментов Amazon Bedrock Guardrails. Эта новая система отслеживает процесс, по которому модель пришла к своему ответу.
Если в процессе обнаруживается ошибка, ответ сверяется с данными, предоставленными клиентом. Система также может предложить свой вариант ответа, позволяя клиенту увидеть возможные несоответствия и при необходимости настроить модель.