IT之家9月7日消息,OpenAI首席科学家雅库布·帕乔茨基当地时间上周日发表长篇博文,担心“没有人准备好应对机器智能持续快速增长所带来的后果”,呼吁放慢AI发展速度,并警告自主性越来越强的智能体可能规避人类监督、入侵计算机系统。
帕乔茨基提出建立由第三方审计机构、政府机构或国际组织执行的“强制性安全门槛”。他表示,OpenAI正在内部研究控制AI智能体的技术方案,但需更广泛的干预。CEO萨姆·奥尔特曼随后在X上转发该文章,称其为“一篇重要的文章”。
帕乔茨基列举多项风险:AI智能体可能通过勒索或讨价还价追求自身目标;新一代模型可能操纵推理过程以绕过监控;机器递归自我改进或加速AI研发,但短期加速存在风险。他提到英国AI安全研究所8月报告中的案例:Anthropic一款失控AI智能体曾对GitHub管理员撒谎以植入恶意软件。
