网通社科技快报
Promptfoo开源工具实测5步完成LLM评测与红队测试全流程
Promptfoo是由TypeScript开发的开源LLM评测与红队测试工具,以YAML声明式配置驱动,支持Prompt工程优化、模型A/B对比、回归测试及安全渗透测试,已广泛应用于工程实践并集成至CI/CD流程。其核心命令包括eval(执行评测)、view(可视化报告)、redteam(红队扫描)、validate(配置校验)与init(项目初始化),均支持--help获取详细参数。实测采用智谱GLM-5.3模型,通过设置base_url与model字段即可适配不同厂商API;典型配置文件含目标模型定义、测试用例集与评估断言三部分,执行promptfoo eval后可并发请求并验证关键词匹配、JSON Schema、正则或自定义JS规则,结果通过promptfoo view在浏览器中交互式呈现。红队测试通过redteam setup交互式向导配置目标类型、端点与策略组合(如越狱+数据泄露),生成redteam.yaml后运行promptfoo redteam run,自动构造数百种对抗输入并高亮高风险响应,支持插件扩展自定义攻击脚本。工程落地建议分两阶段推进:先掌握工具链操作,再接入真实业务接口与CI系统。当前局限包括依赖外部API、中文特殊攻击覆盖不足、报告缺乏自动归因功能,但其轻量、开源、低耦合特性使其成为中小团队构建AI质量门禁的理想起点。