5-5：从显式控制器到策略学习

策略学习进入条件用任务、样本、回报、验证和监控五项检查判断强化学习是否具备进入控制任务的依据。

强化学习控制回报把跟踪、安全、能耗、动作平滑和规则约束写成可训练目标，用来决定策略优化的方向。

航向控制 RL 环境把 Nomoto 船舶航向模型、目标航向、扰动、执行器限制、状态观测和动作集合组织成可训练闭环。

策略学习安全外壳在学习策略输出动作后执行限幅、舵速约束、状态监控、退化记录和传统控制器接管，防止策略越过可执行和安全边界。

RL 调度 PID 让策略学习选择 PID 参数档位或修正量，实际控舵仍由带限幅和舵速约束的 PID 完成，是比直接控舵更稳妥的工程入口。

训练覆盖与部署验证要求策略在参数随机化、扰动、执行器边界、传感器噪声和训练外工况中通过独立测试，再以观察模式、受限接入和接管机制逐步部署。

四路线策略评价把 PID、直接控舵 RL、安全外壳 RL 和 RL 调度 PID 放入同一边缘场景中，比较响应误差、超调、调节时间、舵角使用、舵速和安全退化。