缅甸赌场线上百家乐游戏网址 xs10159.com
缅甸赌场腾龙娱乐游戏网址【xs10159.com】 缅甸赌场线上百家乐游戏网址 xs10159.com def combined_advantage(response_tokens, step_boundaries, prm_scores, teacher_lp, rollout_lp): adv = torch.zeros(len(response_tokens)) for step_idx, (start, end) in enumerate(step_boundaries): # PRM 评估这一步是否正确 prm_score = prm_scores# e.g., +1 / -1 if prm_score > 0: # PRM: 这步是对的 → 用 OPD 精细化内部 token adv = teacher_lp - rollout_lp else: # PRM: 这步是错的 → 均匀惩罚(不用被污染的 teacher LP) adv = -1.0 # ← 关键：从这步开始后面的 OPD 信号都丢弃(级联阻断) break# 后续步骤 advantage = 0(不学习级联后的 token)
页:
[1]