缅甸赌场腾龙娱乐游戏网址 xs10159.com

zxasd1010

缅甸赌场腾龙娱乐游戏网址【xs10159.com】 缅甸赌场线上百家乐游戏网址 xs10159.com def combined_advantage(response_tokens, step_boundaries, prm_scores, teacher_lp, rollout_lp):    adv = torch.zeros(len(response_tokens))    for step_idx, (start, end) in enumerate(step_boundaries):        # PRM 评估这一步是否正确        prm_score = prm_scores[step_idx]  # e.g., +1 / -1        if prm_score > 0:            # PRM: 这步是对的 → 用 OPD 精细化内部 token            adv[start:end] = teacher_lp[start:end] - rollout_lp[start:end]        else:            # PRM: 这步是错的 → 均匀惩罚(不用被污染的 teacher LP)            adv[start:end] = -1.0            # ← 关键：从这步开始后面的 OPD 信号都丢弃(级联阻断)            break  # 后续步骤 advantage = 0(不学习级联后的 token)