|
|
|
缅甸赌场腾龙娱乐游戏网址【xs10159.com】 缅甸赌场线上百家乐游戏网址 xs10159.com def combined_advantage(response_tokens, step_boundaries, prm_scores, teacher_lp, rollout_lp): adv = torch.zeros(len(response_tokens)) for step_idx, (start, end) in enumerate(step_boundaries): # PRM 评估这一步是否正确 prm_score = prm_scores[step_idx] # e.g., +1 / -1 if prm_score > 0: # PRM: 这步是对的 → 用 OPD 精细化内部 token adv[start:end] = teacher_lp[start:end] - rollout_lp[start:end] else: # PRM: 这步是错的 → 均匀惩罚(不用被污染的 teacher LP) adv[start:end] = -1.0 # ← 关键：从这步开始后面的 OPD 信号都丢弃(级联阻断) break # 后续步骤 advantage = 0(不学习级联后的 token) |
|
发表于