E2E Autonomous Driving Lit Review

k-disks聚类，这是一种逐步(随机)选择中心点，求中心点邻域内均值作为代表性中心点，再剔除掉中心点领域内的所有点，再剩余的所有点中随机选择中心点，然后重复直到选择出N个聚类中心点的方法。

为什么它能选择出来有代表性的中心点呢？尤其是后面是随机选择中心点。随机选择选中密集区域的概率远高于稀疏的区域，虽然确实有可能有一些离群中心点，但是绝大部分的中心点都是密集区域，并且通过取mean会获得有代表性的中心点。

代码很简单如下：

def Kdisk_cluster(
   X,  # [n_trajs, 4, 2], bbox of the last point of the segment which is a_pos
   N,  # int
   tol = 0.05,  # 0.05m
   a_pos,  # [n_trajs, 6, 3], the complete segment
):
   n_total = X.shape[0]
   ret_traj_list = []

   for i in range(N):
       if i == 0:
           choice_index = 0  # always include [0, 0, 0]
       else:
           choice_index = torch.randint(0, X.shape[0], (1,)).item()
       x0 = X[choice_index]
       # res_mask = torch.sum((X - x0) ** 2, dim=[1, 2]) / 4.0 > (tol**2)
       res_mask = torch.norm(X - x0, dim=-1).mean(-1) > tol
       ret_traj = a_pos[~res_mask].mean(0, keepdim=True)

       X = X[res_mask]
       a_pos = a_pos[res_mask]
       ret_traj_list.append(ret_traj)

       remain = X.shape[0] * 100.0 / n_total
       n_inside = (~res_mask).sum().item()
       print(f"{i=}, {remain=:.2f}%, {n_inside=}")

   return torch.cat(ret_traj_list, dim=0)  # [N, 6, 3]

• SMART的Next token prediction训练如果从预测轨迹序列角度来看，可以看作是Teacher Forcing，即给定真值进行预测，而不是自回归预测，模型因此无法从错误的预测中恢复。
• CAT-K Rollout在进行序列预测时，会使用先选择Top K个候选，再选择Top-K中距离真值最近的那一个：
  • 红色是CAT-K Rollout的轨迹，虽然有绿色的候选，但是绿色并不在概率Top K之内，因此选择红色；但是，重要的是绿色是我们预测的真值
  • 
• CAT-K训练实现：
  • 使用Top-K和Distance进行采样：首先根据logits大小采样Top-K个，再将其赋值成与真值的距离，最后根据距离进行采样(samples = Categorical(logits=topk_logits).sample())，代码参见sample_next_token_traj。注意这里的采样保持着一定的探索性，虽然采样函数会返回next_token_idx，但是它是没有用处的，这个token_idx是上图中的红色框，而我们真正需要的是绿色的框！
  • 如何找到绿色框，即CAT-K Rollout的Token Index真值？代码见：get_euclidean_targets
    • 上图举例来说，例如要寻找t=2时刻的Token Index，我们需要退回到t=1时刻的Rollout的红色框，计算它与t=2时刻蓝色真值框的$\Delta x, \Delta y, \Delta \theta$，从Motion Vocab中寻找最近的Token。如此再每次Rollout时候，到达一个新的状态，我都知道哪个动作Token是可以会到GT轨迹的，即可以一定程度上解决Covariance Shift的问题。

• Scaling Laws of Motion Forecasting and Planning是这个方法的Scaling验证，使用了恐怖的50万小时数据来进行训练。