Update modeling_hyena_moe.py

modeling_hyena_moe.py

@@ -312,9 +312,9 @@ class HyenaMlpMoE(nn.Module):
             hidden_size=config.d_model,  # gating 维度
             expert=expert_instance,      # 传一个已经初始化好的专家
             num_experts=2,              # 比如 2 个专家
-            ep_size=2,
+            ep_size=1,
             k=1,                        # gating 每次只选 1 个专家
-            capacity_factor=1.5,        # 可微调
+            capacity_factor=0.25,        # 可微调
             use_residual=False,         # 是否用 MoE residual
             # 其他 gating 参数 ...
         )