多标签 SFT 数据分布极不均衡时，如何设计动态 Loss 权重？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
1 篇
字节跳动
大模型算法一面
在 SFT 阶段，如果 52 个标签的分布极度不均，你如何在 Loss Function 中设计动态权重，防止模型退化为只预测高频标签的大样本分类器？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
在 SFT 阶段，如果 52 个标签的分布极度不均，你如何在 Loss Function 中设计动态权重，防止模型退化为只预测高频标签的大样本分类器？