音视频开发二面面经

1. 音频格式了解哪些？
2. 说一下MP4帧头结构，moov中包含哪些参数？
3. 说一下AAC/Opus的区别？
4. 你提到Opus延迟更低，且在中低码率下能够有更好的音质，能具体说一下？
5. 说一下音频文件从mp4解复用到播放声音的整个处理链路？
6. AVPacket和AVStream有什么区别
7. 看到你简历有写webrtc，讲一下webrtc的主要模块划分？
8. 讲一下NAT穿透和P2P打洞?
9. 你提到webrtc fec太严格挤占过多带宽，你是怎么去优化的？
10. 你提到IDR帧，能说下IDR帧和I帧有什么区别吗？
11. 你提到每个GOP开头IDR帧会把重传缓冲区冲垮，你通过优化pacer来解决这一问题，讲一下思路？
12. 你提到RTCP和NACK包？能讲一下RTCP包含哪些包类型？（SR/RR、SDES、BYE、APP等）
13. 了解其他流媒体协议吗？说一下音频传输的主流协议和特点?
14. 你们的IPC摄像头有提供一些AI+能力吗？展示讲讲？
15. 你觉得IPC可以集成哪些AI+的能力呢？举些例子说明一下？
16. 讲一下你们的IPC摄像头的整个AI识别和反馈结果的流程？(多个IPC->有线/无线适配器接入NVR->共享内存AI算力卡->内存池+缓存队列->解码/AI识别/加字幕/识别框->返回AI算力卡->NVR解码渲染->编码送用户APP)
17. 有了解AI模型在端侧的部署和应用吗？（承认没做过，不过简要说了下思路，提了一嘴模型选型，比如YOLOv8n）
18. 考虑成本问题，我们不会用太高端的芯片，你认为可以从哪些角度优化资源利用？(modern C++特性比如智能指针、移动语义、锁管理器等，使用内存池清理碎片，尽量使用位运算优化计算性能，注意字节对齐避免为共享，尽量做无锁队列，IPC通信用零拷贝方案，编译和链接优化去掉不必要的符号、避免用静态库等)
19. 了解哪些AI相关的算法吗？（承认了解不深，讲了些最经典的机器学习比如SVM、随机森林、K-Means均值，强化学习聊了下DQN、critic-actor框架、以及多智能体强化学习的MADDPG，面试官嘲讽都是玩具，难绷）
20. 讲讲音频的3A算法？（AEC/ANS/AGC）
21. 了解AEC算法的原理吗？它底层做了什么操作？（双端检测+延迟估计+非线性处理）
22. 你提到要先消回声、再降噪、最后做自动增益控制，为什么？
23. 先降噪，再消回声会怎样?
24. 有调过音频算法的一些参数吗？这些参数的影响是怎样的？（一时只想起抑制等级和过减因子，延迟估计参数）
25. 介绍你提到的卡尔曼滤波器原理？为什么后来又改成了EMA？（卡尔曼滤波是状态估计算法，需要调整过程噪声协方差Q和测量噪声协方差R，比较难确定最优参数，我们选了折衷方案）
26. 卡尔曼滤波器和EMA有什么联系（EMA就是最简单的固定K增益的卡尔曼滤波器）
27. 你的码率控制模块会调节qp/帧率/分辨率等参数，你是怎么去调节和优化的?
28. 讲一下你的内存池是怎么实现的？能带来哪些性能上的优化提升?
29. AI用的多吗？讲讲你用AI实现全栈项目闭环的过程？（前端界面+后端进程+守护/检测进程）
30. 讲讲agent skills是怎么封装的？你封装和发布过哪些skills解决什么问题？
31. 手撕：LRU缓存
32. 你目前base哪里？老家是哪里人？
33. 你对工作地点有硬性要求吗？能接受北京工作吗？

反问环节：

1. 您这边业务主要会涉及哪些音频编码格式？您是怎么考虑的？（主要用opus吧，实时通话延迟低且无版权费）
2. 我们前面有聊到opus延迟更低，从您的专业角度看，它为什么会比aac延迟更低？（我们就先不谈太深的技术了笑，这些你后续可以查下资料，我们聊聊团队和发展相关的话题吧）
3. 在过去的工作中，很遗憾我没有合适机会做端侧的AI应用开发；想了解下您的团队对于这个岗位在AI部署能力上的要求是怎样的？您会期望候选人要有硬性的落地经验吗？（其实也没有太硬性的要求，我们很多技能都是在边学边做，可能会更关注候选人的编程基础和学习能力）

个人感觉难度中等，二面结束5分钟后约三面，期望会有一个好结局吧