面试速答（先看这里）

**一句话结论：**24届硕士毕业，上市公司，2年经验，AI平台构建，AI网关平台，大模型服务接入治理，10家厂商，百个大模型接入，企业级AI问答应用，也做传统后端开发。

60秒标准回答：

24届硕士毕业，上市公司，2年经验，AI平台构建，AI网关平台，大模型服务接入治理，10家厂商，百个大模型接入，企业级AI问答应用，也做传统后端开发

AI 网关实现方案？ apisix ， java 实现了哪些功能？费用计算，模型限流

网关都有哪些功能介绍下？审批 & 开放 API ， API 管理（限流、模型校验、 KEY 校验）

**答题顺序：**结论 → 原理/机制 → 关键流程 → 场景与取舍 → 易错点

回答主线：

• **要点1：**AI 网关实现方案？
• **要点2：**计费如何实现的？
• **要点3：**对 LLM 的 API 的语义了解么？
• **要点4：**限流是怎么实现的？
• **要点5：**出口数据有做管控吗？

**记忆锚点：**mysql → API → advisor → ollama → spring → redis

关键取舍：

• GPU 限制，上下文大小限制。

易错提醒：

• 如何避免数据泄露。

加分表达：

• 如果调用中间异常了怎么办？
• 如果对接的某个模型厂商的服务挂了，如何做故障转移？
• 如果并发更高场景，时间戳也可能重复怎么办？

追问准备：

• AI 网关实现方案？
• apisix ， java 实现了哪些功能？
• 网关都有哪些功能介绍下？
• 审批 & 开放 API ， API 管理（限流、模型校验、 KEY 校验） 项目难点是什么？

---

面试者背景

> 24届硕士毕业，上市公司，2年经验，AI平台构建，AI网关平台，大模型服务接入治理，10家厂商，百个大模型接入，企业级AI问答应用，也做传统后端开发。 > > AI****网关实现方案？apisix，java实现了哪些功能？费用计算，模型限流。 > > 网关都有哪些功能介绍下？审批**&开放API****，API管理（限流、模型校验、KEY校验）** > > 项目难点是什么？模型厂商的模型规范不一样需要定制，日志聚合分析，报表，权限校验。 > > 计费如何实现的？token数如何计算的。如果调用中间异常了怎么办？自己计算，常见的文生文模型， 一个中文大概占几个token？1.2-1.7， > > 对LLM的API的语义了解么？temperature，取值范围？所有模型都是0-1吗？大部分模型的默认值是多少？max-tokens、top-p呢？ > > 大模型本身支持工具调用和记忆的能力吗？ > > 限流是怎么实现的？请求速率限流。用户限流怎么实现的？clickhouse到mysql是如何同步的？1小时同步一次。能接受1小时延迟。 > > 都对接了哪些模型 ？文生文，文**+图生文，生图模型。开源模型有对接吗？自己部署的，也会走网关。 > > **Cluade有对接么？封杀怎么处理。多账号。哪个模型用量最大？cluade，ds，** > > **出口数据有做管控吗？如何避免数据泄露。用deepseek审查模型，部署用的什么方式？ollama，vlm > > **用ollama做模型部署的原因是什么？方便。模型部署在显卡上，A100、模型部署经验？GPU限制，上下文大小限制。 > > 可监测性这方面做啦哪些事情？grafana，Prometheus，CPU&磁盘&内存，模型部署服务器的GPU相关。 > > 如果对接的某个模型厂商的服务挂了，如何做故障转移？ > > **AI问答平台，技术栈是什么？spring ai + spring boot，主要是哪些内容的问答？spring ai用的哪个版本？1.0.0？chatclient和chatmodel区别是啥？spring ai中的advisor机制了解吗？有用过哪个advisor吗？** > > **多轮对话是如何实现的？redis+mysql，为什么要存redis**、和mysql两层、redis如何实现的只存最近的N轮对话？zset，手动维护最近N轮，mysql对话记忆表是如何设计的？用户问题、模型回答、用户信息、模型信息、对话id。会话ID起到了什么作用？回话ID如何保证唯一性 ？redisson？？？前缀****+随机数+username+时间戳----->base64****，为什么不考虑用uuid？如果并发更高场景，时间戳也可能重复怎么办？雪花算法，是怎么保证不重复的呢？数据库主键id、** > > 长期记忆**&**短期记忆 > > 线上问题遇到过吗？CPU飙升，apisix没配连接池，日志文件很大（按天拆分），lua脚本插件内存溢出？ > > 调用大模型API超时有哪些优化方案？流式输出，换小模型，max-token，

题目解析

> 对LLM的API的语义了解么？temperature，取值范围？所有模型都是0-1吗？大部分模型的默认值是多少？max-tokens、top-p呢？ > > 大模型本身支持工具调用和记忆的能力吗？ > > 限流是怎么实现的？请求速率限流。用户限流怎么实现的？clickhouse到mysql是如何同步的？1小时同步一次。能接受1小时延迟。 > > 都对接了哪些模型 ？文生文，文**+图生文，生图模型。开源模型有对接吗？自己部署的，也会走网关。 > > **Cluade有对接么？封杀怎么处理。多账号。哪个模型用量最大？cluade，ds，** > > **出口数据有做管控吗？如何避免数据泄露。用deepseek审查模型，部署用的什么方式？ollama，vlm > > **用ollama做模型部署的原因是什么？方便。模型部署在显卡上，A100、模型部署经验？GPU限制，上下文大小限制。 > > 可监测性这方面做啦哪些事情？grafana，Prometheus，CPU&磁盘&内存，模型部署服务器的GPU相关。 > > 如果对接的某个模型厂商的服务挂了，如何做故障转移？ > > **AI问答平台，技术栈是什么？spring ai + spring boot，主要是哪些内容的问答？spring ai用的哪个版本？1.0.0？chatclient和chatmodel区别是啥？spring ai中的advisor机制了解吗？有用过哪个advisor吗？** > > **多轮对话是如何实现的？redis+mysql，为什么要存redis**、和mysql两层、redis如何实现的只存最近的N轮对话？zset，手动维护最近N轮，mysql对话记忆表是如何设计的？用户问题、模型回答、用户信息、模型信息、对话id。会话ID起到了什么作用？回话ID如何保证唯一性 ？redisson？？？前缀****+随机数+username+时间戳----->base64****，为什么不考虑用uuid？如果并发更高场景，时间戳也可能重复怎么办？雪花算法，是怎么保证不重复的呢？数据库主键id、** > > 长期记忆**&**短期记忆 > > 线上问题遇到过吗？CPU飙升，apisix没配连接池，日志文件很大（按天拆分），lua脚本插件内存溢出？ > > 调用大模型API超时有哪些优化方案？流式输出，换小模型，max-token，

以上内容，建议通过AI项目课学习：