文墨共鸣Java开发实战集成SpringBoot构建智能问答微服务最近和几个做企业级应用开发的朋友聊天发现大家都有个共同的痛点想给自家的产品加上点智能问答的能力但一看那些前沿的模型不是Python就是Go的生态感觉和自家庞大的Java技术栈有点格格不入集成起来总怕水土不服。其实这事儿没想象中那么复杂。用咱们熟悉的SpringBoot完全可以把像“文墨共鸣”这样的大模型能力稳稳当当地“请”进Java的世界里做成一个独立、高可用的微服务。今天我就结合自己的实践经验聊聊怎么一步步搭建这么一个服务重点解决模型调用、性能优化和稳定性的问题。1. 为什么选择SpringBoot来集成大模型你可能会有疑问现在不是有很多现成的AI服务或者SDK吗为什么还要自己用SpringBoot来搭这主要取决于你的应用场景。如果你只是临时用一下或者对响应速度、数据隐私要求不高直接用公开的API服务确实最省事。但很多企业级应用尤其是那些处理内部数据、对服务稳定性和响应延迟有严格要求的场景就需要把AI能力“内化”到自己的技术体系里。SpringBoot在这里的优势就非常明显了。首先技术栈统一团队不需要为了一个AI功能去额外维护一套Python环境开发、调试、部署的流程和现有Java项目完全一致。其次可控性高你可以完全掌控服务的部署位置、网络策略、资源配额数据不出私域安全有保障。最后易于集成这个智能问答服务可以很方便地通过HTTP接口或者消息队列被你现有的用户中心、订单系统、客服平台等模块调用成为企业技术中台的一个标准能力组件。用SpringBoot来封装模型调用本质上就是把一个复杂的AI能力包装成一个标准、可靠的RESTful服务让业务部门可以像调用一个普通的下单接口一样去调用智能问答。2. 项目骨架搭建与核心依赖万事开头难我们先从创建一个干净的SpringBoot项目开始。这里我推荐直接用Spring Initializr来生成项目骨架省心省力。核心的依赖项主要有这几块Web服务spring-boot-starter-web这是提供HTTP接口的基础。异步处理spring-boot-starter-async为了提升并发能力模型调用这类I/O密集型操作必须异步化。缓存spring-boot-starter-data-redis用来缓存对话历史提升用户体验并减少模型重复计算。配置管理spring-boot-starter-validation和spring-boot-configuration-processor用于优雅地管理模型API密钥、地址等配置。工具库Lombok简化代码Jackson处理JSON。你的pom.xml关键部分看起来大概是这样的dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-async/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency !-- 其他依赖... -- /dependencies配置文件application.yml里我们会把模型相关的信息放进去这样以后要换模型或者调整参数改配置就行不用动代码# 应用配置 server: port: 8080 # 文墨共鸣模型服务配置 wenmo: api: base-url: ${WENMO_API_BASE:http://your-model-service-host} # 建议用环境变量 key: ${WENMO_API_KEY:your-api-key-here} # 密钥必须用环境变量 timeout: 30000 # 调用超时时间单位毫秒 # Redis缓存配置 spring: redis: host: localhost port: 6379 password: database: 0 timeout: 2000ms3. 核心层设计封装模型调用这是最核心的一层目标是把对“文墨共鸣”模型的HTTP调用细节封装起来对外提供一个干净、易用的Java接口。3.1 定义请求与响应模型首先我们定义调用模型时需要传递的数据结构。这通常包括用户的问题prompt、一些控制生成的参数比如回答的最大长度max_tokens等。import lombok.Data; import javax.validation.constraints.NotBlank; Data public class ChatRequest { NotBlank(message 问题内容不能为空) private String prompt; // 用户输入的问题 private Integer maxTokens 500; // 生成回答的最大长度 private Double temperature 0.7; // 控制回答的随机性值越高越有创意 private String conversationId; // 会话ID用于关联多轮对话 } Data public class ChatResponse { private boolean success; private String content; // 模型生成的回答 private String errorMsg; // 如果出错错误信息放在这里 private String conversationId; // 返回的会话ID }3.2 实现模型服务客户端接下来我们创建一个服务类使用Spring的RestTemplate或者更现代的WebClient来实际调用模型API。这里以RestTemplate为例并加入重试机制增强鲁棒性。import org.springframework.beans.factory.annotation.Value; import org.springframework.http.*; import org.springframework.retry.annotation.Backoff; import org.springframework.retry.annotation.Retryable; import org.springframework.stereotype.Service; import org.springframework.web.client.ResourceAccessException; import org.springframework.web.client.RestTemplate; import lombok.extern.slf4j.Slf4j; Slf4j Service public class WenmoModelClient { Value(${wenmo.api.base-url}) private String apiBaseUrl; Value(${wenmo.api.key}) private String apiKey; private final RestTemplate restTemplate; public WenmoModelClient(RestTemplateBuilder builder) { this.restTemplate builder .setConnectTimeout(Duration.ofSeconds(10)) .setReadTimeout(Duration.ofSeconds(30)) .build(); } /** * 调用模型API如果遇到网络波动或服务端5xx错误会重试最多3次 */ Retryable(value {ResourceAccessException.class, HttpServerErrorException.class}, maxAttempts 3, backoff Backoff(delay 1000, multiplier 2)) public String callModel(String prompt, int maxTokens) { String url apiBaseUrl /v1/chat/completions; // 假设的API端点 // 构建请求体根据文墨共鸣模型的实际API文档调整 MapString, Object requestBody new HashMap(); requestBody.put(messages, List.of(Map.of(role, user, content, prompt))); requestBody.put(max_tokens, maxTokens); HttpHeaders headers new HttpHeaders(); headers.setContentType(MediaType.APPLICATION_JSON); headers.setBearerAuth(apiKey); // 使用Bearer Token认证 HttpEntityMapString, Object request new HttpEntity(requestBody, headers); log.info(调用文墨共鸣模型问题长度: {}, prompt.length()); ResponseEntityMap response restTemplate.postForEntity(url, request, Map.class); // 解析响应这里需要根据模型返回的实际JSON结构来调整 MapString, Object responseBody response.getBody(); ListMapString, Object choices (ListMapString, Object) responseBody.get(choices); String content (String) choices.get(0).get(content); return content.trim(); } }这个WenmoModelClient类做了几件关键事配置了连接超时和读取超时加入了基于注解的重试机制需要引入spring-retry依赖并且将认证信息API Key安全地放在请求头里。4. 业务逻辑层实现带缓存的智能问答有了底层的模型调用客户端我们就可以在业务逻辑层添加更高级的功能了比如多轮对话管理和缓存。4.1 使用Redis缓存对话历史为了让模型能记住上下文实现连贯的多轮对话我们需要把历史记录缓存起来。Redis是个不错的选择速度快而且支持设置过期时间。import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Service; import java.util.concurrent.TimeUnit; Service public class ConversationService { private final RedisTemplateString, Object redisTemplate; private final WenmoModelClient modelClient; // 缓存前缀和过期时间 private static final String CACHE_PREFIX chat:conv:; private static final long CACHE_EXPIRE_HOURS 24; public ChatResponse chat(ChatRequest request) { String convId request.getConversationId(); ListMapString, String messageHistory new ArrayList(); // 1. 如果有会话ID尝试从Redis获取历史消息 if (convId ! null !convId.isEmpty()) { String cacheKey CACHE_PREFIX convId; messageHistory (ListMapString, String) redisTemplate.opsForValue().get(cacheKey); if (messageHistory null) { messageHistory new ArrayList(); // 如果缓存过期可以视为新会话这里我们选择重新开始 convId generateNewConversationId(); } } else { // 2. 新会话生成新的ID convId generateNewConversationId(); messageHistory new ArrayList(); } // 3. 将用户新问题加入历史 messageHistory.add(Map.of(role, user, content, request.getPrompt())); // 4. 调用模型这里需要将整个messageHistory传给模型 String fullPrompt buildPromptFromHistory(messageHistory); // 将历史消息格式化为模型接受的格式 String answer; try { answer modelClient.callModel(fullPrompt, request.getMaxTokens()); } catch (Exception e) { log.error(调用模型服务失败, e); ChatResponse errorResp new ChatResponse(); errorResp.setSuccess(false); errorResp.setErrorMsg(智能服务暂时不可用请稍后重试); return errorResp; } // 5. 将模型回答也加入历史并保存回Redis messageHistory.add(Map.of(role, assistant, content, answer)); String cacheKey CACHE_PREFIX convId; redisTemplate.opsForValue().set(cacheKey, messageHistory, CACHE_EXPIRE_HOURS, TimeUnit.HOURS); // 6. 返回结果 ChatResponse successResp new ChatResponse(); successResp.setSuccess(true); successResp.setContent(answer); successResp.setConversationId(convId); return successResp; } private String generateNewConversationId() { return UUID.randomUUID().toString().replace(-, ); } private String buildPromptFromHistory(ListMapString, String history) { // 这里是一个简单的实现将历史消息拼接成一个字符串 // 实际应根据文墨共鸣模型要求的消息格式来构造 StringBuilder sb new StringBuilder(); for (MapString, String msg : history) { sb.append(msg.get(role)).append(: ).append(msg.get(content)).append(\n); } return sb.toString(); } }这个服务类实现了完整的对话流程通过conversationId来区分不同会话利用Redis缓存历史消息每次提问都将上下文一起发送给模型让模型能“记住”之前聊过什么。4.2 异步化改造提升吞吐量模型调用通常比较耗时如果同步处理一个请求卡住就会阻塞一个服务器线程。我们必须把它改成异步的。import org.springframework.scheduling.annotation.Async; import org.springframework.stereotype.Service; import java.util.concurrent.CompletableFuture; Service public class AsyncChatService { private final ConversationService conversationService; Async(taskExecutor) // 指定使用自定义的线程池 public CompletableFutureChatResponse chatAsync(ChatRequest request) { ChatResponse response conversationService.chat(request); return CompletableFuture.completedFuture(response); } }同时需要在配置类中定义一个线程池import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.annotation.EnableAsync; import java.util.concurrent.Executor; import java.util.concurrent.ThreadPoolExecutor; Configuration EnableAsync public class AsyncConfig { Bean(taskExecutor) public Executor taskExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); // 核心线程数根据你的机器配置和预期QPS调整 executor.setCorePoolSize(10); // 最大线程数 executor.setMaxPoolSize(50); // 队列容量 executor.setQueueCapacity(100); executor.setThreadNamePrefix(wenmo-async-); // 拒绝策略由调用者线程直接运行 executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); executor.initialize(); return executor; } }这样当有大量问答请求涌入时它们会被放到线程池的队列里由后台线程慢慢处理不会把Web容器的线程比如Tomcat的工作线程耗光服务的整体吞吐量就上去了。5. 对外接口与全局异常处理最后我们需要提供一个HTTP接口给前端或其他服务调用并且做好全局异常处理让接口返回更友好。5.1 设计RESTful APIimport org.springframework.web.bind.annotation.*; import javax.validation.Valid; RestController RequestMapping(/api/v1/chat) public class ChatController { private final AsyncChatService asyncChatService; PostMapping(/completion) public CompletableFutureChatResponse completion(Valid RequestBody ChatRequest request) { return asyncChatService.chatAsync(request); } // 提供一个健康检查接口用于探活 GetMapping(/health) public String health() { return OK; } }5.2 统一的异常处理为了让接口调用方收到清晰、统一的错误信息我们需要捕获并处理各种异常。import org.springframework.web.bind.MethodArgumentNotValidException; import org.springframework.web.bind.annotation.ExceptionHandler; import org.springframework.web.bind.annotation.RestControllerAdvice; RestControllerAdvice public class GlobalExceptionHandler { ExceptionHandler(MethodArgumentNotValidException.class) public ChatResponse handleValidationException(MethodArgumentNotValidException e) { String errorMsg e.getBindingResult().getFieldErrors().stream() .map(error - error.getField() : error.getDefaultMessage()) .collect(Collectors.joining(; )); ChatResponse resp new ChatResponse(); resp.setSuccess(false); resp.setErrorMsg(参数错误: errorMsg); return resp; } ExceptionHandler(Exception.class) public ChatResponse handleGenericException(Exception e) { log.error(系统内部异常, e); ChatResponse resp new ChatResponse(); resp.setSuccess(false); resp.setErrorMsg(系统繁忙请稍后重试); return resp; } }6. 总结一下走完这一整套流程我们其实完成了一件挺有意思的事把一个看起来“高大上”的大模型能力用咱们Java开发者最熟悉的SpringBoot框架给驯化成了一个标准的企业级微服务。这个服务具备了几个关键特性高可用通过重试和线程池隔离、可扩展独立的微服务方便水平扩容、体验好利用Redis缓存实现了上下文对话、易集成提供简单的RESTful API。它就像在你现有的技术版图里新开辟了一块“智能领地”业务方可以随时来调用而不用担心底层模型的复杂性。当然这只是一个起点。在实际生产环境中你可能还需要考虑更多比如限流熔断防止模型服务被拖垮、更精细的对话管理分用户、分主题的上下文隔离、输出内容审核、以及监控告警等。但有了这个扎实的SpringBoot服务作为底座后续的这些高级功能都可以像搭积木一样一步步添加上去。希望这个实战分享能给你带来启发。下次当你再想为Java应用注入AI能力时不妨就从创建一个SpringBoot项目开始亲手搭建一个属于自己的智能问答服务。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
文墨共鸣Java开发实战：集成SpringBoot构建智能问答微服务
文墨共鸣Java开发实战集成SpringBoot构建智能问答微服务最近和几个做企业级应用开发的朋友聊天发现大家都有个共同的痛点想给自家的产品加上点智能问答的能力但一看那些前沿的模型不是Python就是Go的生态感觉和自家庞大的Java技术栈有点格格不入集成起来总怕水土不服。其实这事儿没想象中那么复杂。用咱们熟悉的SpringBoot完全可以把像“文墨共鸣”这样的大模型能力稳稳当当地“请”进Java的世界里做成一个独立、高可用的微服务。今天我就结合自己的实践经验聊聊怎么一步步搭建这么一个服务重点解决模型调用、性能优化和稳定性的问题。1. 为什么选择SpringBoot来集成大模型你可能会有疑问现在不是有很多现成的AI服务或者SDK吗为什么还要自己用SpringBoot来搭这主要取决于你的应用场景。如果你只是临时用一下或者对响应速度、数据隐私要求不高直接用公开的API服务确实最省事。但很多企业级应用尤其是那些处理内部数据、对服务稳定性和响应延迟有严格要求的场景就需要把AI能力“内化”到自己的技术体系里。SpringBoot在这里的优势就非常明显了。首先技术栈统一团队不需要为了一个AI功能去额外维护一套Python环境开发、调试、部署的流程和现有Java项目完全一致。其次可控性高你可以完全掌控服务的部署位置、网络策略、资源配额数据不出私域安全有保障。最后易于集成这个智能问答服务可以很方便地通过HTTP接口或者消息队列被你现有的用户中心、订单系统、客服平台等模块调用成为企业技术中台的一个标准能力组件。用SpringBoot来封装模型调用本质上就是把一个复杂的AI能力包装成一个标准、可靠的RESTful服务让业务部门可以像调用一个普通的下单接口一样去调用智能问答。2. 项目骨架搭建与核心依赖万事开头难我们先从创建一个干净的SpringBoot项目开始。这里我推荐直接用Spring Initializr来生成项目骨架省心省力。核心的依赖项主要有这几块Web服务spring-boot-starter-web这是提供HTTP接口的基础。异步处理spring-boot-starter-async为了提升并发能力模型调用这类I/O密集型操作必须异步化。缓存spring-boot-starter-data-redis用来缓存对话历史提升用户体验并减少模型重复计算。配置管理spring-boot-starter-validation和spring-boot-configuration-processor用于优雅地管理模型API密钥、地址等配置。工具库Lombok简化代码Jackson处理JSON。你的pom.xml关键部分看起来大概是这样的dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-async/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency dependency groupIdorg.projectlombok/groupId artifactIdlombok/artifactId optionaltrue/optional /dependency !-- 其他依赖... -- /dependencies配置文件application.yml里我们会把模型相关的信息放进去这样以后要换模型或者调整参数改配置就行不用动代码# 应用配置 server: port: 8080 # 文墨共鸣模型服务配置 wenmo: api: base-url: ${WENMO_API_BASE:http://your-model-service-host} # 建议用环境变量 key: ${WENMO_API_KEY:your-api-key-here} # 密钥必须用环境变量 timeout: 30000 # 调用超时时间单位毫秒 # Redis缓存配置 spring: redis: host: localhost port: 6379 password: database: 0 timeout: 2000ms3. 核心层设计封装模型调用这是最核心的一层目标是把对“文墨共鸣”模型的HTTP调用细节封装起来对外提供一个干净、易用的Java接口。3.1 定义请求与响应模型首先我们定义调用模型时需要传递的数据结构。这通常包括用户的问题prompt、一些控制生成的参数比如回答的最大长度max_tokens等。import lombok.Data; import javax.validation.constraints.NotBlank; Data public class ChatRequest { NotBlank(message 问题内容不能为空) private String prompt; // 用户输入的问题 private Integer maxTokens 500; // 生成回答的最大长度 private Double temperature 0.7; // 控制回答的随机性值越高越有创意 private String conversationId; // 会话ID用于关联多轮对话 } Data public class ChatResponse { private boolean success; private String content; // 模型生成的回答 private String errorMsg; // 如果出错错误信息放在这里 private String conversationId; // 返回的会话ID }3.2 实现模型服务客户端接下来我们创建一个服务类使用Spring的RestTemplate或者更现代的WebClient来实际调用模型API。这里以RestTemplate为例并加入重试机制增强鲁棒性。import org.springframework.beans.factory.annotation.Value; import org.springframework.http.*; import org.springframework.retry.annotation.Backoff; import org.springframework.retry.annotation.Retryable; import org.springframework.stereotype.Service; import org.springframework.web.client.ResourceAccessException; import org.springframework.web.client.RestTemplate; import lombok.extern.slf4j.Slf4j; Slf4j Service public class WenmoModelClient { Value(${wenmo.api.base-url}) private String apiBaseUrl; Value(${wenmo.api.key}) private String apiKey; private final RestTemplate restTemplate; public WenmoModelClient(RestTemplateBuilder builder) { this.restTemplate builder .setConnectTimeout(Duration.ofSeconds(10)) .setReadTimeout(Duration.ofSeconds(30)) .build(); } /** * 调用模型API如果遇到网络波动或服务端5xx错误会重试最多3次 */ Retryable(value {ResourceAccessException.class, HttpServerErrorException.class}, maxAttempts 3, backoff Backoff(delay 1000, multiplier 2)) public String callModel(String prompt, int maxTokens) { String url apiBaseUrl /v1/chat/completions; // 假设的API端点 // 构建请求体根据文墨共鸣模型的实际API文档调整 MapString, Object requestBody new HashMap(); requestBody.put(messages, List.of(Map.of(role, user, content, prompt))); requestBody.put(max_tokens, maxTokens); HttpHeaders headers new HttpHeaders(); headers.setContentType(MediaType.APPLICATION_JSON); headers.setBearerAuth(apiKey); // 使用Bearer Token认证 HttpEntityMapString, Object request new HttpEntity(requestBody, headers); log.info(调用文墨共鸣模型问题长度: {}, prompt.length()); ResponseEntityMap response restTemplate.postForEntity(url, request, Map.class); // 解析响应这里需要根据模型返回的实际JSON结构来调整 MapString, Object responseBody response.getBody(); ListMapString, Object choices (ListMapString, Object) responseBody.get(choices); String content (String) choices.get(0).get(content); return content.trim(); } }这个WenmoModelClient类做了几件关键事配置了连接超时和读取超时加入了基于注解的重试机制需要引入spring-retry依赖并且将认证信息API Key安全地放在请求头里。4. 业务逻辑层实现带缓存的智能问答有了底层的模型调用客户端我们就可以在业务逻辑层添加更高级的功能了比如多轮对话管理和缓存。4.1 使用Redis缓存对话历史为了让模型能记住上下文实现连贯的多轮对话我们需要把历史记录缓存起来。Redis是个不错的选择速度快而且支持设置过期时间。import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Service; import java.util.concurrent.TimeUnit; Service public class ConversationService { private final RedisTemplateString, Object redisTemplate; private final WenmoModelClient modelClient; // 缓存前缀和过期时间 private static final String CACHE_PREFIX chat:conv:; private static final long CACHE_EXPIRE_HOURS 24; public ChatResponse chat(ChatRequest request) { String convId request.getConversationId(); ListMapString, String messageHistory new ArrayList(); // 1. 如果有会话ID尝试从Redis获取历史消息 if (convId ! null !convId.isEmpty()) { String cacheKey CACHE_PREFIX convId; messageHistory (ListMapString, String) redisTemplate.opsForValue().get(cacheKey); if (messageHistory null) { messageHistory new ArrayList(); // 如果缓存过期可以视为新会话这里我们选择重新开始 convId generateNewConversationId(); } } else { // 2. 新会话生成新的ID convId generateNewConversationId(); messageHistory new ArrayList(); } // 3. 将用户新问题加入历史 messageHistory.add(Map.of(role, user, content, request.getPrompt())); // 4. 调用模型这里需要将整个messageHistory传给模型 String fullPrompt buildPromptFromHistory(messageHistory); // 将历史消息格式化为模型接受的格式 String answer; try { answer modelClient.callModel(fullPrompt, request.getMaxTokens()); } catch (Exception e) { log.error(调用模型服务失败, e); ChatResponse errorResp new ChatResponse(); errorResp.setSuccess(false); errorResp.setErrorMsg(智能服务暂时不可用请稍后重试); return errorResp; } // 5. 将模型回答也加入历史并保存回Redis messageHistory.add(Map.of(role, assistant, content, answer)); String cacheKey CACHE_PREFIX convId; redisTemplate.opsForValue().set(cacheKey, messageHistory, CACHE_EXPIRE_HOURS, TimeUnit.HOURS); // 6. 返回结果 ChatResponse successResp new ChatResponse(); successResp.setSuccess(true); successResp.setContent(answer); successResp.setConversationId(convId); return successResp; } private String generateNewConversationId() { return UUID.randomUUID().toString().replace(-, ); } private String buildPromptFromHistory(ListMapString, String history) { // 这里是一个简单的实现将历史消息拼接成一个字符串 // 实际应根据文墨共鸣模型要求的消息格式来构造 StringBuilder sb new StringBuilder(); for (MapString, String msg : history) { sb.append(msg.get(role)).append(: ).append(msg.get(content)).append(\n); } return sb.toString(); } }这个服务类实现了完整的对话流程通过conversationId来区分不同会话利用Redis缓存历史消息每次提问都将上下文一起发送给模型让模型能“记住”之前聊过什么。4.2 异步化改造提升吞吐量模型调用通常比较耗时如果同步处理一个请求卡住就会阻塞一个服务器线程。我们必须把它改成异步的。import org.springframework.scheduling.annotation.Async; import org.springframework.stereotype.Service; import java.util.concurrent.CompletableFuture; Service public class AsyncChatService { private final ConversationService conversationService; Async(taskExecutor) // 指定使用自定义的线程池 public CompletableFutureChatResponse chatAsync(ChatRequest request) { ChatResponse response conversationService.chat(request); return CompletableFuture.completedFuture(response); } }同时需要在配置类中定义一个线程池import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.annotation.EnableAsync; import java.util.concurrent.Executor; import java.util.concurrent.ThreadPoolExecutor; Configuration EnableAsync public class AsyncConfig { Bean(taskExecutor) public Executor taskExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); // 核心线程数根据你的机器配置和预期QPS调整 executor.setCorePoolSize(10); // 最大线程数 executor.setMaxPoolSize(50); // 队列容量 executor.setQueueCapacity(100); executor.setThreadNamePrefix(wenmo-async-); // 拒绝策略由调用者线程直接运行 executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); executor.initialize(); return executor; } }这样当有大量问答请求涌入时它们会被放到线程池的队列里由后台线程慢慢处理不会把Web容器的线程比如Tomcat的工作线程耗光服务的整体吞吐量就上去了。5. 对外接口与全局异常处理最后我们需要提供一个HTTP接口给前端或其他服务调用并且做好全局异常处理让接口返回更友好。5.1 设计RESTful APIimport org.springframework.web.bind.annotation.*; import javax.validation.Valid; RestController RequestMapping(/api/v1/chat) public class ChatController { private final AsyncChatService asyncChatService; PostMapping(/completion) public CompletableFutureChatResponse completion(Valid RequestBody ChatRequest request) { return asyncChatService.chatAsync(request); } // 提供一个健康检查接口用于探活 GetMapping(/health) public String health() { return OK; } }5.2 统一的异常处理为了让接口调用方收到清晰、统一的错误信息我们需要捕获并处理各种异常。import org.springframework.web.bind.MethodArgumentNotValidException; import org.springframework.web.bind.annotation.ExceptionHandler; import org.springframework.web.bind.annotation.RestControllerAdvice; RestControllerAdvice public class GlobalExceptionHandler { ExceptionHandler(MethodArgumentNotValidException.class) public ChatResponse handleValidationException(MethodArgumentNotValidException e) { String errorMsg e.getBindingResult().getFieldErrors().stream() .map(error - error.getField() : error.getDefaultMessage()) .collect(Collectors.joining(; )); ChatResponse resp new ChatResponse(); resp.setSuccess(false); resp.setErrorMsg(参数错误: errorMsg); return resp; } ExceptionHandler(Exception.class) public ChatResponse handleGenericException(Exception e) { log.error(系统内部异常, e); ChatResponse resp new ChatResponse(); resp.setSuccess(false); resp.setErrorMsg(系统繁忙请稍后重试); return resp; } }6. 总结一下走完这一整套流程我们其实完成了一件挺有意思的事把一个看起来“高大上”的大模型能力用咱们Java开发者最熟悉的SpringBoot框架给驯化成了一个标准的企业级微服务。这个服务具备了几个关键特性高可用通过重试和线程池隔离、可扩展独立的微服务方便水平扩容、体验好利用Redis缓存实现了上下文对话、易集成提供简单的RESTful API。它就像在你现有的技术版图里新开辟了一块“智能领地”业务方可以随时来调用而不用担心底层模型的复杂性。当然这只是一个起点。在实际生产环境中你可能还需要考虑更多比如限流熔断防止模型服务被拖垮、更精细的对话管理分用户、分主题的上下文隔离、输出内容审核、以及监控告警等。但有了这个扎实的SpringBoot服务作为底座后续的这些高级功能都可以像搭积木一样一步步添加上去。希望这个实战分享能给你带来启发。下次当你再想为Java应用注入AI能力时不妨就从创建一个SpringBoot项目开始亲手搭建一个属于自己的智能问答服务。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
