大学开学了,博主的堂弟现在正值大四,论文是分毫未动,想要用国内网上的AI辅助写作拟一篇文章进行完成,刚好聊天了解此事,我有点感兴趣,去百度了一下,各个AI生成网站价格不菲,临时起意想做一个AI代码生成程序,当然这种生成的论文问题还是特别多,无法和成熟的软件相比不过胜在成本低,可塑性强。
前置条件
首先我们需要对接现有大模型的接口,国内的各个大模型都有自己的商场,GPT-4在理解和生成自然语言方面比国内的模型在具有更强的能力,因此作者嫌麻烦花了10米去搞了个国内的中转接口去调用GPT-4的api,否则你就需要魔法上网,去弄openAI的接口了。
代码实现
首先简单讲解一下AI对话的原理,首先要了解tokens,引用一句AI的解释:
在AI和机器学习的上下文中,"tokens" 通常是指文本数据被预处理后得到的基本单位。这些单位可以是单词、子词(subwords)、字符或更复杂的结构,取决于你选择的分词方法。Tokenization是自然语言处理中的一个重要步骤,它有助于将文本转换为机器学习模型可以理解和处理的形式。
简单来说就是你发送的消息和AI返回给你的内容都与tokens有关,字符越多,tokens越大,一般来说400个汉字,相当于1000tokens
而对话简单来讲就是你请求的时候会携带上文AI的回答或者你的塑造的上下文进行调用,如果不加限制就很容易消耗特别多的tokens,有些网站都是将次数限制到10条可能就是这个原因。
论文这个东西文本实在太多,使用我直接不考虑带上文,这里是我的创建对话的代码实现:
private ChatResponseWrapper createChat(String message, String model) { try { if (!chatConfig.isEnable()) { log.warn("createChat fail,ai is unable!"); throw new AIExecuteException("check ai is enable!"); } List messages = new ArrayList(); ChatMessagesDto systemMessage = new ChatMessagesDto(role, message); messages.add(systemMessage); //model 代表gpt当前的模型,我开发时使用的是3.5,role代表当前的角色 ChatRequest chatCompletionRequest = ChatRequest.builder().model(model).messages(messages).user(role).maxTokens(4096).temperature(BigDecimal.ONE).build(); ObjectMapper objectMapper = new ObjectMapper(); //对接大模型的url HttpRequest request = HttpUtil.createPost(chatConfig.getUrl()); request.setConnectionTimeout(TIMEOUT); request.body(objectMapper.writeValueAsBytes(chatCompletionRequest)); // 设置请求头 request.header("Content-Type", "application/json"); //携带token request.header("Authorization", "Bearer " + chatConfig.getAccessKey()); String body; try (HttpResponse response = request.execute()) { body = response.body(); } if (log.isDebugEnabled()) { log.debug("get Ai response body:{}", body); } ChatResponseWrapper wrapper = new ChatResponseWrapper(); wrapper.setResponse(objectMapper.readValue(body, ChatResponse.class)); wrapper.setQuestion(message); return wrapper; } catch (JsonProcessingException e) { log.error("Json Parse error,message:{}", message, e); throw new AIExecuteException(e.getMessage()); } catch (Exception e) { log.error("createChat error,message:{}", message, e); throw new AIExecuteException(e.getMessage()); } }
接下来创建生成大纲的接口,入参是标题,也就是前端传入的值
public List genThesisOutline(String message) { try { String template = "以《{}》为题目,给我一篇计算类论文的大纲,使用中文回答,一级目录使用编号1,二级目录使用编号1.1,以此类推"; //对ai的问句 String askQuestion = StringUtil.format(template, message); ChatResponseWrapper wrapper = aiClient.createChat35(askQuestion); ChatResponse response = wrapper.getResponse(); if (response == null) { throw new AIExecuteException(); } List thesisOutlines = new ArrayList(); for (ChatChoice choice : response.getChoices()) { ChatMessagesDto choiceMessage = choice.getMessage(); String content = choiceMessage.getContent(); if (StringUtil.isEmpty(content)) { continue; } //过滤为空的行和不为数字的行 List outlines = StringUtil.split(content, "\n").stream().filter(StringUtil::isNotBlank).filter(StringUtil::isStartsWithDigit).map(String::trim).collect(Collectors.toList()); for (String outlineContent : outlines) { ThesisOutline outline = new ThesisOutline(); outline.setContent(outlineContent); thesisOutlines.add(outline); } } return thesisOutlines; } catch (Exception e) { log.error("genThesisOutline error", e); return Collections.emptyList(); } } /** * 论文标题实体 * @author zwh */ @Data public class ThesisOutline { /** * 层级 */ private Integer level; /** * 标题内容 */ private String content; }
这个接口将生成的数据返回给前端
随手写的前端,样式什么的也懒的调了,能用就行,代码如下:
生成论文大纲 变更为文本 保存并展示为列表 生成并下载论文 标题 {{ thesis.title }} 取 消 确认生成大纲 import {downloadWord, genOutline} from "@/api"; export default { name: "Index", data() { return { outline: { visible: false, content: null, }, outlineData: [], thesis: { title: null, messages: [] }, outlineText: null, showText: false, }; }, methods: { genThesisOutline() { this.outline.visible = true; }, genOutline() { genOutline(this.outline.content).then(resp => { this.outlineData = resp.data this.thesis.title = this.outline.content this.outline.content = null this.outline.visible = false }) }, toText() { const fieldValues = this.outlineData.map(obj => obj.content); this.outlineText = fieldValues.join('\n'); this.showText = true; }, toList() { // 使用 split 方法按换行符分割字符串 const lines = this.outlineText.split('\n'); // 过滤掉空字符串,并将每个字符串转化回对象 // 将每行转化为一个对象,该对象具有指定的字段名和内容 this.outlineData = lines .filter(line => line.trim() !== '') .map(line => ({content: line})); this.showText = false; }, downloadByOutline() { this.thesis.messages = this.outlineData.map(obj => obj.content); downloadWord(this.thesis).then(resp => { // 创建一个blob对象URL const url = window.URL.createObjectURL(new Blob([resp])); // 创建一个下载链接元素 const link = document.createElement('a'); link.href = url; link.setAttribute('download', this.thesis.title+'.docx'); // 设置下载文件名 // 触发下载 document.body.appendChild(link); link.click(); // 清理 window.URL.revokeObjectURL(url); }) } }, };
正文生成,因为是要对大纲的内容进行循环的请求,使用需要异步请求ChatGPT,因为每一个论点请求花费的时间都十分之长,计算了一下一个论点大约30s左右,所以我们这里需要异步去请求论文返回的结果,我这里是使用CompletableFuture去异步请求,方法通过异步方式与AI交互,生成论文文本,并将结果导出为Word文档供用户下载。
@Override public void genThesisText(List messages, String title, HttpServletResponse resp) { try { String template = "请继续以{}为题生成关于:{}的内容,内容需要在500字以上"; List futures = new ArrayList(messages.size()); // 每个标题异步创建会话 for (String message : messages) { String question = StringUtil.format(template, title, message); CompletableFuture future = CompletableFuture.supplyAsync(() -> ThesisTextModel.builder().wrapper(aiClient.createChat35(question)).message(message).build(), executor).exceptionally(e -> { log.error("createChat sync execute error", e); return null; }); futures.add(future); } // 获取所有消息内容 (key: 问题, value: 回答) Map allContent = new LinkedHashMap(); for (CompletableFuture future : futures) { ThesisTextModel model = future.get(); ChatResponse response = model.getWrapper().getResponse(); List choices = response.getChoices(); String outline = model.getMessage(); ArrayList perContent = new ArrayList(); for (ChatChoice choice : choices) { ChatMessagesDto choiceMessage = choice.getMessage(); // 获取某个标题的回答内容 String content = choiceMessage.getContent().replaceAll("\n+", "\n"); if (StringUtil.isEmpty(content)) { continue; } perContent.add(content); } allContent.put(outline, perContent); } // 生成 word 文档 ThesisBuildHelper.exportWordDocument(resp, allContent); } catch (Exception e) { log.error("genThesisText error", e); } }
调用ThesisBuildHelper设置好相应的格式,这里贴上我大学时使用的论文格式(ps.还是从吃灰的老电脑里翻到的)
总结
经过两天的努力,到现在程序已经能够生成结构清晰、内容丰富的论文。同时,通过导出为Word文档的形式,使得我能够方便地查看和编辑生成的论文。
这样生成的论文成本也特别的低,我开发中使用的是gpt3.5,大概2w字的论文花费就2毛左右,可想而知百度到的论文生成网站里面利润之高,其实我还想了将gpt3.5生成的文章交给gpt4润色,加入参考文献,不过嫌麻烦,也没有好的思路,就懒得做了,说到底也是心血来潮。
最后,附以一张我毕业的论题生成的论文,27页字数23184,虽然不是标准的论文,但是再也不需要去冥思苦想论文该咋写了。