九方科技实测:文心一言、ChatGPT孰强孰弱
资讯05/04 08:10
作者 官方
作为近年来自然语言处理 (NLP) 技术的集大成者,「ChatGPT」 一经推出就引起了巨大的轰动,很多人甚至将其视为真正的人工智能。「ChatGPT」 表现出了非常惊艳的语言理解、生成、知识推理能力,它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重点清晰、有概括、有逻辑、有条理。目前「ChatGPT」 使用的语言模型是 GPT-3.5。

作为近年来自然语言处理 (NLP) 技术的集大成者,「ChatGPT」 一经推出就引起了巨大的轰动,很多人甚至将其视为真正的人工智能。「ChatGPT」 表现出了非常惊艳的语言理解、生成、知识推理能力,它可以很好地理解用户意图,做到有效的多轮沟通,并且回答内容完整、重点清晰、有概括、有逻辑、有条理。目前「ChatGPT」 使用的语言模型是 GPT-3.5。

九方科技实测:文心一言、ChatGPT孰强孰弱

「ChatGPT Plus」 版本的用户可以试用 GPT-4.0。GPT-4.0 是一个大型多模态模型(接受图像和文本输入,提供文本输出)。相较 GPT-3.5主要实现了以下几个方面的飞跃式提升:强大的识图能力;文字输入限制提升至 2.5 万字;回答准确性显著提高;能够生成歌词、创意文本,实现风格变化。OpenAI 称,“虽然这两个版本在随意的谈话中看起来很相似,但当任务的复杂性达到足够的阈值时,差异就会出现“—GPT-4.0更可靠、更有创意,并且能够处理更细微的指令。

和「ChatGPT」一样,百度的「文心一言」是一个多模态大模型,包括文学创作、商业文案创作、数理逻辑推算等能力。

九方科技实测:文心一言、ChatGPT孰强孰弱

那么,这个“中国版的ChatGPT“到底实力如何?九方科技团队对「文心一言」和「ChatGPT」进行了实测,对比一下「文心一言」 VS 「ChatGPT」谁更强。

事件发展

以下为ChatGPT、GPT-4.0、文心一言等推出、逐步进化的事件发展始末,主要帮助读者梳理、了解整个发展脉络。

2022年11月30日,OpenAI推出「ChatGPT」

2022年12月4日,「ChatGPT」已有超过一百万用户。

2023年1月,「ChatGPT」的用户数超过1亿,成为该时间段内增长最快的消费者应用程序。

2023年3月14日,OpenAI 宣布正式发布「GPT-4.0」。

2023年3月16日,百度宣布正式推出基于百度新一代大语言模型的生成式AI产品「文心一言」。

2023年3月17日,申请内测用户开始逐渐收到百度「文心一言」邀请码,用户开始测评。

实际测评

本文选择文心一言、ChatGPT进行测评,对比仅挑选几个AIGC常见业务应用场景的例子,主要展示文心一言与ChatGPT在各方面的差异,大家感兴趣可以去官网申请试用,官网地址附在文末。

九方科技实测:文心一言、ChatGPT孰强孰弱

1. 文字创作

本次测评分别使用文心一言和ChatGPT来为给定文章生成相对应的评论。

「文心一言」

九方科技实测:文心一言、ChatGPT孰强孰弱

文心一言:

1)内容更像总结

2)存在字数小于20的情况

3)生成大于5条评论

4)结果输出格式排序混乱,存在重复

「ChatGPT」

九方科技实测:文心一言、ChatGPT孰强孰弱

ChatGPT:

1)内容更像评论

2)字数均大于20

3)生成5条评论

4)结果输出格式整齐统一

从结果来看,ChatGPT给出的结果更符合九方科技团队的预期,文心一言关于文字创作方面稍逊一筹,输出结果不可控。

2. 文章改写

本次测评分别使用文心一言和ChatGPT来对给定文章进行分段、合并、去版权、改写等。

「文心一言」

九方科技实测:文心一言、ChatGPT孰强孰弱

「ChatGPT」

九方科技实测:文心一言、ChatGPT孰强孰弱

九方科技实测:文心一言、ChatGPT孰强孰弱

可以看出,ChatGPT准确给出了文章改写结果,并按照指定json格式返回。文心一言返回内容显然有误,不及预期。

3. 关键信息抽取

本次测评分别使用文心一言和ChatGPT来为给定文章生成内容标题、关键词等。

「文心一言」

九方科技实测:文心一言、ChatGPT孰强孰弱

「ChatGPT」

九方科技实测:文心一言、ChatGPT孰强孰弱

从结果看来,文心一言对输出格式、字数的控制及关键词的质量把握存在不稳定性,ChatGPT返回结果更加准确、结构清晰、稳定性更高。

4. 输出格式控制

本次测评分别使用文心一言和ChatGPT来指定输出结果的格式。

「文心一言」

九方科技实测:文心一言、ChatGPT孰强孰弱

「ChatGPT」

九方科技实测:文心一言、ChatGPT孰强孰弱

关于返回结果输出格式,ChatGPT比文心一言稳定性更高,并且更符合标准格式。如果输出结果格式不稳定,会导致结果后处理很难统一。

5. 多模态作图

「文心一言」

九方科技实测:文心一言、ChatGPT孰强孰弱

文心一言自带文生图功能,基本能给出较为符合预期的图像,但质量无法保证,结果并不可控。

「ChatGPT」

ChatGPT目前只能测试到GPT-3.5,GPT-4.0具备多模态作图能力,但目前无法测试,九方科技团队暂时采用plus版本的网友测试反馈来进行对比展示,后续开放之后,进行测试。

九方科技实测:文心一言、ChatGPT孰强孰弱

九方科技实测:文心一言、ChatGPT孰强孰弱

在这个示例中,用户提问:下面这张图搞笑在哪里?请逐一进行回答。

GPT-4.0可以按顺序描述出每一格的内容,并总结出笑点:用巨大的过时VGA接口给小巧的现代智能手机充电。

除此之外,GPT-4.0还具备阅读论文、根据草稿画网页、理解漫画等图表理解能力,可见GPT-4.0的多模态能力已经非常强大。

优、缺点对比

「文心一言」

优点:

1. 中文场景表现较为优秀。

2. 问题生成响应时间较快。

3. 具备基本写作能力。

4. 自带文生图功能。

缺点:

1. 生成文字不一定具备事实性。

2. 上下文理解能力弱,长提示有可能记忆失效或细节失效。

3. 不能对输出格式做细致调整。

4. 作画采用文心一格模型,但可控性较差,质量无法保证。

「ChatGPT」

优点:

1. 对大部分事实回答能保证正确性,具备一定的逻辑推理能力。

2. 具备很强的写作能力。

3. 上下文理解能力强,能记忆较长提示信息的细节内容。

4. 能对输出格式做细致调整。

5. 支持多语种。

缺点:

1. 对仅在中文环境下熟知的事实缺乏准确性。

2. 生成时间较长。

3. 不支持方言及国内网络环境下的新生词汇。

4. 只能处理文生文场景。

总结

总的来说,文心一言的整体使用效果要逊色于ChatGPT。无论从提示问题的理解程度、返回结果的质量,还是到细节的处理上,ChatGPT都要看起来更加“聪明”。

在国内,百度NLP确实处于技术领先地位,这么多年来,一直持续做着AI相关技术的积累和跟进,从深度学习框架到大模型以及相关的应用,都有布局。能在这么短时间推出类ChatGPT产品,值得尊敬,这毫无疑问与之前的持续积累有关。

但根据实际评测结果来看,文心一言整体效果上和ChatGPT的差距还是有的,加上GPT4.0的出现,依然有很长一段路要走。但九方科技团队相信,这只是时间问题。

1. 百度「文心一言」目前只开放了部分内测账号,只提供了页面试用的方式,API开放时间未知。

官网地址:https://yiyan.baidu.com

2. OpenAI「ChatGPT」GPT-4.0由于需要国外付费账号,暂时无法测试和使用,本篇实测仅针对GPT-3.5。

官网地址:https://chat.openai.com/chat

关于九方科技

九方科技自成立以来,一直专注于服务金融客户,以用户需求为基石驱动产品技术升级,致力于打造更多满足用户需求的金融大数据产品。目前,九方科技拥有多项核心技术,如大数据处理和分析技术、基于机器学习的数据可视化技术、大数据云计算技术等,在金融领域积累了深厚的技术经验和专业知识,能够为金融客户提供全方位的大数据解决方案。


声明:本站转载此文目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第时间删除内容,本站对此声明具有最终解释权。