各类 LLM 大模型测试验证

最近两天在 RAG + LLM 场景下,同基准测试了多个开源大模型,包括:

  • llama3.1
  • llama2-chinese
  • qwen2:7b
  • qwen2:32b
  • codegeex4:9b
  • glm4:9b

发现和 OpenAI GPT 3.5 Turbo 相比完全败北。对于 Markdown 而言区别不大,但对于 Excel 和 Word 类带有表格的文档结果反馈来看相差甚远。更不要说 PDF、JPG等图文结合的资料了。不知道是不是姿势不对,有经验的朋友可以分享一下。

问题点:

  • 回答结果过于发散,比如:会自己添加一些知识库本身没有的回答。OpenAI GPT 3.5 Turbo 并不会这样。
  • 很多时候无法输出正确的应答结果,你说找不到答案,但它又会附上对应知识库文档链接,说明还是有找到一些信息的。
  • 对于正确答案中带有的图片信息,无法在聊天框正常输出。

目前测试的结果是这样,更多细节问题需要进一步验证。

829 日 , 2024 19:49
关于 RAG 与 大模型劝退

最近,由于公司业务需要,木子正在研究 RAG(Retrieval-Augmented Generation)相关的AI和大模型。这是一个全新的领域,涉及多个复杂问题,包括但不限于以下几点:

  1. 如何处理原始数据?
    • 涉及数据来源、数据格式、数据类型,以及内容类型混合(例如,一个PDF文件可能包含文本、表格和图片)。
  2. 如何合理地切分(chunk)数据块?
    • 不同大小的数据块会影响检索结果的质量。
  3. 如何解决数据陈旧问题,并支持数据的实时更新能力?
  4. 如何选择合适的 Embedding 模型?
  5. 大语言模型的本地部署及维护。
  6. 向量数据检索和召回的设计。

如果你是一个运维工程师,建议不要介入太深,因为其中任何一小块,都是一个复杂的学科,将成功劝退你 @-@。

828 日 , 2024 18:39
CoreDNS 基础篇完结

《Rocky Linux 9 从入门到精通007 — DNS管理(CoreDNS 基础篇)》这篇文章其实已经写了很久,但由于工作繁忙,一直未能抽出时间校正内容和修正可能存在的错误,今天终于完成了发布。对于 CoreDNS 的基础使用来说,文章内容应该已经覆盖得较为全面,但对于 host forward zone 等配置,可能需要在进阶篇中进一步探讨。目前进阶篇已经完成,正在校对中。敬请期待!!!

大家有什么意见或建议,请在下方留言交流。

827 日 , 2024 20:47
thumbnail
Redis基础篇13 — 使用命令(五)对 value 的操作命令
set 数据类型 前面我们提到了 list 链表数据类型,它本质是双向链表,这种数据类型拥有 有序性 和 可重复性 的特性。 set 数据类型与 list 数据类型大致相同,但它拥有 无序性 和 不可重复性(或称 唯一性)的特性,即在 set 数据类型的底层中,其仅存储 key,不存储 value(因为都是 nil)。 --------------…
thumbnail
Rocky Linux 9 从入门到精通007 — DNS管理(CoreDNS 集群部署篇)
CoreDNS 简介 CoreDNS 是一个灵活且可扩展的 DNS 服务器,它的设计目标是提供一种更现代化的 DNS 解决方案,用于服务发现和服务代理,特别是在云原生和容器化环境中。CoreDNS 是云原生计算基金会毕业的项目。CoreDNS 的主要特点包括: 插件架构:CoreDNS 采用模块化设计,所有功能都通过插件实现。用户可以根据需求...
thumbnail
招聘:爬虫工程师1人 — 广州
招聘状态 真实招聘,正在招聘中 ...... 联系木子内推 公司信息 上市: 否 规模: 1000+ 人 公司类型: 电商 岗位要求 招聘人数: 1人 招聘岗位: 爬虫工程师 工作年限: 2 年 学历要求: 本科 薪资范围: 10-15K 工作地点: 广州白云区 面试流程: 现场面试 岗位职责 1、负责设计和开发网络爬虫系统,进行电商或社会媒体等平…
thumbnail
招聘:前端开发工程师1人 — 上海
招聘状态 真实招聘,正在招聘中 ...... 联系木子内推 公司信息 上市: 是 规模: 10000+ 人 公司类型: 汽车制造 岗位要求 招聘人数: 1人 招聘岗位: 前端开发工程师 工作年限: 5-10 年 学历要求: 本科 薪资范围: 30-40万/年 工作地点: 上海长宁区 面试流程: 现场面试 岗位职责 无 任职资格 1、本科学历,工作经…
thumbnail
DIY NAS系列32 — ZFS 存储池故障与恢复
说明 关于 ZFS 的内容,在 DIY NAS系列04 — ZFS 存储池管理 一文中已有详细介绍。然而,过去 ZFS 存储池一直运行在正常状态,尚未在实际生产环境中进行过存储池故障及恢复的操作。今天,恰巧木子使用了 3 年的 NAS 系统中的 ZFS 存储池发生了故障,借此机会我们记录了相关的恢复操作流程,也算是对于 ZFS 存储池管理的一个完整…