828 日 , 2024 18:39:15
关于 RAG 与 大模型劝退

最近,由于公司业务需要,木子正在研究 RAG(Retrieval-Augmented Generation)相关的AI和大模型。这是一个全新的领域,涉及多个复杂问题,包括但不限于以下几点:

  1. 如何处理原始数据?
    • 涉及数据来源、数据格式、数据类型,以及内容类型混合(例如,一个PDF文件可能包含文本、表格和图片)。
  2. 如何合理地切分(chunk)数据块?
    • 不同大小的数据块会影响检索结果的质量。
  3. 如何解决数据陈旧问题,并支持数据的实时更新能力?
  4. 如何选择合适的 Embedding 模型?
  5. 大语言模型的本地部署及维护。
  6. 向量数据检索和召回的设计。

如果你是一个运维工程师,建议不要介入太深,因为其中任何一小块,都是一个复杂的学科,将成功劝退你 @-@。

Avatar photo

关于 木子

Founder of the Rocky Linux Chinese community, MVP、VMware vExpert、TVP, advocate for cloud native technologies, with over ten years of experience in site reliability engineering (SRE) and the DevOps field. Passionate about Cloud Computing、Microservices、CI&CD、DevOps、Kubernetes, currently dedicated to promoting and implementing Rocky Linux in Chinese-speaking regions.
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!