最近,由于公司业务需要,木子正在研究 RAG(Retrieval-Augmented Generation)相关的AI和大模型。这是一个全新的领域,涉及多个复杂问题,包括但不限于以下几点:
- 如何处理原始数据?
- 涉及数据来源、数据格式、数据类型,以及内容类型混合(例如,一个PDF文件可能包含文本、表格和图片)。
- 如何合理地切分(chunk)数据块?
- 不同大小的数据块会影响检索结果的质量。
- 如何解决数据陈旧问题,并支持数据的实时更新能力?
- 如何选择合适的 Embedding 模型?
- 大语言模型的本地部署及维护。
- 向量数据检索和召回的设计。
如果你是一个运维工程师,建议不要介入太深,因为其中任何一小块,都是一个复杂的学科,将成功劝退你 @-@。
版权声明:「自由转载-保持署名-非商业性使用-禁止演绎 3.0 国际」(CC BY-NC-ND 3.0)
暂无评论