大模型安全问题系统总结：兼看文档处理工具llmdocparser具体实现细节

文章预览

今天是2024年8月5日，星期一，北京，晴。 我们来看两个主题，一个是文档处理工具llmdocparser的具体实现细节，目前这块的工作越来越多， 但其实都是你套我，我套你，套来套去，发现套的大都是那么几个开源模型，也很有趣，但熟悉实现细节 ，了解具体实现流程，还是很有意义的。 另外，我们在昨天的文章中介绍了google发布的ShieldGemma安全审核模型系列，实现对LLM输入及输出的多类别危害检测（比如不健康内容、危险内容、骚扰和仇恨言论），其基于Gemma 2训练。 在模型大小上，提供了从2B到27B参数的一系列内容审核模型，以适应不同的应用需求。 在模型性能上，与现有模型如Llama Guard和WildCard相比，ShieldGemma在公共基准测试上展示了更优越的性能。 随着GAI-LLMs技术的快速发展，它们在各个领域的应用越来越广泛，但同时也带来了一系列的风险和 ………………………………