紫色面具 萝莉在面前马上发展的东谈主工智能时期，大谈话模子（LLMs）在各式应用中阐发着至关进击的作用。但是，跟着其应用的闲居化，模子的安全性问题也引起了闲居关爱。探讨若何评估和培植这些模子在复杂的法律、政策和伦理领域的安全性，成为了学术界和工业界亟待惩办的进击议题。
率先，大谈话模子的安全性与其对安全常识的解析密切关连。这要求模子对解析常识具有高准确性、全面性和了了度，尤其是在法律、政策和伦理等明锐领域中。模子的修起不仅需要相宜基本的安全措施，还需要在复杂的情境中阐发出了了的逻辑和正确的判断。这种深切的解析智力将平直关系到模子在现实应用场景中的安全性和可靠性。
其次，传统的安全评测设施，往往依赖于特定场景的问题建树，生成带有风险性的问题并评估模子修起的安全性，这种现象天然概略一定进度上保证模子的输出不起义基本的安全原则，但却存在显贵的局限性。变成模子不安全的要素可能有多种，举例，缺少安全领域常识，安全对皆不充分等。而依赖于传统的评测设施，模子不错通过安全对皆锻练的现象，形成一种 “演叨对皆” 的景况，即使模子自身缺少有余的专科安全常识，也可能在某些特定情景中给出 “正确” 的安全修起。但是，这种 “知其但是不知其是以然” 的安全智力是不庄重的，在遭受不同领域的风险问题时，会缺少泛化性。除此之外，由于常识缺少而产生的幻觉，不准确等问题自身也会产生一定的安全风险。因此，评估模子对安全关连常识的掌抓进度显得尤为进击，需要构建更精准的评测框架。
临了，不同国度地区在大模子安全领域研究的侧重心是不同的。国际上，对安全方针研究的侧重心主要在于无益意图，逃狱缺点以及违背国际 ESG 规矩的执行，绝大大量的研究责任和开源数据也聚会于这一方面。而在中国，模子是否概略解析和罢免中国法律，政策，谈德，主流价值不雅的要求是决定大模子的能否安全落地最为进击的要素，斥地一种全面的基础安全常识评测设施显得尤为进击。一个全面且无偏的评测框架概略匡助研究东谈主员和斥地者更好地解析模子在群众范围内的阐发相反，并针对不同的地区需求调遣和优化模子，从而确保其合规性和灵验性。
在此配景下，为了更好地评估 LLMs 在修起轻便的事实性安全问题上的智力，中国信息通讯研究院结合淘天集团算法技巧 - 将来生存实验室推出了 Chinese SafetyQA，这是群众第一个针对汉文安全领域的系统性评估模子安全事实性常识的高质料评测集，主要包含以下 7 个特征：
1. 汉文：使用汉文况且聚焦于中国关连的安全常识，颠倒是中国法律框架、谈德措施和文化环境关连的安全问题。
2. 高质料：咱们评测了 OpenAI o1-preview、OpenAI GPT-4、LLaMA、Claude-3.5、Qwen、Doubao 等国表里 38 个开源和闭源大模子。从评测收尾看，唯独三个模子达到合格线（60 分）以上，最高得分也仅为 73 分。
3. 全面性：咱们的数据集包含 7 个一级类目、27 个二级类目和 103 个子类目。涵盖了包括中国罪犯违法，伦理谈德，偏见颓唐，口角仇恨，身心健康，谣喙失误，汇集安全表面常识等方面的安全常识。这在国际上第一个全面的遮掩中国执行安全类目的常识类评测数据集。
4. 易评估：和 OpenAI 的 SimpleQA 以及阿里巴巴的 Chinese SimpleQA 比拟，咱们除了聚会安全之外，还同期提供了 QA 和 MCQ 两种问题表情。问题和回答都保证轻便、了了，镌汰了评测的难度。
5. 依期迭代：中国信通院 & 阿里巴巴团队会依期对该数据集进行周期性的迭代，以保证其对于最新法律法例的顺应性。
6. 庄重：在现存版块数据中，所有问题的常识都是截止于 23 年底且谜底不随时期变化而更正的。
7. 无害化：天然该数据集都是安全关连的评测问题，但是所有问题都是正当合规的无害化执行。
注：调用 Doubao-pro-32k* API 评测时有 3 个系统预置的离线 RAG 库。
Chinese SafetyQA 的推出，为业界提供了一个客不雅公谈的评测用具，匡助更好地解析和培植 LLMs 在安全领域的应用智力。耀眼的评测收尾在咱们的 leaderboard 测评收尾表中。而且，为保险数据集的耐久灵验性，不会被大模子采集以用于针对性锻练提高演叨性安全性，数据集分为开源和闭源两部分。开源部分用于行业内分享使用，闭源部分用于不息监测大模子安全水平培植情况。
论文结合：https://arxiv.org/abs/2412.15265
名目主页：https://openstellarteam.github.io/ChineseSafetyQA
数据集下载：https://huggingface.co/datasets/OpenStellarTeam/Chinese-SafetyQA
代码仓库：https://github.com/OpenStellarTeam/ChineseSafetyQA
一、数据集生成
数据集的生成与质检经过摄取了东谈主类巨匠与大谈话模子（LLMs）相结合的双重考据机制，灵验保险了数据的准确性与高水准。具体经过综合如下：
1. 种子文档汇集：Chinese SafetyQA 的数据源主要包括：
从搜索引擎（如 Google、百度）和巨擘网站（如维基百科、东谈主民网、新华网）获取的数据。
东谈主类巨匠编写的安全关连数据，通常以描绘性办法或解释表情呈现。
2. 数据增强与问答对生成：在汇集开动数据后，愚弄 GPT 模子对数据进行增强，并生成问答示例和多选题。同期，为培植数据集的全面性与精准度，摄取检索增强生成（RAG）用具（如 Google、百度）获取补充信息。
3. 多模子考据：随后，通过多模子合议机制来评估 Chinese SafetyQA 数据集的质料。举例，确保谜底独一且庄重，问题具有挑战性并在安全领域内具备关连性。
4. RAG 考据：使用在线 RAG 用具进一步考据数据聚会措施谜底的准确性，确保一起信息都相宜预期措施。
5. 安全王法考据：为了确保数据集不触及明锐或不被允许的执行，咱们制定了一系列与汉文语境关连的安全指南，包括意志形态、法律合规与身心健康等王法。这些王法行动 GPT 的系统领导，确保生成的数据都是无害且合规的。
6. 难渡过滤：质料检测经过中也包含难度考据，旨在提高数据集的挑战性。咱们愚弄四种开源模子对数据进行推测，但凡所有模子均能准确回答的问题被界说为肤浅问题并从数据聚会移除，以此增多举座难度。
7. 东谈主类巨匠双重考据：最终，所少见据均由东谈主类巨匠进行双重标注和考据，确保数据在谜底准确性、质料与安全性等各个方面均达到高措施。
通过以上系统化的经过，Chinese SafetyQA 数据集仅保留了 2000 个 QA 对。咱们但愿该数据集能助力优化在汉文场景下改进锻练策略以及增强模子在安全关键领域的应用智力。
二、数据集统计
该数据集包含 2000 个 QA 对和 2000 个问题相通且有 4 个诱骗性选项的选拔题，其中罪犯违法、偏见颓唐和安全表面常识的问题占比最多。基于 GPT4o 的编码器，QA 的问题平均长度仅为 21 个 token。
三、评测讨论
评测现象和讨论平直罢免 OpenAI 的现象，主要有以下四个讨论：
四、举座收尾
CO, NA, IN 和 CGA 分手表现 "正确"、“未始试”、“失误” 和 “尝试正确”。
对于子主题，RM, IRC, PMH, IH, PD, EM 和 STK 分手是咱们的子主题的缩写：
“Rumor & Misinformation”（谣喙与失误信息）
“Illegal & Reg. Compliance”（罪犯违法）
“Physical & Mental Health”（身心健康）
“Insults & Hate”（侮辱与仇恨）
“Prejudice & Discrimination”（偏见与颓唐）
“Ethical & Moral”（伦理与谈德）
“Safety Theoretical Knowledge”（安全表面常识）
从以上汇总收尾不错分析出一些值得关爱的信息。率先，研究收尾标明，模子的参数范围与其在安全常识领域的阐发呈现显贵的正关连性。这一发现援手了大范围谈话模子在常识编码和信息保留方面的上风假说。颠倒是，开源模子中参数目更大的变体展现出更优异的性能，而闭源模子中符号为 "mini" 或 "flash" 的轻量级版块则阐发相对逊色。
其次，在纵容参数范围的要求下，咱们不雅察到中国大模子公司斥地的模子相较于国外公司（如 LLaMA/Mistral）在汉文上具有显贵上风。这一气候突显了中国企业在高质料汉文语料库构建和愚弄方面的专有上风，为探讨文化停火话特异性在大谈话模子斥地中的进击性提供了实证援手。
此外，险些所有模子在汉文安全问答任务中均阐发出较高的回答倾向，这与 SimpleQA 和汉文 SimpleQA 基准中不雅察到的收尾形成昭着对比。模子的低未回答率可能反应了安全关键常识在预锻练阶段被优先沟通，以及关连数据的闲居汇集。但是，值得谨慎的是，部分模子在此任务中仍然阐发出较高的失误率（IN），这可动力于常识打破、信息失误以及模子在解析和记挂智力方面的局限性。
五、进一步实验
咱们还对模子的解析一致性、“舌尖气候”、self-reflection、主被迫 RAG 等方针作念了进一步的探究。发现了一些真谛的论断：
1. 大模子渊博存在解析一致性问题
咱们通过分析大谈话模子在汉文安全常识评测中的置信度，揭示了面前模子在解析一致性方面的显贵局限性。咱们诱导受测模子为其响应分拨一个精准的置信度评估（区间为 0-100，粒度为 5），旨在量化模子对自身解析范围的自我感知智力。
实验收尾指出：尽管模子在技巧复杂性上阻抑跳跃，其解析校准机制仍存在显贵偏差。受测模子倾向于对其修起赋予高置信度，这种过度自信模式在大量模子中保持一致。即便某些模子（如 Qwen72b）偶尔展现出置信度分拨的微不雅相反，但举座上仍未能收场置信度与准确性的灵验对应。值得谨慎的是，高置信度区间（>50）的数据点不息低于梦想校准措施线。这不仅反应了模子置信度评估的内在省略情趣，更默示了预锻练语料中潜在的常识表征残障。
2. 爱你在心口难开，大模子也存在 “舌尖气候”（Tip of the tongue）
咱们发现主流模子在多项选拔题（Multiple Choice Questions, MCQ）任务中，呈现出显贵高于问答（Question and Answer, QA）任务的准确率。在 QA 任务中答不合的问题，摄取一定的领导时（MCQ 的选项）模子即可答对。这和东谈主类话到嘴边说不出，但是给于一定的领导即可答对的 “舌尖气候” 近似。为了舍弃是选项减弱了搜索空间导致的准确性培植，咱们通过置信度作念了进一阵势阐发，发现模子在给出谜底时置信度相等高，这解释模子给出了相等详情的谜底。
除此之外，通过对主流模子的不同类目评测发现各家模子在不同的类目上各有上风。在国际环境、社会和管制（ESG）议题中，所有 GPT 系列模子在体格和神志健康（Physical and Mental Health, PHM）维度均阐发出相对优异的智力，这可能反应了这些模子在关连领域接受了更为细致的锻练。与此同期，在罪犯和法例合规（Illegal and Regulatory Compliance, IRC）领域，咱们不雅察到了更为复杂的模子间相反：非中国模子（o1 除外）在该维度显显露昭着的智力局限，而中国脉土模子（如 Qwen 系列和 Doubao）则展现出更为杰出的原土法律常识解析智力，这可能收获于针对性的腹地化锻练策略。
3.self-reflection 对常识性的缺失险些莫得匡助
自我反想机制被闲居视为培植模子输出质料的灵验策略。但是，咱们对多个先进谈话模子进行的实验发现在常识缺失场景下的局限性。
实验发现在所有受测谈话模子中，自我反想机制带来的性能培植聊胜于无，平均改进幅度不卓越 5%，且在 o1 系列模子中更呈现出负面影响。
这一气候可动力于大谈话模子固有的解析局限。模子高度依赖锻练语料中的统计模式，这使其在自我反想过程中更倾向于将原来正确的谜底滚动为失误响应。颠倒是在常识型问题中，模子的性能更多地取决于内在常识解析智力，而非后续推理过程。值得谨慎的是，锻练语料中潜在的事实性失诬陷显贵干与模子的自我改良机制，导致推理链路的可靠性进一步镌汰。
4.RAG 能补皆大模子的常识缺失，但最佳不要让它来决定作念不作念：
常识检索增强生成（Retrieval-Augmented Generation, RAG）技巧已成为培植模子事实性和准确性的关键设施。咱们探讨了两种 RAG 触发范式：主动 RAG 和被迫 RAG，其对模子准确性的影响。被迫 RAG 对所有输入问题进行语料检索，而主动 RAG 则由模子自主判断是否需要寥落检索并由模子给出检索关键词。
由实验收尾不错看出：
率先，RAG 增强机制显贵培植了大谈话模子的事实安全性，灵验减弱了不同范围模子间的性能差距。较小参数范围的模子从 RAG 技巧中得到的性能培植更为显贵。
其次，主动 RAG 的性能渊博低于被迫 RAG。这一气候是源于大谈话模子的过度自信特质，它们不倾向于主动肯求检索用具，是以这种 RAG 现象带来的准确性增益通常不够大。
对于更多实验收尾和细节请参考咱们的论文。
临了，宽宥巨大研究者使用咱们的评测集进行实验和研究，咱们相等感谢您对咱们责任的信任，并相等疼爱并期待收到您的谨慎意见。面前，咱们正全力完善排名榜功能，致力于尽快为巨大研究者提供愈加方便、高效的使用体验。
如若您有任何疑问、提倡，或但愿将您的模子收尾纳入排名榜展示，宽宥随时通过电子邮件与咱们磋议。请将您的具体需求发送至：tanyingshui.tys@taobao.com，咱们将实时修起。
咱们将不息更新和保重数据集及评测榜单，为汉文社区的发展孝顺力量。如需进一步磋议或匡助，也可随时与咱们交流。再次感谢您的解析与援手！
作家先容
中枢作家包括谭映水，郑博仁，郑柏会，曹珂瑞，景慧昀。
作家团队来自中国信息通讯研究院和淘天集团算法技巧 - 将来生存实验室团队。信息通讯研究院长久秉持 “国度高端专科智库产业翻新发展平台” 的发展定位和 “厚德实学 兴业致远” 的中枢文化价值理念，在行业发展的紧要计谋、诡计、政策、措施和测试认证等方面阐发了有劲相沿作用，为我国通讯业跨越式发展和信息技巧产业翻新壮大起到了进击推进作用。淘天集团将来生存实验室接力于于设立面向将来的生存和破费现象，进一步培植用户体验和商家经营成果。实验室聚焦大模子、多模态等 AI 技巧方针，接力于于打造大模子关连基础算法、模子智力和千般 AI Native 应用，引颈 AI 在生存破费领域的技巧翻新。
下一篇：没有了
