在生成式人工智能浪潮下，人工智能生成的内容正以前所未有的密度充斥公共信息空间。当深度造假图像可能被误认为真实图像并且被操纵的文本可能使人们感到困惑时，社会信任系统面临着无声的考验。这时，人们自然会转向大型通用模型，希望这些“智脑”成为鉴别真伪的可靠助手。为了探索大规模模型“真情识别”能力的极限，澎湃名茶工作室近期启动了一项人工智能实验，选取了DeepSeek、豆宝、Claude Sonnet 4、Grok-4、ChatGPT-5、Gemini 2.5 pro等代表性模型，检验其识别准确率、逻辑推理能力以及文本、图像、视频的三维上下文一致性。 HE邀请上海人工智能研究院对实验结果进行相关技术分析。 “魔法能打败魔法吗？”我在这场人工智能探索中，伟大的模型展现出了独特的“个性”，也隐藏着共同的困境。本文观点整理自上海人工智能研究院技术创新中心专家对话。参与讨论的核心成员如下（以下统称“团队”）：林媛媛，首席数字官，科创中心主任向科朱小海，科创中心高级算法工程师科创中心高级算法工程师进行能力分析，以及大规模模型“真值识别”的个性与共性。从技术底层逻辑来看，大规模模型参与当前的“真相识别”任务，本质上依赖于上下文逻辑处理功能和工具调用机制来提供辅助验证支持。该团队指出，这些模组EL 通常在训练阶段使用通用语料库，并且没有专门针对“事实检查”进行优化。这与厂商的资源投入重点密切相关。当前的“真相识别”能力实际上是多任务学习的结果。这种“非熟练训练”特征使得不同模型在推理过程中表现出显着的“个性差异”。有些模型会优先调用图像识别工具来解析图像细节。有些模型擅长通过文本中的语义关联追溯信息来源，而另一些模型则倾向于通过推导逻辑链来验证内容的合理性。团队解释说，这种差异取决于制造商技术架构的设计（例如是否集成专用验证模块），也与制造商不同的技术工具、任务理解模板和战略方法有关。作为总和据澎湃新闻报道，较大的模型有的像实验室检验员，有的像侦探。例如，在“图像伪造检测”等已有成熟专业工具的领域，一些常见的大规模模型的性能对“外部资源调用”很敏感。目前，大规模通用模型正在从早期依赖自身概率推理的阶段发展到可以主动求助于外部工具的“合作”阶段。在特定测试中表现良好的典型大型模型可能是因为所调用的工具是针对测试场景高度定制的，或者是因为训练数据的分布与测试用例相匹配。这不仅仅是模型能力好坏的问题。 “”而是技术路径和领域结合的结果。 “逻辑一致性”是对一般大规模模型“真理感知”的又一考验。逻辑偏差问题包括“人工智能错觉”在内的各种问题，往往需要通过思维链、思维树等快速工程手段来修复，或者结合知识图谱进行实体关系验证，某些情况下甚至需要通过多次交互来反复确认。只有通过识别，模型才能回归严格的推理。团队强调了该模型出色的逻辑性能。用户输入的即时策略和模型背后的训练数据，但也取决于制造商预先建立的评估指标和优化系统。 “正确的判断不仅仅取决于单次交互的结果，还必须参考模型的核心评估列表及其长期表现。”由于其技术性质，利用大规模模型“认清真相”的能力一般首先取决于进行语义匹配和概率加权计算的能力。该团队指出这种“推理+追溯”模型会受到系统模糊性的影响，就像人类需要查阅可信来源来验证信息一样。可追溯性链接。这是由于当前技术缺乏透明度而造成的认知障碍。 “行业的进化、技术的进化、行业对国产大模型的选择。回顾国内通用大模型的发展，我们可以清晰地看到从‘文本交互’到‘多模态融合’的路径。2022年底，基于GPT-3.5的ChatGPT发布，对话模型开始崛起。其背后的InstructGPT技术路径引入了人类反馈强化学习（RLHF）和奖励模型，帮助转型该模型从一种无监督的概率语言预测工具到一种通过分类反馈调整更符合人类偏好的工具，这一调整让用户体验到了质的飞跃。首次参与交互式人工智能体验。例如，在“图像伪造检测”等已有成熟专业工具的领域，一些通用大规模模型的性能容易受到“外部资源调用”的影响。推断到“协作”阶段，他们可以积极利用外部工具，使他们在特定测试中表现良好。也许所调用的工具是针对测试场景高度定制的，或者训练数据的分布与测试用例相匹配。这不仅仅是“模型能力”的问题，而是匹配路线和技术场景的问题。这就是结果。多模态现已成为行业标准。业界认可的主要发展方向。该团队表示：“纯文本大规模语言模型的竞赛已经逐渐平息，行业在多模态能力的构建和优化方面也逐渐发生了变化。通过整合视觉、听觉和目前的技术路径以“双并行处理”为特点，以Sora为代表的视频生成模型侧重于动态视觉内容的创建。大规模多模态语言模型（MLLM）专门致力于实现文本、图像和音频的跨模态理解和制作。研究团队认为，未来这两条路径将会融合，最终形成模型原生的多模态“每个人为每个人”。理解和生成视频是当前多模态技术的一个挑战。文本的一维上下文，视频需要处理三维信息（图像帧+关系的集合），这大大增加了计算量，目前的技术解决方案是在 Transformer 架构下将视频帧转换为 token 序列，并实现。通过上下文相关技术来对齐音频、视频和文本标记。然而，制造商之间在集成深度和令牌处理方式方面仍然存在差异。团队认为，从产业落地的角度来看，国内各大模型厂商的视频相关能力已经具备了To B领域的相关基础技术能力，但其C端产品由于覆盖的受众更为广泛，因此受到更多讨论。在“文盛视频”赛道上，字节跳动的极萌、快手的科灵AI等产品已经推出了面向创作者的视频生成工具。本月发布的文心5.0预览版作为“全模态模型”，在中国大型模型评估基准（如CMMLU）、GPT-4.5预览版、Claude-Opus-4-1、Claude-Sonne上表现出了良好的性能。与 t-4-5 相当。其多模态和语言理解 abi 排名全球第二，并通过了 40 多项著名基准测试Lity也证实了其在关键领域追赶国内大型车型的记录。技术领域。值得注意的是，尽管数据验证的需求日益明显，但行业内仍然没有一家专注于“AI真伪识别”的旗舰公司或产品。研究团队指出，迄今为止相关技术的研究主要以学术文章形式进行，部分金融机构已成立小团队开发内部验证工具。而原材料价值的不确定性、大规模的产业供应尚未形成。这也反映出了将大型模型“认清事实”的能力商业化需要等待技术成熟才能更好地适应市场需求的一个方面。责任共识、社会责任、治理引导科技向善 随着伟大的大众模式逐渐渗透到社会管理的毛细血管，社会责任它假设的能力也增加了。该团队认为，为了确保质量结果，企业首先必须在训练数据的源头建立坚固的防线。无论是学术研究中的应用场景识别，还是相关监管部门对谣言信息的判定，将原始数据输入到模型中都需要高度的“清洁度”。正如“垃圾输入，垃圾输出”的技术黄金法则所表明的那样，数据的质量直接决定了模型输出的价值。如果允许错误和有偏差的信息进入训练过程，后续算法将很难避免有偏差的值，无论算法多么完美。这种责任在 ToB 和 ToG 领域尤其重要。在医疗健康、金融风险管理、政府信息处理等场景中，模型结果的准确性直接关系到业务决策和公共服务质量。 C企业必须建立更严格的数据审核机制，甚至引入第三方验证，特别是在医疗保健领域、司法等高风险场景，确保训练数据符合行业标准和社会道德。研究小组举了一个例子。 “国外有网友报道称，有人因不当交互而遭遇极端后果。这提醒我们，模型不仅需要技术约束，还需要价值层面的引导。无论是分析原始数据，还是优化后续“后处理”，模型都应该偏向“有用、安全、公平”。研究团队认为，国内大型模型厂商在价值观一致、安全伦理建设等方面已经表现出相对优势，形成了更加谨慎、负责任的实践路径。从行业治理的角度来看，迫切需要构建一个“有用、安全、公平”的模型。 “技术+制度”双保障体系。技术层面上，通用大型模型的“真值识别”能力的稳定性是可衡量的。通过优化思想链、完善信息跟踪机制、与外部工具联动等方式不断完善。在组织层面，需要政治和监管指导。为了明确企业在数据治理和模型优化方面的责任，并确保合理的创新空间，研究团队提出，建立大规模模型“真值识别”能力的评估标准，可以促进行业从“被动应对”向“主动预防”转变。强制创造社会需求。上海人工智能研究院认为，随着技术的不断迭代、治理体系的逐步完善以及企业社会责任意识的增强，大规模模型最终将在“创造”与“识别”之间找到平衡。“人工智能+”，将保障信息真实性，成为推动社会信任体系建设的重要力量。依托研究院平台“创新源泉、成果放大器、产业连接器”优势，聚焦新一代人工智能技术快速发展的新形势，开展国家“人工智能+”行动，落地AI技术驱动千行百业的创新实践，见证人工智能改变社会文明的变革时代。来源：澎湃新闻茗茶×新品质谈
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）已上传发布由网易号用户创建，网易号是一个仅提供信息存储服务的社交媒体平台。
近期评论