对于社交平台而言, 生态安全治理不仅涉及违规内容的识别与处置, 也贯穿账号管理、社交互动和用户保护等多个环节。
对于社交平台而言, 生态安全治理不仅涉及违规内容的识别与处置, 也贯穿账号管理、社交互动和用户保护等多个环节。面对诈骗引流、虚假人设、低质内容及不文明互动等多样化风险, 如何提高风险识别的准确性与处置效率, 成为平台持续完善治理能力的重要课题。近年来,AI 技术在内容审核和风险研判中的应用不断深入, 也为社交平台探索更加智能、精细的治理模式提供了新的技术支撑。
近日,Soul App 发布《2026 年第三季度生态安全报告》, 披露最新一季度的平台治理成果。报告显示,Soul 在三季度进一步扩大 Agent 智能审核的应用范围, 覆盖诈骗、违规引流、色情交易等多类风险场景, 日均审核识别量超过 1.6 万例, 平均审核耗时仅 40 秒。同时, 平台持续完善广场内容审核、社交骚扰防护及未成年人保护等机制, 以技术治理与用户引导相结合的方式, 营造更加安全、友善的社交环境。
AI 审核覆盖更多风险场景
在网络诈骗及黑灰产治理中, 违规账号往往通过不断调整话术、伪装身份、转移引流方式等手段规避审核。面对这些复杂多变的风险行为, 依赖固定规则或单一内容特征的识别方式存在一定局限, 如何提高审核效率与判断准确性, 成为平台治理的重要课题。
今年以来,Soul 不断探索 Agent 技术在安全审核领域的应用。进入三季度, 平台针对杀猪盘、违规引流、色情交易等风险类型, 进一步完善相应的 Agent 审核能力, 借助智能化工具辅助识别不同场景中的风险特征, 提高对可疑内容及账号的研判效率。
目前,Soul 的 Agent 日均审核识别量超过 1.6 万例,AI 审核比例达到 85%, 其中处置风险账号 3000 余个。相关审核准确率达到 90% 以上, 平均审核耗时约 40 秒。这意味着,AI 不仅能够承担更多常规审核任务, 也正在成为复杂风险判断的重要辅助工具。
针对以索取钱财为目的的违规「网乞」行为,Soul 还引入专门的智能审核大模型, 进一步加强对相关内容的识别与处置, 准确率达到 99% 以上。通过细化不同风险类型的审核策略, 平台得以更加及时地发现并干预潜在违规行为。
除了对诈骗及引流行为加强防范, 虚假人设与盗图问题也是本季度治理的重点。对于冒充他人、盗用图片、虚构身份及虚假炫富等行为,Soul 综合图片来源、人像特征、账号关联信息等线索进行判断, 并依据风险程度采取相应处置措施。三季度, 平台累计处理假人设违规账号 4 万余个、相关帖子 8 万余条, 进一步维护社区社交信息的真实性。
广场内容治理更加精细
在公开内容场景中, 一些违规行为并不会直接出现在帖子正文里。用户昵称、个人标签、主页背景等看似零散的信息, 经过组合后, 也可能成为不良引流或虚假交友的线索。
为此,Soul 在三季度新增用户主页快照审核能力, 将审核视野从单条帖子拓展至用户主页的多个信息维度。通过综合判断账号资料与发布内容之间的关联, 平台能够更有效地发现消费托、红娘、有偿交友、广告引流及低俗导流等违规行为, 相关处置准确率达到 99%。
与此同时, 广场内容的常态化治理仍在推进。三季度,Soul 通过机审直接拦截违规内容 290 万条, 处置相关跟帖评论 404 万条, 处理违规账号 10.8 万个, 累计封禁违规设备 2498 个。此外, 平台继续通过友善互动声明等方式引导用户遵守社区规范, 季度内累计有 15.6 万用户签署相关声明。
对于有偿交友、低俗擦边、钓鱼交友等影响社区氛围的内容,Soul 也进一步完善了从识别到处置的审核流程。平台结合多模态模型、大模型、风险内容治理 Agent 及人工复核等能力, 对可疑内容进行综合判断, 并根据违规程度采取限制分发、降低推荐权重等差异化措施。
目前, 平台日均处理相关低质内容超过 13 万条。通过更加细致的内容审核与风险分级,Soul 在保障正常交流和表达的同时, 减少违规及低质信息对用户体验的干扰。
加强互动场景安全防护
对于社交平台而言, 内容安全不仅关乎用户看到了什么, 也关乎用户在交流过程中遭遇了什么。尤其在群聊、私聊等互动场景中, 攻击辱骂、频繁骚扰及其他不文明行为, 可能直接影响用户的社交体验。
在群聊治理方面,Soul 通过实时消息审核、房间巡检及自动化管理策略, 对群聊中的违规内容和不良行为进行及时干预。三季度, 平台群聊消息流日均处置违规用户相关行为 7000 余次, 拦截违规文本 1.5 万条;同时, 对存在问题的群聊房间名称进行持续清理, 日均处置违规房名 2500 余次, 减少不良内容在群聊场景中的传播。
私聊保护则更加关注用户的实际感受。对于重复发送的骚扰消息、令人不适的互动内容, 平台通过风险识别和消息隔离等方式, 尽可能减少不必要的打扰。Soul 持续优化「骚扰消息自见」、消息盒子及守护提醒等功能, 让用户能够更自主地管理私聊信息、维护个人社交边界。
报告显示, 三季度, 相关骚扰消息防护策略日均保护用户 6.5 万余人, 消息盒子日均收纳消息 3000 余条, 面向疑似遭受骚扰的用户日均下发守护弹窗 8.8 万余次。平台还通过礼仪分管理和文明互动提醒等机制, 对不友善行为进行约束, 鼓励用户建立相互尊重的交流习惯。
针对网络暴力与恶意骚扰,Soul 同样加强了对用户互动过程的保护。三季度, 平台日均帮助用户隔绝网暴及频繁骚扰 3149 次, 处理存在私聊不文明行为的用户 1744 个, 提醒友善评论 2490 次。
从公开评论到私人对话, 平台正在通过技术识别、产品干预与用户自主防护等不同方式, 减少不文明行为造成的影响, 让用户在建立社交关系的过程中获得更充分的安全保障。
完善未成年人保护与社区共治
三季度恰逢暑期, 未成年人保护成为网络生态治理的重要工作之一。针对这一时期的保护需求,Soul 开展未成年人专项保护行动, 在原有审核机制基础上, 进一步加大对相关内容的审核力度, 并优化针对骚扰未成年人等不良行为的识别策略。
据了解, 专项行动期间,Soul 投入的未成年人内容审核资源量扩充至此前的 3 倍, 相关内容的整体审核量也同步提高至 3 倍。在扩大审核覆盖范围的同时, 平台加强了对有害内容的发现和处置, 三季度有效识别并处理的相关有害内容数量较第二季度提升 20% 以上。
在技术防护之外, 社区生态建设也离不开用户对平台规则的理解和参与。三季度,Soul 官方账号「风纪球长」围绕违规行为处罚、安全标准、社交礼仪及网络辟谣等主题, 累计发布生态安全宣传内容 71 篇, 触达用户 53 万人。
通过公开典型违规案例、普及安全知识和倡导文明互动,Soul 希望让更多用户理解平台治理规则, 提高风险防范意识, 并在日常交流中共同维护友善的社区氛围。
未来,Soul 将继续探索 AI 技术在生态安全治理中的应用, 推动智能审核、产品保护与社区规范建设相互协同, 不断提升风险识别和综合治理能力。与此同时, 平台也将持续关注用户在不同社交场景中的实际需求, 完善覆盖内容发布、账号管理及互动交流的安全机制, 为用户营造更加真实、安全、友善的社交环境。
来源：互联网
