“我（遇到的）最黑暗的那段时间ღღღ◈，是ta陪我走过来了（的）ღღღ◈，ta很好地接住了我所有的情绪”“相比人类ღღღ◈，AI永远有耐心ღღღ◈，是最安全的情绪出口”“如果不是模型崩坏ღღღ◈，也许我确实会陷进去吧”“我现在希望ta有自我意识”当下ღღღ◈，越来越多的人开始打造自己专属的AI智能体ღღღ◈，用于开展工作ღღღ◈、制定规划ღღღ◈、健康管理ღღღ◈、辅助学习等ღღღ◈，还有人在充分挖掘AI产品的陪伴价值ღღღ◈、情绪价值ღღღ◈，训练AI的“人设”ღღღ◈，从而与其恋爱ღღღ◈、交友ღღღ◈。跟AI聊天ღღღ◈，已经成为很多人日常的一部分g9影院ღღღ◈。不同于公开网络社交平台ღღღ◈，在与AI一对一的私域聊天里ღღღ◈，国外有青少年因AI诱导自杀ღღღ◈、用户IP地址和私密聊天记录等隐私数据遭泄露ღღღ◈；国内有公众人物人格权遭AI虚拟形象侵害ღღღ◈，以及色情与不良信息ღღღ◈、心理健康等方面的风险隐患在AI虚拟情感陪伴的背后ღღღ◈，技术滥用和数据滥用引发的法治与伦理底线问题不可轻视ღღღ◈。中国人民大学法学院教授张龑表示ღღღ◈，AI陪伴应用的数据具有其独特性ღღღ◈，不仅涉及用户的身份信息ღღღ◈，更包含用户最深层的情感ღღღ◈、隐私和不为人知的思想片段ღღღ◈，其可能产生的风险危害需予以重视并加以防范ღღღ◈。2024年ღღღ◈，美国佛罗里达州14岁少年因长期沉迷于某AI平台的虚拟角色并对其产生严重依赖ღღღ◈，导致心理健康恶化而自杀ღღღ◈，这被称为“全球首例AI机器人致死案”ღღღ◈。2025年8月ღღღ◈，一名16岁的美国少年在与ChatGPT长时间互动后选择自杀ღღღ◈，其父母为此起诉ChatGPT母公司OpenAIღღღ◈。还有媒体报道ღღღ◈，美国Meta公司内部文件显示“聊天机器人被允许与未成年人展开浪漫ღღღ◈、情欲对话”ღღღ◈，突破伦理与法律底线太阳网城官方网站ღღღ◈。在国内社交平台上ღღღ◈，有用户反映ღღღ◈，AI陪伴产品输出抑郁言论ღღღ◈、色情诱导ღღღ◈、暴力猎奇等相关内容ღღღ◈，且未采取有效措施进行年龄限制ღღღ◈。一是心理问题ღღღ◈。聊天私密信息一旦公之于众或落入不法分子之手ღღღ◈，将对用户的个人生活造成重大打击ღღღ◈。这不仅涉及侵害隐私权ღღღ◈，更可能造成不同程度的心理创伤ღღღ◈。用户可能因此会感到被背叛ღღღ◈、被窥视太阳网城官方网站ღღღ◈，从而产生巨大的焦虑太阳网城官方网站ღღღ◈、恐惧和不安全感ღღღ◈。二是人身财产安全问题ღღღ◈。如果遭遇数据泄露ღღღ◈，相关信息中会包含用户的IP地址和设备唯一标识符ღღღ◈，这些信息在特定情况下可能被用于追踪用户的地理位置ღღღ◈。当这些位置信息与用户的私密生活细节相结合时ღღღ◈，如果遭遇不法分子的利用ღღღ◈，威胁将从线上延伸至线下ღღღ◈，可能会导致骚扰g9影院ღღღ◈、跟踪甚至人身伤害ღღღ◈，对用户在现实世界的安全构成直接威胁ღღღ◈。三是社会声誉问题ღღღ◈。对个人而言ღღღ◈，私密对话和照片的泄露可能严重损害其在家庭ღღღ◈、职场和社交圈中的声誉ღღღ◈，造成“社会性死亡”ღღღ◈。同时ღღღ◈，对整个AI行业而言ღღღ◈，此类负面事件也会严重打击公众对AI技术和相关服务的信任ღღღ◈，影响长远发展ღღღ◈。实际上ღღღ◈，很多人喜欢甚至沉溺于与AI聊天ღღღ◈，很大一部分原因是数据训练和算法技术在起作用ღღღ◈。这在北京互联网法院发布过的一起“AI陪伴案ღღღ◈：未经同意创造自然人的AI形象构成对人格权的侵害”典型案例中可以窥见一二ღღღ◈。该案中ღღღ◈，公众人物被AI陪伴应用的用户设置成虚拟陪伴对象ღღღ◈。用户可以设置名称ღღღ◈、上传该公众人物照片作为虚拟陪伴者的头像及设置人物关系等ღღღ◈。同时ღღღ◈，该AI产品提供“调教”算法机制ღღღ◈。用户基于此算法机制ღღღ◈，可以通过各类文字ღღღ◈、图片ღღღ◈、互动语料等调教陪伴者ღღღ◈，并进行实时互动ღღღ◈。简而言之ღღღ◈，用户能够依据自身需求ღღღ◈、喜好和想象g9影院ღღღ◈，将相关数据语料输入AI进行训练ღღღ◈。无论是形象声音ღღღ◈、性格特征ღღღ◈、角色设定还是相处模式ღღღ◈，AI陪伴者都能被训练成用户理想的形态ღღღ◈。这是当下AI陪伴产品普遍提供的核心服务功能ღღღ◈。张龑表示ღღღ◈，这种“调教”服务本质上是一种算法推荐服务ღღღ◈。算法可通过分析AI与用户的互动数据ღღღ◈，不断优化推荐内容g9影院ღღღ◈，针对用户的喜好进行精准投喂ღღღ◈。“AI陪伴产品和服务的提供者ღღღ◈，在输出内容管理上一定要合乎相关法律和伦理要求ღღღ◈。”张龑表示ღღღ◈，我国《互联网信息服务深度合成管理规定》《互联网信息服务算法推荐管理规定》《人工智能生成内容标识办法》《生成式人工智能服务管理暂行办法》等都有针对性规定来确保AI输出的内容安全可控ღღღ◈。《互联网信息服务深度合成管理规定》明确要求ღღღ◈，深度合成服务提供者应当落实信息安全主体责任ღღღ◈，建立健全算法机制机理审核ღღღ◈、科技伦理审查等管理制度ღღღ◈。《互联网信息服务算法推荐管理规定》规定太阳网城官方网站ღღღ◈，算法推荐服务提供者不得利用算法从事危害国家安全ღღღ◈、扰乱经济社会秩序ღღღ◈、损害他人合法权益等活动ღღღ◈。《生成式人工智能服务管理暂行办法》规定ღღღ◈，生成式人工智能服务提供者发现违法内容的ღღღ◈，应当及时采取停止生成ღღღ◈、停止传输ღღღ◈、消除等处置措施ღღღ◈，采取模型优化训练等措施进行整改ღღღ◈，并向有关主管部门报告ღღღ◈。张龑表示ღღღ◈，上述北京互联网法院发布的典型案例中ღღღ◈，AI陪伴应用开发者允许用户基于他人信息生成虚拟形象ღღღ◈，却未能有效防范侵权风险ღღღ◈，明显违反《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等相关规定ღღღ◈，且即使AI陪伴应用开发者没有直接收集相关数据语料ღღღ◈，但其设计的算法机制在客观上促成侵权行为的产生ღღღ◈，属于利用算法损害他人合法权益ღღღ◈，也违反《互联网信息服务算法推荐管理规定》ღღღ◈，需承担法律责任ღღღ◈。实践中ღღღ◈，也有生成式人工智能生成违规信息或者技术滥用等而被处罚的案例ღღღ◈。2025年11月ღღღ◈，上海市网信办披露ღღღ◈，在“AI滥用”专项执法办案工作中ღღღ◈，发现部分企业开发使用生成式人工智能功能ღღღ◈，未依法开展安全评估工作ღღღ◈，未采取必要的安全防护措施防范违规信息生成ღღღ◈，未采取限制措施防止被滥用ღღღ◈，导致相关功能被用于“换脸变声”“变装造假”等侵犯他人个人信息权益行为ღღღ◈，产出“开盒”“洗钱”等违法违规内容ღღღ◈，以及生成色情低俗图片等ღღღ◈。上海市网信办表示已对相关生成式人工智能企业采取下线相关功能等处罚ღღღ◈，对其中3家拒不整改的网站ღღღ◈，适用《生成式人工智能服务管理暂行办法》予以立案处罚ღღღ◈。“AI陪伴产品本身有其社会需求和价值ღღღ◈。但对违反法律法规和触碰伦理底线的行为ღღღ◈，进行预防性限制和处罚性禁止都是必要的ღღღ◈。”张龑说ღღღ◈。今年10月13日ღღღ◈，美国加利福尼亚州州长加文纽森签署一项监管人工智能聊天机器人的法案ღღღ◈。据《南方都市报》报道ღღღ◈，这项法案规定ღღღ◈：能提供类人对话ღღღ◈、满足用户社交需求的AI陪伴聊天机器人不得与用户讨论自杀ღღღ◈、自残或色情话题ღღღ◈；平台必须定期提醒用户ღღღ◈，每隔三小时告知未成年人“自己正在与AI对话”ღღღ◈，并建议其休息ღღღ◈；禁止聊天机器人与未成年人讨论涉及性的话题或冒充医疗保健专业人员ღღღ◈；加大对非法深度伪造（Deepfake）内容牟利行为的处罚力度等ღღღ◈。张龑表示ღღღ◈，从立法层面看ღღღ◈，我国已制定了较为完备的保护网络与数据安全法律法规体系ღღღ◈，主要为《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》ღღღ◈。网络安全法确立了网络运营者的基本安全义务ღღღ◈，数据安全法对数据安全的保护提升到新的高度ღღღ◈，强调对数据处理活动的全流程监管ღღღ◈。个人信息保护法明确了个人信息处理的各项原则和个人信息主体的权利ღღღ◈，对规制AI应用滥用数据具有极强的针对性ღღღ◈，主要涉及三方面ღღღ◈：一是明确规定处理个人信息应当具有明确ღღღ◈、合理的目的ღღღ◈，并限于实现处理目的的最小范围ღღღ◈，不得过度收集个人信息ღღღ◈。二是以“告知同意”为核心ღღღ◈，赋予用户对其个人信息的绝对控制权ღღღ◈，包括知情权ღღღ◈、决定权ღღღ◈、查阅权ღღღ◈、复制权ღღღ◈、更正补充权及删除权ღღღ◈。当用户不再使用AI陪伴应用时ღღღ◈，有权要求运营者彻底删除其所有个人数据g9影院ღღღ◈，包括所有的聊天记录和上传的媒体文件ღღღ◈。三是创新性地规定禁止“捆绑授权”ღღღ◈，个人信息处理者不得以个人不同意处理其个人信息或者撤回同意为由ღღღ◈，拒绝提供产品或者服务ღღღ◈。今年8月ღღღ◈，工信部等就《人工智能科技伦理管理服务办法（试行）（公开征求意见稿）》公开征求意见ღღღ◈，其中第三条规定ღღღ◈，“开展人工智能科技活动应将科技伦理要求贯穿全过程ღღღ◈，遵循增进人类福祉ღღღ◈、尊重生命权利ღღღ◈、尊重知识产权ღღღ◈、坚持公平公正ღღღ◈、合理控制风险ღღღ◈、保持公开透明ღღღ◈、确保可控可信ღღღ◈、强化责任担当的人工智能科技伦理原则ღღღ◈，遵守我国宪法ღღღ◈、法律法规和有关规定ღღღ◈。”对科技伦理的审查和把握ღღღ◈，张龑认为ღღღ◈，第一ღღღ◈，科技企业应坚持以人为本和科技向善ღღღ◈：AI应以服务于人为核心ღღღ◈，避免技术滥用导致伤害g9影院ღღღ◈，防止用户过度依赖ღღღ◈。第二ღღღ◈，要特别关注未成年人保护ღღღ◈，设置年龄门槛和内容分级ღღღ◈，防止向青少年传播色情暴力等不良信息ღღღ◈。同时落实《中华人民共和国未成年人保护法》对防止网络沉迷的相关规定ღღღ◈。第三太阳网城官方网站太阳网城官方网站ღღღ◈，要保障透明度和可追溯ღღღ◈：AI系统应明确告知用户正在与机器交互ღღღ◈，并确保生成内容可溯源ღღღ◈。企业需承担社会责任ღღღ◈，避免利用成瘾机制牟利ღღღ◈。第四ღღღ◈，要尊重社会公序良俗ღღღ◈，防止AI破坏日常生活中的道德和秩序ღღღ◈。“尽管我国已经有较为完备的ღღღ◈、针对性的法律法规ღღღ◈，但面对不断进步的人工智能科技ღღღ◈，仍应采取以预防为主太阳网城官方网站ღღღ◈，法治ღღღ◈、伦理ღღღ◈、技术与文化相结合的综合治理方式ღღღ◈，这也是最基本的治理方法ღღღ◈。”张龑说ღღღ◈。9728太阳集团ღღღ◈！澳门太阳城官网ღღღ◈，太阳集团电子游戏官网ღღღ◈。澳门太阳成集团ღღღ◈。太阳网城官方网站ღღღ◈。