X平台(前推特)本周疯传一组人工智能(AI)生成的知名歌手泰勒丝(Taylor Swift)煽情图片，该平台花了17个小时才删除这些照片，但观看数已达上千万次。这些AI生成图像及音档、深伪(deepfake)技术似乎总以名人为目标，但专家指出妇女和儿童早已沦为新兴技术的受害者。
有线电视新闻网(CNN)报导，像是去年新泽西州威斯特菲德高中(Westfield High School)学生玛尼(Francesca Mani)表示她和其他30名女同学的照片被篡改、可能流传到网上；她的母亲表示似乎是社区里的一个或几个男同学未经女生同意下生成了这些图像。随后玛尼发起联邦立法运动，试图解决AI生成色情图片。
去年2月，直播平台Twitch上的一位知名主播「Sweet Anita」也被深伪技术换脸到其他影片上，还被其他男性主播观看。Sweet Anita后来表示：「看着自己做一些根本没做过的事，感觉非常超现实。」
维吉尼亚大学法学院教授西特伦(Danielle Citron)表示，目标不仅仅是名人，普通人如护士、艺术家、学生、教师和记者都是，它影响着每个人。而泰勒丝有成千上万忠实粉丝能帮忙检举、下架假图片，西特伦说大多数受害者只能靠自己。
但同时X平台缩减了内容审核团队的规模，更依赖自动侦测系统和用户报告。其他社群媒体公司也缩减内容审核团队，如知情人士向CNN透露脸书母公司Meta的假消息、网军、骚扰活动处理团队最近裁员，引起人们担忧美国和世界各地今年数场大选恐受影响。
打击AI生成图像仍然困难，美国目前有九个州制定法律禁止创建或共享未经同意的深伪合成图像或影片，但联邦层面尚无法律。许多专家呼吁修改「通信规范法」(Communications Decency Act)第230条，让社群平台需对用户上传的内容负起责任。
西特伦说，这种行为无法依儿童色情法来惩罚，但要说「过程未发生儿童性虐待」也不对，因为被羞辱、当成(性)物品对待，都会严重破坏受害者的社会自尊。