企业中的人工智能：在不让企业暴露于风险中的前提下创造价值

文章作者：Giuliana Barba 和 Marianna Lezzi，两位均获得 Università del Salento 博士学位。

生成式人工智能（GenAI）是指一组先进的人工智能（AI）模型，这些模型通过海量数据训练，能够生成新的内容，例如文本、图像和代码。例如，大型语言模型（LLMs）就是能够以高度连贯且符合语境的方式理解和生成自然语言的 GenAI 模型（Barba et al., 2025）。其他 GenAI 模型还包括生成对抗网络（GANs），其基于两个神经网络——生成器和判别器——之间的竞争机制，可以生成高度逼真的合成数据（Ayyaz & Malik, 2024）。这些模型虽然在结构和用途上存在差异，但都具有学习复杂数据表征并生成可信输出的能力。

GenAI 在工业环境中的采用，正在给隐私管理和信息安全体系带来结构性转型，使自动异常检测、合成数据生成以及攻击场景模拟成为可能。从这一角度看，GenAI 是一种能够同时重新定义防御能力与风险面的社会技术型技术：前者是指加强威胁预防、检测和响应能力的一系列功能，后者则是指由于 GenAI 被整合进信息系统和决策流程而导致的技术和社会组织层面脆弱点的扩大（Storey et al., 2025）。

然而，GenAI 也带来了重大风险，尤其是在医疗和国防等关键工业领域（Nyoto & Devega, 2024）。例如，GenAI 模型可能被用于放大鱼叉式网络钓鱼和 deepfake 等社会工程攻击，危及组织声誉和业务连续性，并为信息窃取等更大规模攻击提供便利。此外，在数据治理层面也出现了显著问题。实证研究表明，不受控制的使用方式会进一步放大风险（Diro et al., 2025）：62% 的员工会向 GenAI 系统输入敏感信息，48% 会分享非公开数据，45% 会披露与员工相关的数据，其后果可能包括专有代码和机密内部记录的泄露。

GenAI 的机遇

研究文献表明，GenAI 能够显著增强保护机制。尤其是 LLMs 等生成模型，可以用于自动异常检测，从而识别复杂系统中的可疑行为（Ferrag et al., 2024）。同样，GANs 等模型能够动态识别正常与异常模式，提高工业网络物理环境中入侵检测系统的有效性（Amato et al., 2024）。这一点在工业物联网（IIoT）环境中尤其重要，因为安全管理需要大规模、实时分析能力。

GenAI 对隐私保护的一个核心贡献是生成合成数据。“privacy-by-synthesis”模式能够创建人工数据集，在不暴露敏感信息的情况下保留真实数据的统计特征，从而突破数据共享相关的监管与运营限制，并促进工业主体之间的合作（Partovian et al., 2024）。此外，与 federated learning 的结合——即一种分布式学习方法，让模型直接在各主体持有的数据上进行本地训练，而无需将数据集中共享——能够让数据保留在原始来源，从而进一步降低泄露风险，并提高对数据保护法规的合规程度（Hoefler et al., 2024）。

另一个重要方面是 GenAI 与 blockchain 技术的结合。通过不可篡改的分布式账本和可追溯机制，这种结合能够加强工业信息的安全性与完整性，并支持去中心化治理模式，使合成数据生成和分析过程在不损害隐私的情况下得到验证（Ghani et al., 2024）。医疗领域就是一个重要案例：GenAI 可以生成用于研究和诊断模型训练的合成临床数据，既避免直接暴露患者敏感数据，又能够维持较高的安全和合规标准。

GenAI 的另一个应用领域是对真实攻击场景进行高级模拟，使组织能够测试自身系统的韧性。例如，基于 GANs 的主动防御系统能够生成欺骗性环境，从而显著降低攻击成功率，并延长攻击者攻破系统所需的时间（Qin et al., 2024）。这些结果表明，GenAI 可以支持更加主动的安全管理方式，加强风险管理和业务连续性能力。

GenAI 的风险

除了 GenAI 带来的机遇之外，研究也强调了这项技术引入的新风险。首先是 GenAI 的攻击性使用。生成模型可被用于开发高度个性化的 spear-phishing 攻击（Yamin et al., 2021），也可以用于自动生成恶意代码（Gupta et al., 2023）。Deepfake 同样带来额外风险，因为它能够生成极其逼真的内容，从而损害信任与信息安全（Vijaya et al., 2023）。此外，系统还可能遭受 model inversion 和 inference attack，通过训练好的模型反推出私人数据，这同样构成重要风险（Hu et al., 2024）。

其他风险与训练数据管理有关。训练数据可能不完整、未经验证或包含偏见。这些问题具有重要影响，因为它们可能降低模型可靠性、产生扭曲甚至歧视性的决策，并引入可被恶意行为者利用的漏洞，例如通过 data poisoning 或操纵训练数据实施攻击（Barba et al., 2024）。

在组织层面，员工对 GenAI 的不当使用也是重要风险来源。例如，在 Samsung 案例中，将机密信息输入 GenAI 系统导致专有代码和内部记录泄露，具体体现了信息泄漏风险（Diro et al., 2025）。这一案例表明，安全并不仅仅依赖技术解决方案，还需要适当的组织实践、使用政策以及用户培训。

最后，在治理和监管层面也存在重要问题，因为当前监管模式仍难以充分处理责任、版权和数据保护等议题（Taeihagh, 2025）。此外，模型缺乏透明度，常被视为“黑箱”，限制了对自动化决策过程实施问责和控制的能力（Abumalloh et al., 2024）。与此同时，技术权力可能集中在少数全球性企业手中，对安全、竞争和数据主权产生重大影响（Srivastava et al., 2025）。

操作建议

综合分析 GenAI 的机遇与风险可以看出，它在工业环境中的采用应遵循有意识、渐进式整合的逻辑。对于管理者而言，关键问题并不是是否采用这些技术，而是如何以战略方式采用，并在运营收益和风险影响之间取得平衡。研究表明，GenAI 可以在效率、成本降低和高级分析能力方面创造显著优势，但这些收益只有在配套的组织能力和治理能力到位时才能真正实现。

从这一角度看，第一项操作建议是避免模仿式采用或完全由竞争压力推动的决策。在采用 GenAI 之前，应进行结构化的 trade-off 分析，同时考虑预期经济回报以及与安全、数据管理、监管合规和技术依赖相关的隐性成本（Fischer, 2024）。数字化转型过程需要持续重新配置资源和能力；如果缺乏这种能力，技术采用可能带来的不是价值，而是低效率或新的脆弱性（Vial, 2019）。与此同时，GenAI 管理必须采用系统性视角。有关技术实施的决策应包括对员工、客户和合作伙伴等利益相关者的保护。这意味着既要采用“security-by-design”和“privacy-by-design”实践，也要制定明确的 GenAI 使用政策，以避免无意分享敏感信息等高风险行为（Abdel-Basset et al., 2023）。

此外，在技术权力高度集中于少数大型科技企业的环境中，管理者应认真评估采用开源解决方案或混合模式的机会，以获得更高的数据控制能力、透明度和灵活性。开放生态系统能够降低技术 lock-in 风险，促进内部能力发展，同时也有助于更加公平地分配创新所创造的价值（Bagdasarian, 2020）。

GenAI 的引入也深刻改变了职业能力要求，因此需要系统性的培训和持续更新。技能差距风险是真实存在的，并可能转化为新的组织和社会不平等。投资培训因此成为提升人力资本、确保技术得到有效且负责任使用的重要战略杠杆（Mahmoud et al., 2025）。

最后，还需要思考变革性技术的采用速度。尽管竞争压力推动企业快速实施 GenAI，但研究表明，缺乏治理的加速可能导致一种“破坏性竞争力”，即创新产生的系统性风险超过其收益（Mäkitie et al., 2023）。此外，如果缺乏适当的监管与治理机制，企业之间的差距可能进一步扩大，对社会产生影响，并削弱公众对数字系统的信任（Taeihagh, 2025）。

结论

GenAI 在一些尚未被充分探索、但具有战略意义的领域——例如合成数据生成、federated learning 以及与分布式技术的整合——具有重要的变革潜力，并能够推动新的数据保护与管理模式。然而，这种发展本身也凸显了一个结构性悖论：强化防御能力的同一套技术，也会同时扩大并复杂化风险面。模拟攻击、生成逼真数据或自动化复杂流程的能力，不仅能够提高系统韧性，也为恶意行为者创造了新的机会，使威胁环境更加动态，也更加难以治理。

在这一背景下，所谓 responsible AI 越来越受到重视，这是一个重要但仍不足够的进展。如果缺乏实际的组织实践转型，道德模型和治理框架很可能停留在形式或声明层面。GenAI 的伦理不能被简化为一套指导原则，而必须融入决策流程、个人行为以及企业文化。如果缺乏这种整合，“责任”就有可能退化为一种表面合规，无法真正影响技术实际使用方式。

总而言之，GenAI 已成为当前数字化转型中最具颠覆性和渗透力的技术之一。正因为如此，它应该被视为一个重新审视并纠正现有治理与安全体系结构性弱点的机会。风险可以得到缓解，但前提是首先明确承认这些脆弱性，并愿意将这种认知转化为具体行动。