自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，它涉及计算机与人类自然语言之间的交互。

自然语言处理是指利用计算机技术对人类自然语言（如中文、英文、法文等）进行分析、理解、生成和处理的技术和方法。其目标是使计算机能够理解、解释和生成人类语言，从而实现人与计算机之间更加自然、高效的交互。

自然语言处理（NLP）在商业环境中的 16 种用途

• 情感分析：情感分析API-Repustate
• 文本分类：文本分类 API-Twinword-Inc
• 聊天机器人和虚拟助手：聊天机器人服务-Chatbase
• 文本提取（挖掘）：AI数据提取【Airparser】
• 机器翻译：Azure AI 翻译
• 文本摘要：2024年5个最佳NLP文本摘要API
• 市场情报：企业级全球新闻情报-newscatcher
• 意图分类：Komprehend 意图分析api
• 语音识别：AI语音工具API助力开发智能化应用
• 搜索自动更正和自动完成：Bing搜索结果API-SERP House
• 社交媒体监测：值得推荐的社交媒体API合辑
• 网络数据提取：Siterelic网页抓取
• 机器学习：Azure 机器学习
• 威胁检测：安全威胁检测API-Cloudmersive
• 欺诈检测：代理和 VPN 检测
• 原生广告：提高广告营销效率和质量：AI营销工具API

情感分析

如今，似乎几乎每个在线的人都有自己的观点（并且愿意广泛分享）。社交媒体、支持工单和评论数据的速度惊人，许多团队都在寻求解决方案来自动理解这些交流。

情感分析是自然语言处理最广泛的用途之一。这个过程涉及确定给定文本的 “积极” 或 “消极” 程度。情感分析的常见用途非常广泛，包括：

• 买方风险
• 供应商风险
• 市场情报
• 产品情报（评论）
• 社交媒体监测
• 承保
• 支持工单路由
• 投资情报

虽然没有任何自然语言处理任务是万无一失的，但研究表明，分析师与顶级情感分析服务的意见接近 85% 的时间是一致的。

情感分析提供商之间的一个类别差异是，一些提供商为整个文档提供情感得分，而一些提供商可以为你提供文本中单个实体的情感。关于实体级情感的第二个重要因素是了解一个实体在理解文本中的核心程度。这个度量通常被称为实体的 “显著性”。

文本分类

文本分类可以指自然语言处理工具内部的一个过程，在这个过程中，文本被分组为相关的单词并为进一步分析做准备。此外，文本（主题）分类可以指对商业用途更有用的用户输出。

文本（主题）分类的用途包括工单或呼叫路由、新闻提及跟踪以及为其他自然语言处理输出提供上下文。文本分类可以作为一种 “操作符”，将请求路由到最适合解决问题的人。

研究表明，普通的支持人员每天只能处理大约 20 个支持工单。文本分类可以极大地缩短工单到达正确支持团队成员的时间，并为该团队成员提供快速解决问题的上下文。Salesforce 指出，69% 的高效支持团队正在考虑使用人工智能进行工单路由。

此外，你可以将文本分类视为理解大量无结构文本中正在发生的事情的一个 “构建块”。文本分类过程也可以通过识别应该以特定方式进行分析的语言或主题来触发其他自然语言处理。

聊天机器人和虚拟助手

有人喜欢，有人讨厌，聊天机器人是一种将信息对话引导至自助服务或人类团队成员的可行方式。

虽然历史上的聊天机器人依赖于开发者绘制 “决策树”（例如，特定输入产生特定选择的流程图模式），但自然语言处理为聊天机器人用户提供了几个明显的好处：

• 能够输入微妙的请求
• 能够以非正式的写作方式输入请求
• 更智能地判断何时将呼叫转交给代理

随着自然语言处理的进步，聊天机器人交互的质量得到了提高，消费者已经习惯了与它们打交道。2018 年至 2019 年间，愿意与聊天机器人打交道的消费者数量翻了一番。最近有报道称，近 70% 的消费者更喜欢与聊天机器人打交道，以获得简单问题的答案。

文本提取（挖掘）

文本提取是许多自然语言处理应用中的关键功能。这个功能涉及从无结构的文本中提取关键信息。关键信息可以是实体（例如，公司、人员、电子邮件地址、产品）、关系、规格、对法律的引用或任何其他感兴趣的提及。文本提取的第二个功能可以是清理和标准化数据。同一实体在文本中可以以多种不同的方式被引用，如代词、缩写、语法上的所有格等等。

文本提取通常是许多其他更高级自然语言处理任务的 “构建块”。

文本提取在 Diffbot 的人工智能网络抓取产品中起着关键作用，使我们能够在无需人工输入的情况下确定各种页面上哪些信息最重要，并将相关事实提取到世界上最大的知识图谱中。

机器翻译

很少有大型组织不与全球供应商、客户、监管机构或公众打交道。“人工参与” 的全球新闻跟踪通常成本高昂，并且依赖于招募能够阅读所有能够为你的组织提供可操作情报的语言的人员。

机器翻译使这些过程能够大规模进行，它指的是将一种语言的自然文本转换为另一种语言的自然语言处理任务。这依赖于理解上下文、能够确定实体和关系，以及理解文档的整体情感。

虽然一些自然语言处理产品以机器翻译为核心，但其他产品只是将其输出标准化为一种语言。Diffbot 的自然语言 API 可以接受英语、中文、法语、德语、西班牙语、俄语、日语、荷兰语、波兰语、挪威语、丹麦语或瑞典语的输入，并将输出标准化为英语。

文本摘要

文本摘要是少数 “生成式” 自然语言处理任务之一。依赖于文本提取、分类和情感分析，文本摘要对一组输入文本进行总结。也许文本摘要最常用的例子是当搜索结果突出显示文档中的特定句子以回答查询时。

自然语言处理中有两种主要的文本摘要方法。提取方法在文本中找到一个或多个句子，它认为这些句子连贯地总结了文档的主要要点。抽象方法实际上是重写输入文本，删除它认为不太重要的点，并重新措辞以减少长度。

文本摘要的主要好处是为最终用户节省时间。在支持或搜索中的问答等情况下，消费者每天都在使用文本摘要。技术、医疗和法律环境也使用文本摘要来快速了解文档的主要要点。

市场情报

查看结合了 Diffbot 的网络抓取、知识图谱和自然语言处理产品的媒体监测仪表板！

关于消费者、供应商、分销商和竞争对手的数据源范围使得市场情报非常适合通过自然语言处理进行颠覆。网络数据是市场状况各种输入的主要来源，能够提供意义同时使个人无需阅读所有基础文档是一个改变游戏规则的因素。

与网络爬虫一起应用，自然语言处理可以提供关于关键市场事件的信息，如并购、关键招聘、融资轮、新办公室开业和员工人数变化。其他常见的市场情报用途包括评论的情感分析、财务、法律或监管文件的摘要等用途。

意图分类

意图分类是自然语言处理中最以收入为中心和最具可操作性的应用之一。在意图分类中，输入是来自潜在客户或客户的直接通信。使用机器学习，意图分类工具可以评估在交互过程中给定个人 “准备购买” 的程度。这可以促使销售和营销推广、特别优惠、交叉销售、向上销售，并有助于线索评分。

此外，意图分类可以帮助路由针对支持的查询或一般查询，如与账单相关的查询。无需甚至提示讨论成员回答特定问题即可推断意图和需求的能力为服务提供商和客户提供了更快、更无摩擦的体验。

语音识别

在当今智能家居和移动连接的世界中，语音识别为自然语言处理打开了远离书面文本的大门。通过专注于高保真语音到文本的功能，可输入自然语言处理程序的文档范围大大扩展。

2020 年，估计所有搜索中有 30% 包含语音成分。对本指南中其他要点中详细介绍的自然语言处理的应用是为提供语音相关功能的组织提供的巨大机会。

搜索自动更正和自动完成

搜索自动更正和自动完成可能是大多数人最容易接触到自然语言处理的领域。近年来，许多电子商务和知识库网站上的搜索已经完全重新思考。快速识别意图并将其与适当的响应配对可以带来更好的用户体验、更高的转化率以及更多关于用户需求的最终数据。

虽然 96% 的主要电子商务网站采用了自动更正和 / 或自动完成，但主要基准测试发现，近 30% 的这些网站存在严重的可用性问题。对于网络上一些流量最大的网站来说，这是一个使用尖端自然语言处理采用高质量预测搜索的重大机会。

社交媒体监测

在所有在线媒体来源中，社交媒体在速度、语气范围和对话类型方面可能是最让人应接不暇的。全球组织可能需要在多种语言、多个平台上处理或监测请求。此外，社交媒体可以为可能影响你的组织的外部问题提供有用的输入，从地缘政治冲突到不断变化的消费者意见，再到竞争对手情报。

在客户服务和销售方面，79% 的消费者期望品牌在社交媒体请求上在一天内做出回应。最近的研究表明，各行业中只有 29% 的品牌经常达到这个标准。此外，寻找新客户的成本是留住现有客户的 7 倍，这导致对社交媒体请求的意图监测和自然语言处理的需求增加。

网络数据提取

基于规则的网络数据提取在一定程度后根本无法扩展。除非你事先知道网页的结构（其中许多网页在不断变化），否则指定提取哪些信息相关的规则将会失效。这就是自然语言处理发挥作用的地方。

像 Diffbot 这样的组织将自然语言处理应用于网络数据提取。通过围绕页面类型（例如，产品页面、个人资料页面、文章页面、讨论页面等）哪些信息可能有用来训练自然语言处理模型，我们可以在没有预先指定规则的情况下提取网络数据。这导致网络爬虫的弹性，并使我们能够扩展可以从中提取数据的页面数量。这种能够爬取多种页面类型并持续提取事实的能力是我们知识图谱的动力。对网络数据提取感兴趣？一定要查看我们的自动提取 API 或在我们的知识图谱中预先提取的公司信息、人口统计信息和文章数据。

机器学习

虽然机器学习通常是自然语言处理工具的输入，但自然语言处理工具的输出也可以启动机器学习项目。使用来自网络的自动结构化数据可以帮助你跳过耗时且昂贵的标注任务。

我们经常看到我们的自然语言 API 以及知识图谱数据（两者都启用了自然语言处理技术）被用于启动机器学习练习。很少有训练数据集像公共网络数据那么大。并且公共网络数据类型和主题的范围使其成为许多机器学习之旅的良好起点。

威胁检测

查看 FactMata 如何使用 Diffbot 知识图谱数据检测在线假新闻和威胁。

对于具有高速度的平台或其他文本数据源，自然语言处理已被证明是标记仇恨言论、威胁言论或虚假声明的良好第一道防线。能够大规模监测社交网络和其他位置允许识别 “不良行为者” 网络，并对在线恶意行为者进行系统保护。

我们与多个组织合作，通过我们的自然语言处理 API、网站爬虫和知识图谱数据帮助打击假新闻。无论是作为实时结构化网络数据的来源，还是作为未来威胁检测工具的训练数据，网络是书面有害或威胁性通信的最大来源。这使其成为训练非营利组织、政府机构、希望监管自己内容的媒体网站以及其他用途的有效自然语言处理工具的最佳位置。

欺诈检测

自然语言处理在欺诈预防工作中发挥着多种作用。大型电子商务网站利用结构化产品页面的能力来寻找重复和欺诈性的产品提供。其次，关于组织和这些组织的关键成员的结构化数据可以帮助检测非法活动的模式。

知识图谱 —— 自然语言处理的一种可能输出 —— 特别适合欺诈检测，因为它们能够链接不同的数据类型。就像人类研究支持的欺诈调查从不同来源和不同实体 “拼凑” 信息一样，知识图谱允许机器积累类似的信息。

原生广告

对于嵌入在其他内容中的广告，跟踪哪种上下文为广告放置提供最佳设置可以使系统生成越来越好的广告放置。使用网络抓取与自然语言处理相结合，关于文章情感、关键实体提及以及哪些实体在文本中最为核心的信息可以导致更好的广告放置。

许多品牌遭受广告支出表现不佳以及品牌安全（放置在合适位置）的问题，自然语言处理有助于大规模解决这些问题。

原文链接：https://www.explinks.com/blog/ai-diffbot-api-code-example/?aid=imooc_0001