通过Dropout论文和专利的对比探讨AI算法相关专利的写作

#本文仅代表作者观点，未经作者许可，禁止转载，不代表IPRdaily立场#

来源：IPRdaily中文网（iprdaily.cn）

作者：李晓芳  中国国际贸易促进委员会专利商标事务所

原标题：通过Dropout论文和专利的对比探讨AI算法相关专利的写作

从1956年人工智能这个概念被首次提出以来，人工智能的发展几经沉浮。近几年来，AI相关论文数和专利申请量均呈现爆炸式的增长，其中AI相关专利的增长率显著高于论文数的增长率，参见WIPO Technology Trends 2019, Artificial Intelligence。本文通过对AI核心算法之一——Dropout技术的论文和专利进行对比，来探讨一下AI算法相关专利的写作技巧。

I．AI相关论文和专利

从1956年人工智能这个概念被首次提出以来，人工智能的发展几经沉浮。随着核心算法的突破、计算能力的提升以及海量数据的支撑，人工智能技术在近十年里迎来了新一次的飞跃。近几年来，AI相关论文数和专利申请量均呈现爆炸式的增长，其中AI相关专利的增长率显著高于论文数的增长率，参见WIPO Technology Trends 2019, Artificial Intelligence。

人工智能领域的研究方向涉及多个不同的学科，在应用层面也涉及到多个子领域。几个代表性的分支有例如AI机器学习和基础算法、智能搜索和智能推荐、语音识别、自然语言处理、自动驾驶及计算机视觉和图像识别。其中AI机器学习和基础算法类相比于其他分支，往往涉及算法方面，由于全球的专利法对于算法相关发明都有着特殊的规定，因而这方面的技术在学术论文和专利申请的撰写方面有诸多不同。

通常，学术论文是某一学术课题在实验性、理论性或预测性上具有的新的科学研究成果或创新见解和知识的科学记录，或是某种已知原理应用于实际上取得新进展的科学总结，用以提供学术会议上宣读、交流、讨论或学术刊物上发表，或用作其他用途的书面文件。因此，论文可以是完全纯理论的，如数学公式、算法等。而专利权，简称“专利”，则是国家或地区给予专利权人对特定的发明创造在一定期限内的排他的保护权。专利法对专利的主题和撰写形式有着特殊的规定。

本文通过对AI核心算法之一——Dropout技术的论文和专利进行对比，来探讨一下AI算法相关专利的写作技巧。

II．Dropout技术

Dropout是由大名鼎鼎的深度学习教父Geoffrey Hinton所提出的一种深度卷积神经网络技术。Geoffrey Hinton由于其对机器学习领域的杰出贡献，获得了2018年度的图灵奖，而Dropout技术被认为是其能够获奖的主要技术成就之一。

Dropout是为了解决神经网络的训练过程中出现的过拟合问题而提出的。在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。过拟合具体表现在：模型在训练数据上的预测准确率较高；但是在测试数据上的预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。Hinton提出的Dropout可以比较有效地缓解过拟合的发生，在一定程度上达到正则化的效果。

Dropout简单一点说就是，在前向传播的时候，让某些节点的激活值以一定的概率p停止工作（输出置零），也不更新权重，其他过程不变。这样可以让一个神经元的出现不应该依赖于另外一个神经元，使模型泛化性更强，如下图所示。

Dropout的开山之作发表于2012年7月3日，题为《Improving neural networks by preventing co-adaptation of feature detectors》，而对应的US专利为US 9,406,017 B2，其最早的临时申请的申请日为2012年12月24日，授权公告日为2016年8月2日。该专利没有进入中国，在中国没有相应的专利权。

III．论文的公开发表日与专利的申请日

对于同一个发明，如果既发表论文又申请专利，该如何决定二者的递交/发表/申请日呢？通常来说，专利的申请日应当在论文公开发表日之前，因为专利要获得授权必须具有新颖性，即在申请日前没有相同的现有技术被公开，否则可能会因为时间安排不当而导致自己的论文破坏自己的专利的新颖性。

但该专利的申请日在论文的公开发表日之后，为什么仍然被授权了呢？这是因为各国对于专利申请都设置了“不丧失新颖性的宽限期” ，即在专利的申请日之前的一段时间内符合一定条件的公开不破坏专利的新颖性，只不过各国对于 “一段时间”的长短和“一定条件”的规定各有不同。中国专利法二十四条规定，在专利的申请日前六个月内，由申请人（发明人）就相同发明创造在规定的学术会议或者技术会议上首次发表的，该专利申请不丧失新颖性。而美国则允许申请人在首次公开该发明内容的1年之内保留专利申请权。因此，本案例专利的申请日虽晚于论文公开发表日，但是在公开发表日之后的一年之内，可以适用新颖性的宽限期，也即该论文不会破坏专利的新颖性。

IV．AI算法专利的专利保护客体适格性审查

除了公开/申请的时间安排要适当之外，对于人工智能算法类专利申请而言，在各国专利审查中要面对的最大挑战是专利客体适格性的审查，因为这些算法或计算机程序往往体现为数学模型或计算方法，在多数国家都不是专利保护的客体。

中国专利法中涉及的相关条款有专利法第25条第1款第（二）项和第2条第2款。专利法第25条第1款第（二）项规定，智力活动的规则和方法不应被授予专利权。并且在专利审查指南里规定算法或数学计算规则不属于专利法保护客体。专利法第2条第2款规定，专利法所称的发明是指对产品、方法或者其改进所提出的新的技术方案。如果人工智能算法专利申请中仅仅记载了一种算法，不包含任何技术特征，则这样的专利申请既有可能因为落入了第25条第1款第（二）项所规定的情况而不属于专利法保护客体，也有可能因为不属于技术方案而不属于专利法保护客体。

美国专利法中涉及专利客体适格性审查的主要是101条款。美国专利法第101条规定：“无论是发明或发现任何新的和有用的过程、机器、产品或物质组成，或任何新的和有用的改进，符合本标题的条件和要求，都可以获得专利权。”但属于“司法例外”的自然法则、物理现象、与抽象概念不可以获得专利权。在2014年Alice vs. CLS Bank案后，美国审查指南规定了判断适格专利客体时的两步法，即，步骤1：权利要求是过程、机器、产品或物质组成？步骤2A：确定权利要求是否指向司法例外。步骤2B：判断权利要求中是否有额外要素（additional elements），足以使整体方案明显多于（significantly more）司法例外。

然而该两步法在审查员的实际分析遇到了很多困难，特别是涉及人工智能及机器学习算法的发明，相当一部分该领域的专利申请都因为客体问题被驳回。在这样的背景下，美国2019年初发布了新修改的审查指南。针对专利客体的审查做出了新的规定，将步骤2A分成两小步Prong1与Prong2。如下图所示。

首先评估权利要求是否引用了司法例外的情况（2019年指南中列举的抽象概念、自然法则或自然现象）。若权利要求没有引用任何的“司法例外”，则符合专利客体要求。如果引用了“司法例外”，请转到Prong2步骤。在Prong2步骤，评估权利要求是否记载了将“司法例外”整合到实际应用的其他元素。若所述例外被整合到实际应用中，则该权利要求是适格的专利客体。若“司法例外”没有整合到实际应用中，权利要求将指向到“司法例外”，转到步骤2B进行进一步分析。

对于本案例的专利来说，其授权的权利要求1为：

1. A computer-implemented method comprising:

obtaining a plurality of training cases; and training a neural network having a plurality of layers on the plurality of training cases, each of the layers including one or more feature detectors, each of the feature detectors having a corresponding set of weights, and a subset of the feature detectors being associated with respective probabilities of being disabled during processing of each of the training cases, wherein training the neural network on the plurality of training cases comprises, for each of the training cases respectively:

determining one or more feature detectors to disable during processing of the training case, comprising determining whether to disable each of the feature detectors in the subset based on the respective probability associated with the feature detector,
disabling the one or more feature detectors in accordance with the determining, and
processing the training case using the neural network with the one or more feature detectors disabled to generate a predicted output for the training case.

 
通过检索该专利在USPTO的审查历史，我们发现这个专利在审查阶段并没有被指出过客体问题，而仅仅是在第一次审查意见通知书中被指出了创造性问题，申请人通过一次修改和答复，即被授权。这说明美国审查员认为权利要求是通过了专利客体适格性审查的。我们试着按照USPTO的修改前的审查指南来对本专利进行一下专利客体适格性判断。

首先，在步骤1中确定权利要求是一种过程。然后进行到步骤2A，由于权利要求中包括训练神经网络，属于抽象概念，那么在审查时会判定权利要求指向司法例外。接下来关键的是步骤2B能否得出权利要求中是否有额外要素足以使整体方案明显多于司法例外。

由于在步骤2B的判断中涉及对发明构思（inventive concept）的判断，因此往往需要通过结合说明书来进行此步骤。我们发现权利要求1中的特征检测器（feature detector）可以被认为是处理“节点”，一个或多个处理节点可以被实施为处理器。进一步，权利要求中的禁用（disabling）的步骤是通过在传统神经网络中引入了新元素，即开关（switch）和随机数发生器实现的。并且说明书还记载了本发明可以用于图像分类、对象识别和语音识别等实际应用，通过本发明的新的结构和流程可以在提高对测试数据的预测准确率的同时减少提高效率和减少时间。通过这些内容，可以得知该权利要求与仅由计算机实现的抽象概念相比满足了“明显多于”的要求。

V．AI算法专利的写作技巧

通过以上分析可以看出，对于算法或计算规则相关的发明创造，只要撰写得当，是可以申请专利并有望获得授权的。代理师在撰写AI算法相关专利申请时可以考虑以下几个方面。

首先，记载实现算法的硬件环境，例如添加处理器、存储器等硬件部件。

就本案例来说，专利在说明书文字部分和附图都明确记载了整个系统包括处理器和存储器。而论文则无此要求。本案例的论文仅仅说明了算法的原理和用不同的样本数据和测试数据的实验结果，完全没有提到硬件环境。虽然中国专利法和审查指南对于硬件环境没有硬性要求，写成虚拟的软件模块只要符合审查指南第二部分第九章的要求也具备授权可能性。然而如果要去其他国家和地区申请专利，则必须要考虑这个问题。比如美国专利实践就倾向于保护有形的产品，由虚拟模块构成的产品往往会被认为得不到说明书的支持，因此，如果专利申请想要在美国获得授权，最好描述算法实现的硬件环境。此外，中国的专利审查指南在2017年4月1日修改之后，也允许处理器+存储器的形式。预计今后硬件结构+软件指令的权利要求形式和硬件环境的说明书撰写方式在中国也越来越成为主流。

第二，将算法转化成流程步骤，并在系统结构中增加算法的执行部件。

以本案例来说，创新点在于使得某些节点的激活值以一定的概率p停止工作。对于论文来说，原理部分写到这里就够了，本论文中并没有记载具体的实现流程或部件，而是把重点放在了使用各种样本集和测试集的实验结果上。但是对于专利来说，所关注的是这样的构思如何具体实现的，因此在申请文件中必须写明具体的实现流程或部件。

在本专利中，说明书在系统结构的描述中写明了本发明是通过增加了一个开关（switch）和一个随机数发生器实现的。开关可以按照学习的或预配置的概率选择性地禁用神经网络中的特征检测器。随机数发生器连接到开关并且为开关提供使开关禁用特征检测器的随机数。而开关和随机数发生器这样的部件在论文是完全没有出现过的，是为了符合专利申请的要求创造出来的。

说明书在还按照训练神经网络的算法流程，撰写了方法步骤，包括禁用特征检测器、处理训练实例、正则化权重、处理测试集，参见图2和说明书相关文字记载。合适的方法流程步骤对于理解AI算法的发明构思和符合专利撰写和审查要求是必需的。

第三，将算法与实际应用场景结合。

美国新修改的审查指南在专利客体适格性判定的步骤2A中的Prong2步骤明确规定，如果权利要求记载了将“司法例外”整合到实际应用的其他元素，则该权利要求是适格的专利客体。中国的审查指南虽未明确规定，但是在第二部分第九章也规定了，如果涉及计算机程序的发明专利申请的解决方案执行计算机程序的目的是解决技术问题，在计算机上运行计算机程序从而对外部或内部对象进行控制或处理所反映的是遵循自然规律的技术手段，并且由此获得符合自然规律的技术效果，则这种解决方案属于专利法第二条第二款所说的技术方案，属于专利保护的客体。所说的对外部对象的控制或处理包括对某种外部运行过程或外部运行装置进行控制，对外部数据进行处理或者交换等；所说的对内部对象的控制或处理包括对计算机系统内部性能的改进，对计算机系统内部资源的管理，对数据传输的改进等。这些规定也暗含了计算机软件应当与具体的应用场景（内部对象或外部对象）结合。况且在实践中，审查员在考虑客体适格性时，实际应用场景是非常重要的一个考量因素。

就本案例来说，由于论文通常要求作者详述实验结果，因此在论文中已经记载了应用在语音识别和图像识别方面的成果。在专利申请中应当将这些实际应用记载在其中，同时还应当写明技术效果。虽然专利申请不需要像论文那样写明具体的参数和具体的实验结果，但是一个概述的技术效果，对于专利客体适格性的评估有着非常重要的影响，尤其是结合实际应用场景的效果。例如，专利说明书中记载本发明可以提高对语音识别或图像识别的测试集的识别性能，并且还提高了效率和减少了时间。这些技术效果的记载可能是本专利被认为是适格的专利客体的重要依据。

最后，在最近这次AI技术起飞之前或之初，国外的巨无霸科技企业，如谷歌、微软、IBM等已经布局了很多AI相关专利，有的甚至是特别基础的AI算法专利，例如本案例涉及的Dropout算法。因此，我国的大学、科研院所和企业在发表学术论文的同时，也要注意进行相应的专利布局，特别要注重高价值和基础技术专利在全球的合理布局，使我国能够在此次全球AI技术革新中占得一席之地。

来源：IPRdaily中文网（iprdaily.cn）

作者：李晓芳  中国国际贸易促进委员会专利商标事务所

编辑：IPRdaily王颖          校对：IPRdaily纵横君

推荐阅读（点击图文，阅读全文）

注：原文链接：通过Dropout论文和专利的对比探讨AI算法相关专利的写作（点击标题查看原文）

如有想看文章主题内容，欢迎留言评论~

官宣！首届“全球科技创新与知识产权总裁研修班”招生简章

嘉宾寄语CPIPS 2019：相约第四届中国医药知识产权峰会2019（10月23-25，上海）

可信好用的全球专利数据库

延期通知！寻找40位40岁以下企业知识产权精英（40 Under 40）活动改期

“投稿”请投邮箱“iprdaily@163.com”

「关于IPRdaily」

IPRdaily成立于2014年，是全球影响力的知识产权媒体+产业服务平台，致力于连接全球知识产权人，用户汇聚了中国、美国、德国、俄罗斯、以色列、澳大利亚、新加坡、日本、韩国等15个国家和地区的高科技公司、成长型科技企业IP高管、研发人员、法务、政府机构、律所、事务所、科研院校等全球近50多万产业用户（国内25万+海外30万）；同时拥有近百万条高质量的技术资源+专利资源，通过媒体构建全球知识产权资产信息第一入口。2016年获启赋资本领投和天使汇跟投的Pre-A轮融资。

（英文官网：iprdaily.com  中文官网：iprdaily.cn） 

本文来IPRdaily中文网（iprdaily.cn）并经IPRdaily.cn中文网编辑。转载此文章须经权利人同意，并附上出处与作者信息。文章不代表IPRdaily.cn立场，如若转载，请注明出处：“http://www.iprdaily.cn/”