预训练大模型创新布局方向

#本文仅代表作者观点，不代表IPRdaily立场#

"本文对预训练大模型创新布局现状进行分析，以期帮助企业了解知识产权布局信息，优化研发方向，提升知识产权竞争力。”

来源：IPRdaily中文网（iprdaily.cn）
作者：囊思知识产权

预训练大模型技术自2017年transformer架构提出以来，经过了快速的发展，目前，基础性架构的研究研究热度有所放缓，预训练大模型技术处于解决最后一公里的关键环节，模型架构的推理、部署与产业落地是预训练大模型研究的趋势和发展方向。

本文对预训练大模型创新布局现状进行分析，以期帮助企业了解知识产权布局信息，优化研发方向，提升知识产权竞争力。

01全球大模型发布情况

2019-2023全球大模型发布情况

截至23年底，我国累计发布238个大模型，大模型数量上已经超过国外总量，138个。其中，23年中国发布大模型178个，远超国外发布的36个，在一年间实现了大模型发布数量上的超越。但在性能更优的，参数规模超10亿的基础大模型数量上，我国为80个，少于美国的100个。

02预训练大模型下沉行业重要城市专利分布情况

预训练大模型下沉行业重要城市专利分布情况

如上图所示，为各下沉行业在四个重要城市专利申请量，其中，北京专利申请量整体较多，尤其在金融行业，专利申请量1826项，在四个城市中排名第一，此外，北京在交通、医疗、写作行业专利申请量均在1200-1300项之间，在其他行业专利申请量最多不超过500项，领域发展特点突出；上海在医疗领域发展优势突出，专利申请总量为709项，在上海上述重点下沉行业中申请量排名第一，其次是在交通和金融领域，上海的专利申请量达到400-500项之间，此外，上海在政务、公安、法律和教育领域专利申请量较少，各行业专利申请量均不超过100项；广州在交通、医疗、金融和写作行业发展势头迅猛，专利申请总量在200-400项之间，在其他行业专利申请量均不超过100项；深圳在医疗和金融行业发展优势较为明显，专利申请量处于第一梯队，分布在770-800项之间，在写作和交通行业专利申请量少于医疗和交通行业，专利申请量分别为652项和469项，在其他行业专利申请量最多不超过200项；整体上看，北京和深圳在金融领域专利申请量最多，上海和广州在医疗领域专利申请量最多，交通、医疗金融和写作领域在四个城市均为发展的热点行业，专利申请量较多。

03主要行业创新主体情况

预训练大模型重要申请人下沉行业情况

如上图所示，为预训练大模型重要申请人下沉行业情况，其中，重要申请人排名靠前的为百度、腾讯、清华和华为，百度和腾讯在交通和写作领域较为突出，依托于自动驾驶技术的发展，百度专利布局更侧重交通领域，专利申请量最多为237项，腾讯在写作领域专利申请量221项超过百度，清华在交通和医疗领域优势较为突出，其中，医疗领域专利申请量150项排名第一，华为在交通和写作领域相对突出。

04重点技术创新主体情况

国内重要创新主体技术分布

如上图所示，为国内重要创新主体技术分布，腾讯在各技术领域均有涉及，在grounding dino技术领域布局数量相对较少，清华在grounding dino和DPO技术领域布局数量相对较少，百度和科大讯飞布局技术分布情况较为相近，均在多模态、文生图、文生视屏和transfomer技术领域较为突出，不同的是，科大讯飞在DPO技术领域布局数量较少，百度其他领域均有涉及；华为在各技术领域均有涉及，在文生视频、RLHF和grounding dino技术领域布局数量相对较少，商汤和上海人工智能研究所在transfomer领域较强；哈工大（深圳）在transfomer和stable diffusion技术领域较强；整体上看，百度、科大讯飞、腾讯、清华均在多模态、文生图、文生视频和transfomer领域技术较强。

05创新方向知识产权分析结论及建议

预训练大模型热点分布

对于预训练大模型的各大关键技术，注意力机制、位置编码、指令微调、轻量化和推理加速等，是各个企业布局的重点方向，其专利布局数量较多。对于预训练大模型中性能突出、提出时间较早的模型，例如transformer、clip、sora等，已存在较多的专利从其结构、训练/微调方法、部署和应用维度分别对模型进行优化。对于grounding dino、mamba、v-jepa等提出时间较晚的模型，由于模型优化的研发和专利申请公开时间的限制，已布局的专利数量较少。而近几年来提出的模型，主要以视觉任务和多模态任务为主，由此可知，在预训练大模型领域，不论是核心技术还是模型，都受到各AI厂商的重点关注，各企业对行业发展的方向变化、热点技术都比较敏锐，及时调整研发和布局的方向。因此，应加大相关技术和相关专利布局的监控力度，保持行业技术发展变化的敏锐度，并充分发挥监控结果在企业研发中的指引作用。

具体从模型相关的布局情况来看，多模态大模型和视觉通用大模型是预训练大模型研究的主要方向。而各个模型的专利布局数量，除了与模型提出的时间有关外，模型结构的优化数量通常少于模型的运用，特别是结构复杂的模型，其通用性较低，优化方向主要是模型的训练、微调和部署方法，即使用模型；而对于模型结构相对简单，完成的任务具有多样化的模型，不论是从模型的可扩展性，还是从其与其他模型的可组合性来看，都具有一定的优势，从而对其结构优化的专利布局数量相对较多。因此，模型结构的简约化、模块化、可复用程度回直接影响模型的优化方向。通常来说，模型优化的专利布局时间与模型提出的时间约存在一年左右的时间差距，模型优化的专利布局高峰与模型提出的时间约存在两年左右的时间差距。在保持行业技术发展变化的敏锐度的同时，应尊重市场发展的规律，基于行业发展的态势为企业研发的方向、核心业务的实现路径提供丰富的角度。

（原标题：预训练大模型创新布局方向）

栏目支持，共建合作伙伴持续招募

来源：IPRdaily中文网（iprdaily.cn）

作者：囊思知识产权