发明专利
专利类型未知
专利状态202111480214X
专利号专利号 | 202111480214X | 专利名称 | 一种基于图文线性组合的多模态预训练方法 |
---|---|---|---|
专利类型 | 发明专利 | 国际分类 | G06F 18/214 (2023.01),G06F 18/213 (2023.01),G06N 3/0455 (2023.01),G06N 3/08 (2023.01),G06F 40/284 (2020.01),G06V 10/46 (2022.01),G06V 10/764 (2022.01),G06V 10/774 (2 |
申请人 | 湖南工业大学 | 申请地址 | 湖南省株洲市天元区泰山路88号 |
发明人 | 申请日期 | 2021-12-06 | |
下证状态 | 未知 | 更新时间 | 2025-01-10 08:12:24 |
专利摘要 | 一种基于图文线性组合的多模态预训练方法,属于图文多模态检索技术领域,包括以下步骤:S1:对文本和图像分别进行特征提取;S2:在交互层建立文本和图像两种模态间的联系;S2.1:将S1中得到的视觉模态和语言模态的特征向量联合输入到多模态预训练模型的交互层中;S2.2:利用Transformer中的注意力机制,让两种模态相互之间产生联系;S3:将图文匹配或屏蔽语言模型作为预训练目标,将模型训练至可用;S4:将具体的应用场景和下游任务作为训练目标,对所述预训练模型进行微调训练,将模型的性能在该场景下达到最优。本申请的训练方法解决了模型运算时间的瓶颈问题和改良预训练模型微调后性能问题,具有较为重要的科学意义和实际应用价值。 |
买卖双方需提供 | 平台提供 | 转让后买方可获得 | ||
---|---|---|---|---|
企业 | 个人 | 专利代理委托书 专利权转让协议 办理文件副本请求书 发明人变更声明 | 专利证书 手续合格通知书 专利登记簿副本 | |
买方 | 企业营业执照 企业组织机构代码证 | 身份证 | ||
卖方 | 企业营业执照 专利证书原件 | 身份证 专利证书原件 |
专利状态:已下证
专利类型:发明专利
询价专利状态:已下证
专利类型:发明专利
询价专利状态:已下证
专利类型:发明专利
询价专利状态:已下证
专利类型:发明专利
询价您的咨询我们已收到,稍后会有专业顾问与您联系。