欢迎来到中细软旗下技术转移平台
请登录技术转移平台
-
-
一种大语言模型下的动态推理方法和系统
-
发明专利
专利类型 -
未知
专利状态 -
2024115664545
专利号
-
专利信息
数据仅供参考，具体信息可联系在线顾问
| 专利号 | 2024115664545 | 专利名称 | 一种大语言模型下的动态推理方法和系统 |
|---|---|---|---|
| 专利类型 | 发明专利 | 国际分类 | G06F 40/289 (2020.01),G06F 40/211 (2020.01),G06N 5/04 (2023.01),G06F 16/33 (2019.01),G06N 3/08 (2023.01) |
| 申请人 | 中国计量大学 | 申请地址 | 浙江省杭州市钱塘区学源街258号 |
| 发明人 | 程旭东,胡益,余鸿皓,胡传杰,董志成,任杭良,徐前程,金晶,薛振宇 | 申请日期 | 2024-11-05 |
| 下证状态 | 未知 | 更新时间 | 2026-09-14 10:27:58 |
| 专利摘要 | 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。 | ||
交易流程
转让材料
| 买卖双方需提供 | 平台提供 | 转让后买方可获得 | ||
|---|---|---|---|---|
| 企业 | 个人 | 专利代理委托书 专利权转让协议 办理文件副本请求书 发明人变更声明 | 专利证书 手续合格通知书 专利登记簿副本 | |
| 买方 | 企业营业执照 企业组织机构代码证 | 身份证 | ||
| 卖方 | 企业营业执照 专利证书原件 | 身份证 专利证书原件 | ||
服务保障
优质专利推荐
-
一种一锅法合成硝酸益康唑的方法
专利状态：已下证
专利类型：发明专利
询价
-
带式电泳Micro LED元件连续排列机器人流水线及排列方法
专利状态：已下证
专利类型：发明专利
询价
-
一种球节点空间桁架钢筋笼及其制造辅助装置
专利状态：已下证
专利类型：实用新型
询价
-
一种基于区块链的电动汽车电池更换系统及方法
专利状态：已下证
专利类型：发明专利
询价
- 品类齐全，快速响应
- 专业顾问一对一服务
- 服务流程追踪更安全
400-9696-518
全国免费服务热线
- 细软在线电商小程序
- 细软知识产权公众号
登录成功
您的咨询我们已收到，稍后会有专业顾问与您联系。