(function(){var el = document.createElement("script");el.src = "https://lf1-cdn-tos.bytegoofy.com/goofy/ttzz/push.js?0fd7cab5264a0de33b798f00c6b460fb0c1e12a69e1478bfe42a3cdd45db451bbc434964556b7d7129e9b750ed197d397efd7b0c6c715c1701396e1af40cec962b8d7c8c6655c9b00211740aa8a98e2e";el.id = "ttzz";var s = document.getElementsByTagName("script")[0];s.parentNode.insertBefore(el, s);})(window)

MiniGPT-v2多模态

古风汉服美女图集

MiniGPT-v2多模态官网

MiniGPT-v2:大型语言模型作为视觉语言多任务学习的统一接口
网站服务:MiniGPT-v2。

随着GPT-4V多模态模型的发布,具备图像识别的大语言模型,正在成为未来的趋势。
近日,KAUST 团队以及来自 Meta 的研究者宣布,他们将 MiniGPT-4 重磅升级到了 MiniGPT-v2 版本。

论文地址:https://arxiv.org/pdf/2310.09478.pdf 论文主页:https://minigpt-v2.github.io/ Demo: https://minigpt-v2.github.io/ 代码:https://github.com/Vision-CAIR/MiniGPT-4

具体而言,MiniGPT-v2 可以作为一个统一的接口来更好地处理各种视觉 – 语言任务。同时,本文建议在训练模型时对不同的任务使用唯一的识别符号,这些识别符号有利于模型轻松的区分每个任务指令,并提高每个任务模型的学习效率。 为了评估 MiniGPT-v2 模型的性能,研究者对不同的视觉 – 语言任务进行了广泛的实验。结果表明,与之前的视觉 – 语言通用模型(例如 MiniGPT-4、InstructBLIP、 LLaVA 和 Shikra、相比,MiniGPT-v2 在各种基准上实现了 SOTA 或相当的性能。例如 MiniGPT-v2 在 VSR 基准上比 MiniGPT-4 高出 21.3%,比 InstructBLIP 高出 11.3%,比 LLaVA 高出 11.7%。

 

MiniGPT-v2 模型架构如下图所示,它由三个部分组成:视觉主干、线性投影层和大型语言模型。 视觉主干:MiniGPT-v2 采用 EVA 作为主干模型,并且在训练期间会冻结视觉主干。训练模型的图像分辨率为 448×448 ,并插入位置编码来扩展更高的图像分辨率。 线性投影层:本文旨在将所有的视觉 token 从冻结的视觉主干投影到语言模型空间中。然而,对于更高分辨率的图像(例如 448×448、,投影所有的图像 token 会导致非常长的序列输入(例如 1024 个 token、,显着降低了训练和推理效率。因此,本文简单地将嵌入空间中相邻的 4 个视觉 token 连接起来,并将它们一起投影到大型语言模型的同一特征空间中的单个嵌入中,从而将视觉输入 token 的数量减少了 4 倍。 大型语言模型:MiniGPT-v2 采用开源的 LLaMA2-chat (7B) 作为语言模型主干。在该研究中,语言模型被视为各种视觉语言输入的统一接口。本文直接借助 LLaMA-2 语言 token 来执行各种视觉语言任务。对于需要生成空间位置的视觉基础任务,本文直接要求语言模型生成边界框的文本表示以表示其空间位置。

Mini-GPT不但可以识别图中的物体,还能标注不同物体所在的区域。

你也可以不加任何任务识别符合,和图片进行对话:

目前,Mini-GPT已经提供了免费的Demo。

MiniGPT-v2多模态网址入口

https://minigpt-v2.github.io/

小编发现MiniGPT-v2多模态网站非常受用户欢迎,请访问MiniGPT-v2多模态网址入口试用。


MiniGPT-v2多模态
收录说明:
1、本网页并非 MiniGPT-v2多模态 官网网址页面,此页面内容编录于互联网,只作展示之用;
2、如果有与 MiniGPT-v2多模态 相关业务事宜,请访问其网站并获取联系方式;
3、本站与 MiniGPT-v2多模态 无任何关系,对于 MiniGPT-v2多模态 网站中的信息,请用户谨慎辨识其真伪。
4、本站收录 MiniGPT-v2多模态 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,
5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)

前往AI网址导航
© 版权声明

相关文章