<blockquote>
<p>梦晨 发自 凹非寺<br/>量子位 | 公众号 QbitAI</p>
</blockquote>
<p>GPT-4 识图功能迟迟不开放，终于有人忍不住自己动手做了一个。</p>
<p><strong>MiniGPT-4</strong>来了，Demo 开放在线可玩。</p>
<p>传一张海鲜大餐照片上去，就能直接获得菜谱。</p>
<div><img src="/wp-content/uploads/replace/48e4c58a3ac63f3bf6752cbc4c48dd02.gif" original-src="/wp-content/uploads/replace/48e4c58a3ac63f3bf6752cbc4c48dd02.gif"/></div>
<p>传一张商品效果图，就可以让 AI 写一篇带货文案。</p>
<div><img src="/wp-content/uploads/replace/e1466eda54b1c46e2a002850a569d9d3.gif" original-src="/wp-content/uploads/replace/e1466eda54b1c46e2a002850a569d9d3.gif"/></div>
<p>手绘一个网页，可以给出对应的 HTML 代码</p>
<div><img src="/wp-content/uploads/replace/44b6a6eea2f44488d620b0abfc10179f.gif" original-src="/wp-content/uploads/replace/44b6a6eea2f44488d620b0abfc10179f.gif"/></div>
<p>除了生产力拉满，也支持根据常识推理图上内容是否合理、解释表情包为什么好笑，以及看截图找电影等娱乐玩法。</p>
<div><img src="/wp-content/uploads/replace/ebfeff8881a705b020592966b4adfd98.png" original-src="/wp-content/uploads/replace/ebfeff8881a705b020592966b4adfd98.png"/></div>
<p>可以说，GPT-4 发布时展示过的功能，MiniGPT-4 基本也都有了。</p>
<p>这下网友直接把 Demo 服务器挤爆，开发团队连开 4 台备用服务器，都有几十人在排队。</p>
<div><img src="/wp-content/uploads/replace/c0d067b07d44e607b244d683a3021e7b.jpeg" original-src="/wp-content/uploads/replace/c0d067b07d44e607b244d683a3021e7b.jpeg"/></div>
<h1>不等 OpenAI 了，现在就能玩</h1>
<p>除了研究团队给出的示例，网友也用 MiniGPT-4 玩出了各种花样</p>
<p>有人上传自己画的画，让 AI 评价评价。</p>
<div><img src="/wp-content/uploads/replace/850fec17bf8f032e5032121cc89d05fd.png" original-src="/wp-content/uploads/replace/850fec17bf8f032e5032121cc89d05fd.png"/></div>
<p>有人上传一张从车道拍摄的飞机坠毁瞬间，让 MiniGPT-4 尽可能详细地描述，并思考自动驾驶 AI 能不能理解这个场面。</p>
<div><img src="/wp-content/uploads/replace/651126a373d89dbdcc656cbb345565a0.png" original-src="/wp-content/uploads/replace/651126a373d89dbdcc656cbb345565a0.png"/></div>
<p>做到这么好的效果，MiniGPT-4 实现起来却并不复杂。</p>
<p>把图像编码器与开源语言模型 Vicuna（小羊驼）整合起来，并且冻结了两者的大部分参数，只需要训练很少一部分。</p>
<p>传统预训练阶段，使用 4 张 A100 在 10 个小时内就可完成，此时训练出来的 Vicuna 已能够理解图像，但生成能力受到很大影响。</p>
<p>为解决这个问题，团队让 MiniGPT-4 与 ChatGPT 合作创建了 3500 个图像文本的高质量数据集，也一并开源。</p>
<p>用新的数据集微调可以显著提高模型的生成可靠性和整体可用性，而且计算效率很高，使用单个 A100 只需要 7 分钟。</p>
<div><img src="/wp-content/uploads/replace/14eced24341f387d9fd413019added66.png" original-src="/wp-content/uploads/replace/14eced24341f387d9fd413019added66.png"/></div>
<p>并且团队正在准备一个更轻量级的版本，部署起来只需要 23GB 显存。</p>
<p>也就是消费级显卡中拥有 24GB 显存的<strong>3090 或 4090</strong>就可以本地运行了。</p>
<p>MiniGPT-4 开发团队来自 KAUST（沙特阿卜杜拉国王科技大学），包括 4 位华人成员和他们的导师 Mohamed Elhoseiny。</p>
<div><img src="/wp-content/uploads/replace/8006b10ff1c1071662a197c1658c50a2.png" original-src="/wp-content/uploads/replace/8006b10ff1c1071662a197c1658c50a2.png"/></div>
<p>两位正在读博的共同一作还在 GitHub 页面上特别标注<strong>正在找工作</strong>。</p>
<p>有意向的公司要抓紧抢人了～</p>
<p>在线 Demo：<br/>https://minigpt-4.github.io</p>
<p>开源代码：<br/>https://github.com/Vision-CAIR/MiniGPT-4</p>
<p>论文：<br/>https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf</p>

<p>看美食写菜谱，手绘网页变代码</p>

华人团队迷你 GPT-4 抢跑看图聊天：OpenAI 有的它都有，服务器已被挤爆