cv_clip-interrogator

6K downloads 37 likes on ModelScope updated

Model card

图像描述介绍

图像描述:给定一张图片,CLIP Interrogator模型根据图片信息生成一句对应描述(Prompt)。它结合了OpenAI的CLIP和Salesforce的BLIP, 可以将产生的Prompt与文生图模型,如Stable Diffusion,一起使用,创造酷炫的艺术作品!

如何使用

在安装完成MaaS-lib之后即可使用image-captioning的能力

推理代码范例

使用本模型前请安装依赖:

pip install open_clip_torch
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

model_id = 'damo/cv_clip-interrogator'
input_image = "https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/mog_face_detection.jpg"

pipeline_ci = pipeline(Tasks.image_captioning, model=model_id)
print(pipeline_ci(input_image))

Clone with HTTP

git clone https://www.modelscope.cn/damo/cv_clip-interrogator.git