Skip to content

基于开源预训练模型来实现一个简单的CLIP模型

Notifications You must be signed in to change notification settings

ZYiJie/Simple-CLIP

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Simple-CLIP

利用开源的文本和视觉预训练模型微调来实现一个简单的CLIP图文对比检索模型(pytorch实现)

特点

  • 简单易拓展,可以自由组合不同规模、类型的文本和视觉预训练模型,仅需在text_ptm、img_ptm中修改参数即可

  • 使用 openAI 的 Learning Transferable Visual Models From Natural Language Supervision 论文原版模型

  • 支持在test数据集中进行img2text、text2img检索验证

  • 目前仅支持单卡训练

数据集

  • ZERO benchmark,大规模的中文跨模态基准测试,包含预训练数据集和五个下游任务数据集。

  • 参考data/example.tsv的格式可自由替换成自己的数据

References & Resource

About

基于开源预训练模型来实现一个简单的CLIP模型

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published