首页综合 > 正文

最大CLIP！LAION发布CLIP的扩增定律 环球观点

2022-12-30 02:41:01来源：


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

关键词： 机器学习 是不同的

综合

便民

  • 知识分享 伊丽莎白电影剧情介绍

    电影《伊丽莎白》讲述的是伊丽莎白一世从天真无邪的单纯少女变为智慧和勇气并存的英国女王所经历的一系列故事。1554年，玛丽一世登上了英国

  • 百科 柴油小货车误加汽油怎么处理

    1、柴油车型错加了汽油，千万不要继续驾驶自己的货车，因为汽油机的喷嘴一般比较小，而柴油的密度比较大，汽油发动机的喷嘴喷柴油肯定是无

  • 上海公布1例本土确诊病例涉及的轨迹

    　　记者1月24日从上海市新冠肺炎疫情防控新闻发布会上获悉，上海新增1例本土新冠肺炎确诊病例。该病例涉及的轨迹为上海市奉贤区奉城镇幸福

  • 冰雪运动热申城 “冰雪奇缘”共赴“冬奥之约”

    　　(北京冬奥会)冰雪运动热申城 “冰雪奇缘”共赴“冬奥之约”　　中新网上海1月24日电 题：冰雪运动热申城 “冰雪奇缘”共赴“冬奥之

点击加载更多

频道推荐

  • 服饰
  • 时尚
  • 物流
  • 灯饰
  • 养老
经验知识 强奸罪最低判多少年
南宁铁路公安“寻包达人”两年收到旅客锦旗116面
经验知识 强奸罪最低判多少年 南宁铁路公安“寻包达人”两年收到旅客锦旗116面 福建平潭海警出击 破获一起涉嫌走私冻品案 上海：为应对疫情的变化 已做好各类预案
上海卫健委：春节期间建议市民非必要不离沪 老年相亲节目在网络上成为爆款 岂是“看一热闹图一乐” 内蒙古多地：低风险地区抵返人员需持48小时核酸阴性证明 广西铁警老伙计的最后一班春运岗
经验知识 上海苹果专卖店电话
【挑战365天正能量速写画】第055期：站台相聚的8分钟她等了两年
经验知识 上海苹果专卖店电话 北京市新增本土确诊病例7例、无症状感染者2例 北京新增本土确诊病例7例 本土无症状感染者2例 四川：20只新生大熊猫“拜年”贺新春迎冬奥
上海进一步完善入境人员14+7健康监测管理服务 沈阳发现1例本土无症状感染者 吉林建成46个滑雪场，每年浇建公益冰场逾400块 陕西西安7家一级客运站24日起恢复省内班线运营
经验分享 大宝贝什么梗是谁
浙江东阳警方通报：剧组因拍摄致猫死亡等事实不成立
经验分享 大宝贝什么梗是谁 浙江东阳警方通报：剧组因拍摄致猫死亡等事实不成立 天津大学留学生志愿者：同天津人民一起守护共同的家园 北京丰台两地调整为中风险地区
北京：德尔塔变异株关联疫情目前来源明确 传播链条基本 山西洪涝灾害房损农户：搬进新居过新年 北京丰台将组织开展第二轮全员核酸筛查 1月15日以来北京累计报告本土新冠肺炎病例52例
知识导航 山西的高速公路有哪些
永远意气风发！平均年龄62岁的教授合唱团重阳节唱响
知识导航 山西的高速公路有哪些 永远意气风发！平均年龄62岁的教授合唱团重阳节唱响 我国首颗太阳探测科学技术试验卫星“羲和号”成功发射 “创业引领城市经济高质量发展”主题交流活动在长春举办
大陆方面对台湾高雄火灾伤亡事故表达关切 假市场之名 行利己之实——解构美式“市场经济”霸道双标 高雄老旧大楼火灾已造成46人死亡 俄罗斯单日新增确诊新冠病例首次突破3万
生活知识 吴漪怎么怀孕的
中国驻俄使馆与新疆维吾尔自治区政府共同举办“新疆是个
生活知识 吴漪怎么怀孕的 人社部副部长李忠：加强对中小微企业的服务 营造鼓励创 俄日增新冠确诊和死亡病例数均创新高 拉脱维亚总统新冠病毒检测结果呈阳性
人民财评:平台玩高价退票费"套路"只会套住自己 中国驻俄使馆与新疆维吾尔自治区政府共同举办“新疆是个 尽快形成一批可复制可推广制度成果——权威人士解读深圳 王毅与印尼对华合作牵头人、统筹部长卢胡特视频会晤

前沿资讯

品牌推荐

商业资讯

备案号：琼ICP备2022009675号-1

邮箱：435 227 67@qq.com

版权所有 世界休闲网所有