最大CLIP!LAION发布CLIP的扩增定律

2022-12-24 23:54:08 | 来源:


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143
上一篇 下一篇

相关新闻

最大CLIP!LAION发布CLIP的扩增定律

世界今日报丨2023年研究生考试今日开考 各地优化服务为研考护航

广发e秒贷网贷逾期还款多久会上征信|环球微速讯

嗨玩最美冬奥城!北京延庆冰雪季消费券今起开领_头条

焦点快看:申万菱信中证内地新能源主题ETF净值下跌2.52% 请保持关注

广晟有色最新公告:间接控股股东与中国稀土集团签订战略合作框架协议

世界热推荐:达嘉维康(301126):使用部分闲置募集资金进行现金管理

快报:近1.2亿资金活水注入小微物流企业

滔搏(06110.HK)第三季度零售及批发业务总销售金额同比下跌10-20%

环球精选!佳合科技北交所上市路演:瓦楞纸板制作的商品包装正逐步取代塑料包装

12月20日晶方科技发布公告,其股东减持1000万股

当前信息:今日35股涨停 主要集中在电气设备、纺织服装等行业

*ST雪莱董秘回复:紫外线消毒灯的核心功能是消毒杀菌,可以灭活新型冠状病毒

新巨丰(301296.SZ):拟推不超2100万股的2022年限制性股票与股票期权激励计划 当前聚焦

焦点热议:先锋电子(002767)12月19日主力资金净卖出152.27万元

最新新闻

最大CLIP!LAION发布CLIP的扩增定律

世界今日报丨2023年研究生考试今日开考 各地优化服务为研考护航

广发e秒贷网贷逾期还款多久会上征信|环球微速讯

嗨玩最美冬奥城!北京延庆冰雪季消费券今起开领_头条

焦点快看:申万菱信中证内地新能源主题ETF净值下跌2.52% 请保持关注

广晟有色最新公告:间接控股股东与中国稀土集团签订战略合作框架协议

世界热推荐:达嘉维康(301126):使用部分闲置募集资金进行现金管理

快报:近1.2亿资金活水注入小微物流企业

滔搏(06110.HK)第三季度零售及批发业务总销售金额同比下跌10-20%

环球精选!佳合科技北交所上市路演:瓦楞纸板制作的商品包装正逐步取代塑料包装

12月20日晶方科技发布公告,其股东减持1000万股

当前信息:今日35股涨停 主要集中在电气设备、纺织服装等行业

*ST雪莱董秘回复:紫外线消毒灯的核心功能是消毒杀菌,可以灭活新型冠状病毒

新巨丰(301296.SZ):拟推不超2100万股的2022年限制性股票与股票期权激励计划 当前聚焦

焦点热议:先锋电子(002767)12月19日主力资金净卖出152.27万元

焦点快播:江海股份:12月16日融券卖出金额166.23万元,占当日流出金额的1.44%

科技为行政执法“添翼” 创新工作模式为治理增效

每日观点:中国北极冰雪旅游发展论坛在漠河市举行

约50名港澳青少年体验深圳龙岗研学路线 全球今亮点

中材科技: 2022年第四次临时股东大会法律意见书_世界播报

三超新材(300554)12月16日主力资金净卖出996.67万元

京泉华(002885)12月15日主力资金净买入903.41万元

云端携手 同心共育|商丘市三高高中部召开线上主题班会

天天即时:安逸花逾期9年还不起会上征信吗

【券商聚焦】中信证券指2023年中资美元债恰是出海好时机 当前视讯

宁波远洋: 浙商证券股份有限公司关于宁波远洋运输股份有限公司使用募集资金置换预先投入募投项目及已支付发行费用的自筹资金、以协定存款方式存放募集资金的核查意见

华泰证券:维持舜宇光学(02382.HK)“买入”评级 目标价140港元 世界速讯

焦点热文:如果网贷逾期23万无力偿还的后果

贵州三力:公司产品开喉剑喷雾剂(儿童型)已基本覆盖全国主要城市等级医院和儿童专科医院-每日动态

机场航运板块震荡走强 机构称民航高景气行情已在酝酿