十行代码实现十亿图片检索,我们把它开源了
【CSDN 编者按】仅仅十行代码、一台服务器便可实现十亿图库的以图搜图?还是开源的!到底是什么黑科技呢?下面带你一览高性能向量引擎Milvus的前世今生。
作者 | 星爵
对,你只需一台服务器,区区十行代码,就可以轻松实现十亿图库的以图搜图,响应时间仅为数百毫秒。它简单易用,区区数行代码就可以搞定海量图片;它具有超高的单机性能,满足你低时延实时的需求;它支持分布式和云原生扩展,随时可以应对百亿级乃至千亿级的需求。这就是Milvus——超厉害的高性能向量引擎Milvus。我们Milvus团队在两天前的11月5日,正式对外宣布将它在GitHub上开源了(https://github/milvus-io/milvus),分享给全球的开发者和AI科学家。
非结构化数据、人工智能和向量
随着信息化技术的不断进步,人类正经历爆炸式的数据增长,数据种类也在发生一系列有趣的变化。自20世纪中叶电子计算机诞生以来,开发者历经了从处理结构化数据(Structured Data,整型数和浮点数等),到2000年互联网时代处理半结构化数据(Semi-structured Data,网页和日志等),再到2012年以来人工智能兴起处理非结构化数据(Unstructured Data,图片、视频、语音和文本等)的发展过程。
对于每一类不同类型的数据,计算机科学家都发明了相应的索引算法来进行数据组织、检索和分析。对于结构化数据来说,常见的索引算法有Bitmap、哈希表和B树等,代表系统是Oracle和DB2为代表的关系型数据库;对于半结构化数据,常见的索引算法是倒排索引(InvertedIndex),代表系统是Solr和ElasticSearch等引擎。
而非结构化数据因为难以被传统计算方法和处理器进行处理与价值挖掘,长期以来都是计算机科学领域的一大难点。直到近年来通过人工智能算法处理非结构数据才有所突破。人工智能算法使用一系列的模型(如CNN、RNN、VGG和Bert等)将图片、视频、语音和文本等转换成相应的特征向量,每个特征向量由一串整型数或者浮点数构成。人工智能算法巧妙地将复杂的非结构化数据处理变成了对计算机处理器相对简单友好的向量数值运算,以图搜图、视频检索和自然语言处理等任务就变成了基于欧式距离或者余弦距离度量的向量相似度计算。
AI 算法将非结构化数据转换为向量
虽然向量相似度计算相对简单,但是非结构化数据(如图片、视频、语音和文字)相比于传统的结构化数据和半结构化数据,数据量庞大(总量大3个数量级以上),增长速度更快(每1KB结构化数据产生的同时,约有1GB非结构化数据产生)。海量向量相似度计算成为了人工智能算法大规模部署的一大挑战。由此,一种基于向量相似度计算的海量非结构化数据索引技术ANNS(roximate Nearest Neighbor Search)应运而生。ANNS算法将相似的向量聚类在一起,能够缩小查询空间,减少比对计算量,从而加速海量向量检索。常用的ANNS算法有量化算法(Quantization)、树算法(Tree)、图算法(Graph)和混合算法(Tree-graph、Quantization-graph)等几类。
Milvus 高性能向量引擎
Milvus使用全球领先的ANNS向量索引技术,top5查询召回率(recall)99%,入库速度超过100万条/分钟,支持异构众核处理器加速,兼容X86/GPU/ARM/Power处理器架构,今后还将增加对TPU及其他ASIC处理器的支持。Milvus单机可以在秒内完成十亿级向量,多机分布式和云原生扩展方案亦能轻松满足百亿乃至千亿向量的需求。Milvus采用Apache 2.0开源许可协议。
Milvus 非结构化数据引擎
在Milvus的研发过程中,我和Milvus团队的18位贡献者深入研究了ANNS算法,阅读了大量论文和参考文献,不断调整软硬件体系结构,细心设计和调试每一个算法,针对不同处理器芯片和指令集做了大量细致的优化工作,完成了3,600多个commit、5次版本迭代和7万多行源代码。
在经历了0多个日日夜夜的努力奋战后,我们终于研发成功了Milvus的第一个稳定版本0.5.1,并顺利完成了多家知名科技公司的严格测试和生产部署。然后我们第一时间将Milvus完全开源出来,希望帮助更多的开发者应对更多AI场景中的非结构化数据带来的机遇与挑战。同时我们也有一点小私心,希望能吸引到一批志同道合的开源极客,和我们一道继续开发、完善Milvus,把Milvus打造成具有全球影响力的新一代非结构化数据引擎。
Milvus 的应用
Milvus具体能应用在哪些领域呢?举个例子说,某电商网站有约5000万个商品SKU,平均每个商品有来自商家展示和用户评论的20张图片,后台一共存储了10亿张商品图片。开发者用预先训练好的AI模型将10亿商品图片转换成10亿个特征向量,然后使用Milvus就能轻松实现以图搜商品功能,帮助购物者用图片的方法方便地找到心仪的商品。
Milvus的能力可不止于以图搜图,还适用于海量的视频、语音和文本等非结构化数据的。比如说,某视频UGC网站每天有100万个短视频上传,平均每个短视频时长1分钟,分辨率720P,每秒2秒提取一个关键帧图像,每月有9亿关键帧,每年有108亿关键帧。开发者用AI模型将108亿关键帧图像转换为108亿个特征向量,然后使用Milvus轻松实现海量视频功能,让用户可以方便地定位到自己感兴趣的(明星/商品)视频片段。
Milvus向量引擎还可以帮助自然语言处理的开发者轻松实现海量文本去重和语义,帮助引擎的开发者实现推荐系统和精准广告投放,在此就不一一列举了。目前,Milvus已被10多家知名科技公司使用,助力互联网娱乐(图片/视频)、新零售(以图搜商品)、智慧金融(用户认证)和智能物流(车辆识别)等领域。
还在临渊羡鱼?
如果您想使用Milvus向量引擎,体验“十行代码实现十亿图片检索”,我们为您准备了“轻松玩转十亿向量检索(SIFT1B)”教程。
您也可以访问Milvus在线训练营:https://github/milvus-io/bootcamp
收藏!宝马在售车漆实拍图大全,买前必看!「含中英文名称色号」
无论你是消费者,或是销售顾问,面对宝马车漆时,你一定有过这样的疑问:
“配置单上这么多颜色,实际效果如何?”
“有的车漆在官网上没有,为什么也在卖?”
“销售系统里的图片是效果图,和实车差别太大…”
“490是什么?SABI和SOWU又是什么?”
“为什么选490车漆就禁用变道辅助了?”……
OK,小编特地为大家整理了一份包含100多款在售及热门宝马车漆的数百张实拍图,涵盖宝马标准车漆和BMW个性化定制车漆。
所有车漆颜色均有标准化中英双语名称和颜色代码,每款车漆放了1-3张图,尽可能呈现不同角度和光线下的效果。
实拍图合集在下文,请注意!由于实拍图很多,所以你可以点击文章界面右上角的···,然后点击“搜索页面内容”,输入你想查看的车漆颜色的中文或英文名称、或是色号,即可快速找到。
截至文章推送之时,
所有宝马现阶段于国内提供的车漆
在下文都有实拍图。
在此之前,小编聊聊关于宝马车漆的疑问和小知识。
宝马车漆的分类
宝马有常规车漆和BMW个性化定制车漆的选择,很好理解,前者是工厂批量生产的车漆,比如矿石白、宝石青等,而后者是仅提供给部分车型(尤其是M车型),且具有特殊意义或特别工艺的车漆,比如砂金石红、碧玺灰。
在这其中,又分为以下4种拥有不同工艺、用料和视觉效果的车漆:
- 非金属漆(Non-metallic Paints/Uni Paints,又称普通漆)
- 作为一种能够应用于其他类型车漆的基础车漆,不带有任何金属薄片,颜色纯正透亮。
- 金属漆(Metallic Paints,又称银粉漆)
- 相比于非金属漆,金属漆的漆基中加有微细的金属粒,在光线照射下能够呈现更为丰富的闪光效果,层次感立体感更强烈。
- 带珠光效果的金属漆面(Pearl)
- 在标准金属漆的基础上加入了名为Xirallic的氧化铝碎屑状颜料,这是德国默克公司的专利颜料,在阳光照射或直射下,车漆将呈现出非常灵动闪耀的效果,并且从不同角度观察还会有一定的颜色变化。
- 磨砂漆(Frozen Paints)
- 宝马从2009年开始应用磨砂漆,在清漆中使用硅酸盐作为消光剂,以实现天鹅绒般的哑光表面效果。由于磨砂漆的独特性和复杂的生产过程,所以产量相对有限,并且需要特别维护和清洁(不能抛光和打蜡)。
值得注意的是,在选购时,你会看到宝马的车漆分为三类:非金属漆(普通漆),金属漆,磨砂漆。他们可以作为工厂批量生产的版本,也可以作为BMW个性化定制车漆的版本(但磨砂漆必然是BMW个性化定制车漆)。
490,SOWU,SABI是什么
下订单、选购时需要注意…
对于经销商伙伴来说,一定会经常看到490,SOWU,SABI的代码,简而言之,BMW个性化定制车漆有三种分类:
- 一种是可以直接下订单的,比如4系的个性化定制碧玺灰。系统里就直接显示代码,如“C36”。
- 一种是490代码的车漆,即BMW个性化定制特别涂装的专属代码(通常都带SOWU属性代码),490车漆是需要提前向区域申请配额,并且要比常规订单提前一个月录入的。比如澳门蓝,系统里就显示“490(250, SOWU)”。
- 另一种就是通常不带490代码,但带有SABI属性代码的BMW个性化定制特别涂装(磨砂漆常见),同样需要提前申请配额和录入订单。比如磨砂波尔蒂芒蓝,系统里就显示“X1E(SABI)”。
490车漆和SABI属性的车漆在M车型上很常见,但并不代表每家经销商都能随时分配到,最关键的是,客户选择这种车漆需要等待的时间会较长,交付时间也会相应推迟,尤其是SABI车漆。
为什么490车漆无法获得变道辅助功能?
值得注意的是,据宝马官方介绍,因法规原因,如果你选择490个性化定制特别涂装车漆时,自动驾驶辅助系统Pro(配置代码5AU)中的变道辅助功能将被禁用(将会包含代码8TR,代表变道辅助功能被禁用)。
而据小编了解,这可能是因为不同车漆涂料反射雷达波的方式不同,而宝马目前的490车漆还未对最新的驾驶辅助系统的雷达传感器兼容性做出最佳改进。
具体来说,在开发阶段,每一款符合宝马标准生产的车漆涂料都经过了雷达传感器兼容性测试和优化,但实际上,大多数490车漆涂料尚未经过测试(与车漆涂料认证和厚度有关)。
其实无论在全球任何市场,490车漆的需求量都不大(相对于常规车漆)。据知情者介绍,如果要确保490代码下的每一款个性化定制特别涂装都满足雷达传感器兼容性的话,将是非常耗时、复杂且昂贵的。
进入正题,
实拍美图大全来了!
022 印加橙
(Inka Orange)
300 雪山白
(Alpine White)
416 碳黑色
(Carbon Black metallic)
475 宝石青
(Black Sapphire metallic)
A08 银灰色
(Silver Grey metallic)
A72 开士米银
(Cashmere Silver metallic)
A75 墨尔本红
(Melbourne Red metallic)
A83 冰河银
(Glacier Silver metallic)
A90 神秘灰
(Sophisto Grey metallic)
A96 矿石白
(Mineral White metallic)
B39 矿石灰
(Mineral Grey metallic)
B45 埃斯托蓝
(Estoril Blue metallic)
B53 星光棕
(Sparkling Brown metallic)
C06 弗拉门科红
(Flamenco Red metallic)
C10 地中海蓝
(Mediterranean Blue metallic)
C16 长滩蓝
(Long Beach Blue metallic)
C17 布兰兹哈奇赛道灰
(Brands Hatch Grey metallic)
C1A 超音速蓝
(Sonic Speed Blue metallic)
C1D 天际蓝
(Misano Blue metallic)
C1K 滨海湾蓝
(Marina Bay Blue metallic)
C1G 海岸蓝
(Snapper Rocks Blue metallic)
C1M 量子蓝
(Phytonic Blue metallic)
C1N 日光石金
(Sunstone Silver metallic)
C1P 曜目金
(Galvanic Gold metallic)
C1X 落日橙
(Sunset Orange metallic)
C27 极地灰
(Arctic Grey metallic)
C28 多宁顿灰
(Donington Grey metallic)
C2Y 石青色
(Bluestone metallic)
C31 波尔蒂芒蓝
(Portimao Blue metallic)
C34 三藩红
(San Francisco Red metallic)
C35 蓝岭山脉色
(Blue Ridge Mountain metallic)
C36 碧玺灰
(Dravit Grey metallic)
C38 巴塞罗那蓝
(Barcelona Blue metallic)
C3C 馥郁红
(Piemont Red metallic)
C3D 曼哈顿灰
(Manhattan Green metallic)
C3E 贝尔尼纳灰
(Bernina Grey Amber Effect metallic)
C3K 茂木红
(Motegi Red metallic)
C3G 多伦多红
(Toronto Red metallic)
C3N 风暴灰
(Storm Bay metallic)
C3Z 丹泉石蓝
(Tanzanite Blue metallic)
C4A 岩石灰
(Oxide Grey metallic)
C4E 圣雷莫绿
(San Remo Green metallic)
C4F 极速蓝
(Arctic Race Blue metallic)
C4G 曼岛绿
(Isle of Man Green metallic)
C4H 圣保罗黄
(Sao Paulo Yellow)
C4P 布鲁克林灰
(Brooklyn Grey metallic)
C4W 摩天灰
(Skyscraper Grey metallic)
C56 闪电紫
(Thundernight metallic)
C57 个性化定制 砂金石红
(Aventurin Red metallic)
C5A 个性化定制 磨砂纯灰色
(Frozen Pure Grey)
C5E 阿尔维特灰
(Alvite Grey metallic)
P7V 爪哇绿
(Java Green metallic)
X11(SABI)
磨砂青铜色
(Frozen Bronze metallic)
X1B(SABI)
个性化定制 紫水晶色
(Ametrin metallic)
X1D(SABI)
个性化定制 磨砂石青色
(Frozen Bluestone metallic)
X1E(SABI)
个性化定制特别涂装 磨砂波尔蒂芒蓝
(Frozen Portimao Blue metallic)
X1G(SABI)
个性化定制 磨砂丹泉石蓝
(Frozen Tanzanite Blue metallic)
490(250,SOWU)
个性化定制特别涂装 澳门蓝
(Macao Blue metallic)
490(283,SOWU)
个性化定制特别涂装 戴托纳紫罗兰
(Daytona Violet metallic)
490(299)
个性化定制特别涂装 数码紫
(Techno Violet metallic)
490(312,SOWU)
个性化定制特别涂装 英伦绿
(British Racing Green)
490(327,SOWU)
个性化定制特别涂装 圣托里尼蓝
(Santorini Blue)
490(337)
达喀尔黄
(Dakar Yellow)
490(381)
勒芒蓝
(Le Mans Blue metallic)
490(399,SOWU)
个性化定制特别涂装 亚特兰蒂斯蓝
(Atlantis metallic)
490(405,SOWU)
个性化定制特别涂装 伊莫拉红
(Imola Red)
490(430,SOWU)
个性化定制 牛津绿
(Oxford Green metallic)
490(440)
层云灰
(Stratus Grey metallic)
490(448)
拉古纳湖蓝
(Laguna Seca Blue)
490(A04,SOWU)
个性化定制特别涂装 都市绿
(Urban Green)
490(A31)
印第安纳波利斯红
(Indianapolis Red metallic)
490(A32,SOWU)
个性化定制特别涂装 雪邦铜
(Sepang Bronze metallic)
490(B51,SOWU)
圣马力诺蓝
(San Marino Blue metallic)
490(C39,SOWU)
个性化定制特别涂装 石灰岩灰
(Limerock Grey metallic)
490(C46,SOWU)
个性化定制 贵榴石棕
(Almandine Brown metallic)
490(C47,SOWU)
个性化定制 蓝晶黑
(Azurite Black metallic)
490(P13,SOWU)
个性化定制特别涂装 纯金属银
(Pure Metal Silver)
490(P28,SOWU)
个性化定制特别涂装 暮光紫
(Twilight Purple metallic)
490(P56,SOWU)
个性化定制特别涂装 荧光绿
(Signal Green metallic)
490(P5C,SOWU)
个性化定制特别涂装 海湾蓝
(Riviera Blue)
490(P5N,SOWU)
个性化定制特别涂装 玲珑绿
(Verde Mantis)
490(P5T,SOWU)
个性化定制特别涂装 磨砂滨海湾蓝
(Frozen Marina Bay Blue)
490(P60,SOWU)
个性化定制特别涂装 黑灰色
(Grey Black)
490(P63,SOWU)
个性化定制特别涂装 磨砂开士米银
(Frozen Cashmere Silver metallic)
490(P67,SOWU)
个性化定制特别涂装 磨砂暗银色(磨砂神秘银)
(Frozen Dark Silver metallic)
490(P6A,SOWU)
完全定制 磨砂深棕色
(Frozen Dark Brown Metallic)
490(P6H,SOWU)
个性化定制特别涂装 摩登灰
(Fashion Grey)
490(P6M,SOWU)
军舰珍珠灰
(Grigio Telesto Pearl metallic)
490(P6N,SOWU)
个性化定制特别涂装 磨砂暗灰色
(Frozen Dark Grey metallic)
490(P6X,SOWU)
个性化定制特别涂装 磨砂极地灰
(Frozen Arctic Grey metallic)
490(P73,SOWU)
完全定制 磨砂布兰兹哈奇赛道灰
(Frozen Brands Hatch Gray Metallic)
490(P7B,SOWU)
个性化定制特别涂装 白垩灰
(Chalk)
490(P7E,SOWU)
个性化定制特别涂装 火橙色
(Fire Orange)
490(P7K,SOWU)
个性化定制特别涂装 赛道红
(Rosso Corsa metallic)
490(P7W,SOWU)
个性化定制 坦桑尼亚棕
(Zanzibar metallic)
490(P7X,SOWU)
个性化定制特别涂装 磨砂深灰色
(Frozen Deep Grey metallic)
490(P7Z,SOWU)
个性化定制涂装 磨砂烈日橙
(Frozen Orange)
490(P8W,SOWU)
个性化定制特别涂装 戴托纳海岸蓝
(Daytona Beach Blue solid)
490(S03,SOWU)
个性化定制特别涂装 宝石红
(Ruby Red metallic)
490(U21,SOWU)
个性化定制特别涂装 亮白色(晶莹白)
(Brilliant White metallic)
490(U91,SOWU)
个性化定制特别涂装 磨砂黑
(Frozen Black metallic)
490(U96,SOWU)
个性化定制特别涂装 竞速黄
(Speed Yellow)
490(W67,SOWU)
古德伍德绿
(Goodwood Green Pearl)
490(W93,SOWU)
个性化定制特别涂装 磨砂亮白色(磨砂晶莹白)
(Frozen Brilliant White Metallic)
490(W97,SOWU)
个性化定制特别涂装薄荷绿
(Mint Green)
写在最后:
在BMW个性化定制车漆中,即便同为蓝色,但细节以及光线照射下的效果都截然不同,旨在为车主提供最具个性化的表达。在国内,宝马M车型有很多特殊车漆的选择,但国产宝马车型的选择却少很多,如果宝马未来能够开放更多个性车漆的选择,相信对消费者的吸引力是很大的。
你的宝马是什么车漆颜色?
你最喜欢宝马的什么车漆颜色?
请留言 评论
本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com
文章为作者独立观点不代本网立场,未经允许不得转载。