5个优秀的计算机视觉应用与相关数据集
介绍
计算机视觉是数据科学世界中最热门的研究领域之一。而且,它已经成为我们个人生活的一部分。我们都知道或不知道地使用各种功能,这些功能在后端运行计算机视觉技术。例如,我们在智能手机中使用面部解锁。下图有效地说明了人脸检测的工作原理。
我选择人脸检测作为本文的开头,因为我们都已经看到这是计算机视觉的一种应用。但是计算机视觉不仅限于此。在本文中,你将探索计算机视觉的更多有趣应用。
目录
什么是计算机视觉?使用计算机视觉进行姿态估计使用Gans进行图像转换开发社交距离工具的计算机视觉将2D图像转换为3D模型医学图像分析什么是计算机视觉?
在进入计算机视觉应用程序世界之前,首先,让我们了解一下计算机视觉是什么?简而言之,计算机视觉是人工智能的一个多学科分支,旨在复制人类视觉的强大功能。
如果是正式定义,
“计算机视觉是一种实用工具,可以根据感知到的图像对实际的物理对象和场景做出有用的决策”(Sockman&Shapiro,2001)
计算机视觉通过诸如图像分类,对象检测,图像分割,对象跟踪,光学字符识别,图像字幕等视觉识别技术来工作。我知道这些是很多技术术语,但理解它们并不难。只需看下面的图片,你就会了解许多这些术语。
让我们从第一张图片开始。如果我问你图片中有什么?你的答案将是,它是一只猫。这其实是对图片进行了分类。这意味着基于图像的分类标记图像。这里的类别是“猫”。
现在你知道图像的类别了。下一个问题是对象在图像中的位置。当我们确定对象在框架中的位置并在其周围创建一个边界框时,这称为定位。在第二张图像中,我们已经确定了对象的位置并将其标记为猫。
下一项是对象检测。在前两种情况下,图像中只有一个对象,但是如果存在多个对象该怎么办。在这里,我们通过边界框确定存在的实例及其位置。
在对象检测中,我们使用形状为正方形或矩形的边界框,但是它不能告诉任何有关对象形状的信息。实例分割会在每个对象周围创建一个像素级蒙版。因此,实例分割使人们对图像有了更深入的了解。
近期发展
深度学习方法的最新发展和技术的进步极大地提高了视觉识别系统的功能。结果,计算机视觉已被公司迅速采用。可以在整个工业领域看到成功的计算机视觉用例,从而扩大了应用范围,并增加了对计算机视觉工具的需求。
现在,让我们一起来看看计算机视觉的5个令人兴奋的应用程序。
使用计算机视觉进行姿态估计
姿态估计是计算机视觉的一个很有趣的应用。你一定已经听说过Posenet,它是用于人体姿态估计的开源模型。简而言之,姿态估计是一种计算机视觉技术,可以推断图像/视频中存在的人或物体的姿势。
在讨论姿态估计的工作之前,让我们首先了解“人体姿势骨架”。它是定义一个人的姿势的一组坐标。一对坐标称为肢体。此外,通过识别,定位和跟踪图像或视频中人类姿势骨架的关键点来执行姿态估计。
以下是人体姿态估计的一些应用-
用于实时体育分析或监视系统的活动识别。增强现实体验训练机器人动画和游戏如果你想自己开发一个姿态估计模型,下面是一些可能用到的数据集:
MPII http://human-pose.mpi-inf.mpg.de/COCO keypoint challenge https://cocodataset.org/#downloadHUMANEVA http://humaneva.is.tue.mpg.de/使用Gans进行图像转换
Faceapp是一个非常有趣和流行的应用程序。它是一种图像处理工具,可使用滤镜转换输入图像。过滤器可能包括老化或最近的一个性别交换过滤器。
看上面的图片,有趣吗?几个月前,这是互联网上的热门话题。人们在交换性别后分享图片。但是这类应用程序背后的技术是什么?是的,你猜对了,它是计算机视觉,更具体地说,它是一个深层次的卷积生成的对抗性网络。
生成对抗网络,俗称GAN,是计算机视觉领域的一项令人振奋的创新。尽管GAN是一个古老的概念,但目前的形式是由Ian Goodfello在2014年提出的。从那以后,它有了许多发展。
GAN的训练涉及两个相互竞争的神经网络,根据给定训练数据的分布生成新的数据。尽管最初提出作为一种无监督学习机制,但是GAN证明了自己是有监督学习和半监督学习的理想选择。
以下是一些数据集,可帮助你获得GANs的实践经验
CelebA http://mmlab.ie.cuhk.edu.hk/projects/CelebA.htmlFlicker face dataset https://github.com/NVlabs/ffhq-datasetCartoonset https://google.github.io/cartoonset/应用领域
使用Gans生成的图像的应用程序有很多。以下是它的一些应用程序
风格迁移和照片修复中的图像到图像翻译图像超分辨率文字到图像的生成图片编辑语义图像到照片的翻译如果你发现更有趣的内容,请留言告诉我。
开发社交距离工具的计算机视觉
在过去的几个月中,世界正遭受大流行COVID-19的困扰。发现在没有该疾病的疫苗之前,我们所有人都必须采取预防措施,使用洗手液,口罩,最重要的是保持社交距离。
在这种关键情况下,计算机视觉技术可以发挥至关重要的作用。它可用于跟踪房屋或特定区域中的人员,以了解他们是否遵守社会距离规范。
社交距离工具是对象检测和实时跟踪的应用程序。在这种情况下,为了检查社交距离违规行为,我们使用边界框检测视频中存在的每个人。稍后,我们跟踪框架中每个框的运动并计算它们之间的距离。如果它检测到任何违反社会距离规范的行为,则将突出显示那些边界框。
此外,为使这些工具更先进,更准确,你可以使用迁移学习技术。各种预训练的对象检测模型(如YOLO或Mask R-CNN)也都存在。
将2D图像转换为3D模型
这是计算机视觉的另一个非常有趣的应用。它将二维图像转换为3D模型。例如,假设你有旧收藏中的一张照片,并且能够将其转换为3D模型并像在那儿一样进行检查。
Deep Mind的研究人员提出了一个在相似的系统上工作的AI系统。它被称为Generative Query Network(生成查询网络),它可以像人类一样从不同角度感知图像。
此外,Nvidia还开发了一种AI架构,可以根据图像预测3D属性。同样,Facebook AI提供了一种类似的工具,称为3D照片功能。
以下是一些相关的数据集,可供你进行试验
IKEA dataset http://ikea.csail.mit.edu/Opensurface dataset http://opensurfaces.cs.cornell.edu/NYU Depth dataset https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.htmlObjectNet3D https://cvgl.stanford.edu/projects/objectnet3d/应用领域
现在,你必须考虑该技术的用例。以下是其应用
动画与游戏机器人技术自动驾驶汽车医学诊断和外科手术医疗保健中的计算机视觉:医学图像分析
很长一段时间以来,计算机支持的医学图像被用于诊断,如CT扫描、X射线等。此外,计算机视觉技术的最新发展使医生能够通过将图像转换为三维交互式模型来更好地理解这些图像,并使其更易于解释。
如果我们看一下计算机视觉的最新使用案例,那么我们会发现它是在用胸部x光检查COVID-19病例。此外,根据武汉市放射科的一项研究,深度学习方法可以有效地区分Covid-19和社区获得性肺炎。
检查一下由Kaggle提供的COVID-19胸部x光数据集,并在实施过程中自己动手。
COVID-19胸部x光数据集:https://www.kaggle.com/bachrr/covid-chest-xray同时,如果你想在另一个数据集上工作,那么你也可以在Kaggle上获得CT医学图像(https://www.kaggle.com/kmader/siim-medical-images) 。
尾注
总而言之,计算机视觉是人工智能的一个引人入胜的领域。在本文中,我讨论了一些我发现很有趣的东西。但这只是冰山一角。
案例分享丨机器视觉技术在3C电子行业中的应用①
3C电子即Computer、Communication、Consumer Electronic,或称消费电子行业,包含电脑、平板设备、智能手机、智能穿戴设备等一系列品类。3C产品零部件尺寸小、精密度高,依靠人工识别检测无法完成像高精度组装、二维码读取、划痕检测等项目,而机器视觉的优势由此得以充分发挥,目前机器视觉技术已经嵌入消费电子制造的全产业链中。
大族激光旗下全资子公司深圳市大族视觉技术有限公司(简称:大族视觉)在机器视觉底层算法、2D&3D视觉算法、AI视觉算法等方面有深厚的技术积淀,全力开发的机器视觉产品和行业应用系统,具有自主知识产权,能基于客户的多元化需求,提供高效的视觉技术支持和成熟的视觉检测解决方案。
一、手机前后摄像头缺陷检测
由于手机的摄像头在生产加工过程中存在不确定因素,在进入下一道工序前,必须剔除掉摄像头内端面可能存在的主要缺陷。
检测项目
摄像头(组装成品检测) TP面、镜头表面及两者间夹层的外观缺陷,白点、黑点、白毛、脏污(油墨、溢胶)等。
检测方案
HSV AI深度学习,定制特殊红色无影光源。
双工位两相机同时移动,分别对手机成品前后摄像头进行拍摄检测。
项目难点
手机摄像头背景多为黑色或灰色, TP面、镜头表面为玻璃层,且缺陷的位置是随机的,打光难度大。
摄像头模组背景多变,且差异大,缺陷不明显,传统算法难以稳定和准确的提取出缺陷特征。
检测效果
基于AI的深度学习算法,图片样本量相对较小,训练速度快,可获得较好的检测效果。
二、VCM锡焊线体检测项目
VCM(Voice Coil Motor)俗称音圈马达,是一种将电能转化为机械能的装置,并实现直线型及有限摆角的运动,是手机摄像必备的的四大原件之一,用来带动镜头运动实现调焦。
检测项目
检测连接器在焊接后出现的焊尖、冷焊、少锡等缺陷。
检测方案
千万像素工业相机、高清远心镜头,HSV AI深度学习技术。
检测结果
VCM在需要焊锡的组件中由于焊点过小,肉眼不便直接观察;使用深度学习语义分割提取出所有锡焊区域,通过区域数量、面积大小、位置、形态等特征判断出锡焊是否正常。
使用深度学习语义分割提取出点胶区域,通过区域面积、长宽等特征检测点胶是否正常。
三、耳机挂塑胶件组装焊接视觉定位
耳挂就是耳机和耳塞按照佩戴方式所划分的一种类型,是把耳机两个单元之间起连接作用与佩戴固定作用的横梁予以取消,配以精美的挂钩,使之挂在耳朵上的设计。耳机挂工件组装焊接质量会影响整体品质及消费者的体感。
检测项目
定位抓料,识别L/R
定位组装,识别轮廓数据,引导精准焊接
检测方案
百万聚焦镜头,高分辨率相机,HV5.0 2D定位检测技术。
检测结果
实时采集场景信息,有效识别,精准定位,轮廓清晰。
L/R识别
轮廓识别
机器视觉的广泛应用能大幅降低人工费用,提升产线良率和单位时间产出,降低整体制造成本,支撑3C电子产品未来更轻薄、异形等个性化需求,总体驱动制程工艺更加集成创新,满足终端消费升级需求。机器视觉在3C电子行业的应用是行业开展自动化、转型智能制造的重要部分。
大族视觉是一家以AI智能和视觉检测整体解决方案为核心的高新技术企业,拥有完善的机器视觉实验室及百人技术团队,相继荣获国家高新技术企业、广东省专精特新企业殊荣,通过了ISO9001、ISO14001两大体系认证,已获得百项行业有效专利及软件著作权,公司秉承“专业、严谨、简单、智能”的理念,坚持以专业、严谨的态度,打造简单、智能产品。
相关问答
机器 视觉 在智能制造的 应用 情况如何?在智能制造的浪潮下,生产线对工业设备有了新的要求,对质量检验和生产的需求不断增加。而新一代机器视觉系统能够在短短几秒内处理大量的信息,如此快速地处理能...
机器 视觉 检测典型案例,如何在工业自动化生产中进行无缝连接?有在做用边缘AI部署瑕疵检测算法,就是视觉AI检测。这瓶酒就因为一点点小问题被退回。你看到瑕疵在哪了吗?生产信息喷码模糊了啦01瑕疵很小,识别很难在酒...
视觉 检测系统可以检测什么?机器视觉可以适用于哪些行业?所有行业:生产、质量控制和预测性维护是机器视觉可用于所有行业的东西。医疗保健:在医疗保健行业,正在使用许多不同的机器视觉...
视觉 设计师的日常工作是怎样的?(纯干货)视觉设计是为现代商业服务的艺术,主要包括标志设计、广告设计、包装设计、店内外环境设计、企业形象设计等方面,它起着沟通企业——商品——消费者...3...
视觉 检测有哪些厂家?[回答]使用视觉检测系统能有效的提高生产流水线的检测速度和精度,大大提高产量和质量,降低人工成本,同时防止因为人眼疲劳而产生的误判。使用相机、镜头、...
在电商做 视觉 设计,薪酬一般是多少?绩效都考核什么?三、确定薪酬绩效的激励方向——工作量+转化效果视觉设计岗位的输出价值是及时有效地做出更多更好的图片、海报、详情页、店铺装修等,他们的工作量是一个重点...
你见过最惨无人道的事情是什么?退婚不退彩礼,小伙一怒之下,向未婚妻脸上泼强硫酸,又向未婚妻嘴里灌入硫酸,导致未婚妻双目失明,全身大面积烧伤,食道都被烧坏了!那这个小伙为什么要做出这...后...
动态 视觉 是什么能力?动态视觉不是一般所指的电影、电视等动画艺术。动态视觉是指:1、赛场内外的大屏幕播放的视频影像;2、现场一切动态活动的表现(比如观众的活动、赛车比赛的...
烦老铁们!给推荐推荐!! 电子行业 AI 视觉 锁螺丝设备哪家公司做...[回答]只要找个专业有经验的一试方可贝体判断是哪一种情况。并不是启动双开安保模式。对了除了以上那那种,我们也见过极少断,把垫子卡在门里了,打不开。解...
学 视觉 传达设计,需要看哪些书籍?和运用4种设计要素提供了一个新的方法,本书一定能够促成、产生更好的设计。《版面设计的原理》[日]伊达千代这本书以条理分明的章节及浅显易懂的文字,...从设...