您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 

     
   
 订阅
  捐助
如何使用TensorFlow追踪千年隼号

 
来源:CSDN 发布于: 2017-11-20
   次浏览      
 

活动中的自定义对象检测

当前,大多数的大型科技公司(如IBM、Google、Microsoft和Amazon)都有自己的视觉识别产品。一些小公司也提供了类似的产品,如Clarifai。但是他们都没有提供对象检测API。

下面两张图片都使用了相同的Watson Visual Recognition默认分类器进行标记。不过,第一张图片首先通过了一个对象检测模型。

对象检测比视觉识别先进得多。但是如果想要进行对象检测,你就不得不自己动手了。

根据不同的使用情况,可能并不需要自定义对象检测模型。 TensorFlow的对象检测API提供了一些基于COCO数据集的不同速度和准确度的模型。

这是COCO模型可检测对象的完整列表:

如果想要检测不在此列表中的东西,则必须构建自己的自定义对象检测器。

标注图片

训练自己的模型需要做很多工作。需要收集大量的图像,并标注它们。标注包括指定对象坐标和相应的标签。对于包含两个钛战机的图像,标注的结果是这样的:

<annotation>
<folder>images</folder>
<filename>image1.jpg</filename>
<size>
<width>1000</width>
<height>563</height>
</size>
<segmented>0</segmented>
<object>
<name>Tie Fighter</name>
<bndbox>
<xmin>112</xmin>
<ymin>281</ymin>
<xmax>122</xmax>
<ymax>291</ymax>
</bndbox>
</object>
<object>
<name>Tie Fighter</name>
<bndbox>
<xmin>87</xmin>
<ymin>260</ymin>
<xmax>95</xmax>
<ymax>268</ymax>
</bndbox>
</object>
</annotation>

针对星球大战模型,我收集了308个图片,每张图片包含了两到三个对象。我建议针对每个对象找出的200-300个样本图片。

我们是否需要为这几百张图片写一大推的xml呢?

当然不用!有很多标注工具,比如labelImg和RectLabel。我使用的是RectLabel,但它只能在macOS上使用。不过,还是有很多工作要做的。我花了大约三四个小时的时间来标注整个数据集。创建标注时,请将其导出为PASCAL VOC格式。

在运行脚本准备数据之前,还需要做一些设置工作。

克隆代码库

从这里克隆代码库。目录结构如下所示:

models
|-- annotations
| |-- label_map.pbtxt
| |-- trainval.txt
| `-- xmls
| |-- 1.xml
| |-- 2.xml
| |-- 3.xml
| `-- ...
|-- images
| |-- 1.jpg
| |-- 2.jpg
| |-- 3.jpg
| `-- ...
|-- object_detection
| `-- ...
`-- ...

这里已经包含了所有的训练数据,开箱即用。但是如果要用自己的数据创建模型,那么需要将你自己的训练图像添加到images目录中,将XML标注添加到annotations/xmls目录中,然后更新trainval.txt和label_map.pbtxt。

trainval.txt是一个文件名列表,用于查找和关联JPG和XML文件。下面的trainval.txt列表让我们可以找到abc.jpg、abc.xml、123.jpg、123.xml、xyz.jpg和xyz.xml:

abc
123
xyz

注意:请确保JPG和XML文件的文件名除了扩展名之外是一样的。

label_map.pbtxt是我们要检测的对象列表。内容是这样的:

item {
id: 1
name: 'Millennium Falcon'
}

item {
id: 2
name: 'Tie Fighter'
}

运行脚本

首先,安装Python和pip,并安装脚本需要的组件:

pip install -r requirements.txt

在PYTHONPATH中加入models和models/slim:

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

重要提示:每次打开终端后都要运行一遍,或者添加到~/.bashrc文件中。

运行脚本:

python object_detection/create_tf_record.py

脚本运行结束之后,将会得到train.record和val.record文件。我们将用这两个文件来训练模型。

下载模型

即使使用多个GPU,从头开始训练对象检测器也可能需要数天的时间。为了加速训练,我们将采用一个在不同数据集上训练过的对象检测器,并重新设置它的一些参数来初始化我们的新模型。

你可以从这个模型集市上下载模型。每个模型的准确性和速度都不一样。我使用的是faster_rcnn_resnet101_coco。

把所有的model.ckpt文件提取出来并复制到代码库的根目录。

faster_rcnn_resnet101.config是faster_rcnn_resnet101_coco模型的配置文件。如果使用另一个模型,则可以在这里找到相对应的配置文件。

准备训练

运行下面的脚本,训练开始了!

python object_detection/train.py \
--logtostderr \
--train_dir=train \
--pipeline_config_path=faster_rcnn_resnet101.config

注意:将pipeline_config_path替换为配置文件实际的路径。

global step 1:
global step 2:
global step 3:
global step 4:
...

好极了!开始运行了!

10分钟后。

global step 41:
global step 42:
global step 43:
global step 44:
...

电脑开始冒烟了

global step 71:
global step 72:
global step 73:
global step 74:
...

这东西要运行多久呢? 视频中使用的模型要运行22000步。如果使用的是MacBook Pro,假设每15秒左右完成一步,以这样的速度,大约需要三到四天的时间才能获得一个差不多的模型。太费时间了!!!

救世主PowerAI强势出击!

PowerAIPowerAI让用户可以在配置了P100 GPU的IBM Power Systems上快速训练模型!

大概只用了一个小时的时间就训练了一万步。不过,这只用了一个GPU。 PowerAI的真正威力是能够以高达95%的效率在数百个GPU上进行分布式的深度学习。

在PowerAI的帮助下,IBM创造了在7个小时内识别一张新图像达到33.8%准确率的记录。它超过了微软以前的行业纪录,在10天内达到29.9%的准确率。

太快了!

创建一个Nimbix账号

Nimbix为开发者提供了在PowerAI平台上免费处理十个小时的试用帐户。你可以在这里进行注册。

注意:这个过程不是自动的,所以可能需要24小时才能审批通过。

申请通过后,你将收到一封电子邮件,其中包含有关确认和创建帐户的说明。

现在,你可以在这里登录了。

部署PowerAI Notebooks应用

首先搜索PowerAI Notebooks。

点击,然后选择 TensorFlow。

选择机器类型:32 thread POWER8, 128GB RAM, 1x P100 GPU w/NVLink (np8g1)。

服务器开启,将显示以下仪表板面板。当服务器的Status变为Processing时,就可以访问服务器了。

点击(click to show)获取密码。

然后点击Click here to connect启动Notebook。

使用用户名nimbix和先前提供的密码进行登录。

开始训练

点击New下拉菜单并选择Terminal,打开一个新的终端窗口。

跳出一个熟悉的界面:

注意:该终端可能不能在Safari中运行。

训练的步骤与我们在本地进行训练的步骤相同。如果你使用我的训练数据,那么可以克隆我的代码库:

git clone [https://github.com/bourdakos1/Custom-Object-Detection.git](https://github.com/bourdakos1/Custom-Object-Detection.git)

然后cd进入根目录:

<table width="60%" border="0" align="center" cellpadding="7" cellspacing="1" bgcolor="#CCCCCC" class="content">
<tr >
<td height="25" bgcolor="#f5f5f5" id="dai">
<p style="text-indent: 0em;">Hello World!</p></td>
</tr>
</table>

运行下面这个命令,下载我们之前提到的预先训练好的faster_rcnn_resnet101_coco模型。

wget [http://storage.googleapis.com/download.

tensorflow.org/models/object_detection/faster_rcnn_

resnet101_coco_11_06_2017.tar.gz](http://storage.

googleapis.com/download.tensorflow.org/models/

object_detection/faster_rcnn_resnet101_coco

_11_06_2017.tar.gz)
tar -xvf faster_rcnn_resnet101_coco_11_06_2017.tar.gz
mv faster_rcnn_resnet101_coco_11_06_2017/model.ckpt.* .

然后,再次设置PYTHONPATH,因为这是一个新的终端:

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

最后运行训练命令:

python object_detection/train.py \
--logtostderr \
--train_dir=train \
--pipeline_config_path=faster_rcnn_resnet101.config

下载模型

数据越多,则需要的步骤也越多。我的模型在接近4500步的时候非常稳定。然后,在大约20000步时达到峰值。我甚至做了20万步的训练,但是效果并不理想。

我建议每5000步左右下载一次模型,对其进行评估,以确保你的方向是正确的。

点击左上角的Jupyter徽标,打开Custom-Object-Detection/train。

下载编号最大的model.ckpt文件。

model.ckpt-STEP_NUMBER.data-00000-of-00001?model.ckpt-STEP_NUMBER.index?model.ckpt-STEP_NUMBER.meta

注意:一次只能下载一个文件。

注意:完成后,请务必点击机器上的红色电源按钮。否则,记时不会停止,时间会继续走下去。

导出推理图

要在代码中使用模型,需要将检查点文件(model.ckpt-STEP_NUMBER.*)转换为推理图。

将刚刚下载的检查点文件复制到代码库的根目录中。

然后运行这个命令:

python object_detection/export_inference_graph.py \
--input_type image_tensor \
--pipeline_config_path faster_rcnn_resnet101.config \
--trained_checkpoint_prefix model.ckpt-STEP_NUMBER \
--output_directory output_inference_graph

记住执行:

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

这时,应该可以看到一个新的output_inference_graph目录和frozen_inference_graph.pb文件。这就是我们需要的文件。

测试模型

现在运行以下命令:

python object_detection/object_detection_runner.py

它会在test_images目录中的所有图像上运行output_inference_graph/frozen_inference_graph.pb中的对象检测模型,并将结果输出到output/test_images目录中

 

   
次浏览       
相关文章

基于图卷积网络的图深度学习
自动驾驶中的3D目标检测
工业机器人控制系统架构介绍
项目实战:如何构建知识图谱
 
相关文档

5G人工智能物联网的典型应用
深度学习在自动驾驶中的应用
图神经网络在交叉学科领域的应用研究
无人机系统原理
相关课程

人工智能、机器学习&TensorFlow
机器人软件开发技术
人工智能,机器学习和深度学习
图像处理算法方法与实践