RESET_MINIMAL，BIOS设置的中英文对照？
BIOS设置中英文对照表 Time/System Time 时间/系统时间 Date/System Date 日期/系统日期 Level 2 Cache 二级缓存 System Memory 系统内存 Video Controller 视频控制器 Panel Type 液晶屏型号 Audio Controller 音频控制器 Modem Controller 调制解调器（Modem) Primary Hard Drive 主硬盘 Modular Bay 模块托架 Service Tag 服务标签 Asset Tag 资产标签 BIOS Version BIOS版本 Boot Order/Boot Sequence 启动顺序（系统搜索操作系统文件的顺序） Diskette Drive 软盘驱动器 Internal HDD 内置硬盘驱动器 Floppy device 软驱设备 Hard-Disk Drive 硬盘驱动器 USB Storage Device USB存储设备 CD/DVD/CD-RW Drive 光驱 CD-ROM device 光驱 Modular Bay HDD 模块化硬盘驱动器 Cardbus NIC Cardbus总线网卡 Onboard NIC 板载网卡 Boot POST 进行开机自检时（POST）硬件检查的水平：设置为“MINIMAL”（默认设置）则开机自检仅在BIOS升级，内存模块更改或前一次开机自检未完成的情况下才进行检查。设置为“THOROUGH”则开机自检时执行全套硬件检查。 Config Warnings 警告设置：该选项用来设置在系统使用较低电压的电源适配器或其他不支持的配置时是否报警，设置为“DISABLED”禁用报警，设置为“ENABLED”启用报警 。 Internal Modem 内置调制解调器：使用该选项可启用或禁用内置Modem。禁用（disabled）后Modem在操作系统中不可见。 LAN Controller 网络控制器：使用该选项可启用或禁用PCI以太网控制器。禁用后该设 备在操作系统中不可见。PXE BIS Policy/PXE BIS Default Policy PXE BIS策略：该选项控制系统在没有认证时如何处理（启动整体服务Boot IntegrityServices(BIS))授权请求。系统可以接受或拒绝BIS请求。设置为“Reset”时，在下次 启动计算机时BIS将重新初始化并设置为“Deny”。 Onboard Bluetooth 板载蓝牙设备 MiniPCI Device Mini PCI设备 MiniPCI Status Mini PCI设备状态：在安装Mini PCI设备时可以使用该选项启用或禁用板载PCI设备 Wireless Control 无线控制：使用该选项可以设置MiniPCI和蓝牙无线设备的控制方式。设置为“Application”时无线设备可以通过Quickset”等应用程序启用或禁用，热键不可用。设置为“/Application”时无线设备可以通过“Quickset”等应用程序或热键启用或禁用。设置为“Always Off”时无线设备被禁用，并且不能在操作系统中启用。 Wireless 无线设备：使用该选项启用或禁用无线设备。该设置可以在操作系统中通过“Quickset ”或“”热键更改。该设置是否可用取决于“Wireless Control”的设置。 Serial Port 串口：该选项可以通过重新分配端口地址或禁用端口来避免设备资源冲突。 Infrared Data Port 红外数据端口。使用该设置可以通过重新分配端口地址或禁用端口来避免设备资源冲突。 Parallel Mode并口模式。控制计算机并口工作方式为“NORMAL”（AT兼容）（普通标准并行口）、“BI-DIRECTIONAL”（PS/2兼容）（双向模式，允许主机和外设双向通讯）还是“ECP” Extended Capabilities Ports，扩展功能端口）（默认）。 Num Lock 数码锁定。设置在系统启动时数码灯（NumLock LED）是否点亮。设为“DISABLE”则数码灯保持灭，设为“ENABLE”则在系统启动时点亮数码灯。 Keyboard NumLock 键盘数码锁：该选项用来设置在系统启动时是否提示键盘相关的错误信息。 Enable Keypad启用小键盘：设置为“BY NUMLOCK”在NumLock灯亮并且没有接外接键盘时启用数字小键盘。设置为“Only By Key”在NumLock灯亮时保持embedded键区为禁用状态。 External Hot Key外部热键：该设置可以在外接PS/2键盘上按照与使用笔记本电脑上的键的相同的方式使 用键。如果您使用ACPI操作系统，如Win2000或WinXP，则USB键盘不能使用键。仅在纯DOS模式下USB键盘才可以使用键。设置为SCROLL LOCK”（默认选项）启用该功能，设置为“NOT INSTALLED”禁用该功能。 USB Emulation USB仿真：使用该选项可以在不直接支持USB的操作系统中使用USB键盘、USB鼠标及USB 软驱。该设置在BIOS启动过程中自动启用。启用该功能后，控制转移到操作系统时仿真 继续有效。禁用该功能后在控制转移到操作系统时仿真关闭。 Pointing Device 指针设备：设置为“SERIAL MOUSE”时外接串口鼠标启用并集成触摸板被禁用。设置为 “PS/2 MOUSE”时，若外接PS/2鼠标，则禁用集成触摸板。设置为“TOUCH PAD-PS/2 MOUSE”（默认设置）时，若外接PS/2鼠标，可以在鼠标与触摸板间切换。更改在计算机重新启动后生效。 Video Expansion 视频扩展：使用该选项可以启用或禁用视频扩展，将较低的分辨率调整为较高的、正常的LCD分辨率。 Battery 电池 Battery Status 电池状态 Power Management 电源管理 Suspend Mode 挂起模式 AC Power Recovery 交流电源恢复：该选项可以在交流电源适配器重新插回系统时电脑的相应反映。 Low Power Mode 低电量模式：该选项用来设置系统休眠或关闭时所用电量。 Brightness 亮度：该选项可以设置计算机启动时显示器的亮度。计算机工作在电源供电状态下时默认设置为一半。计算机工作在交流电源适配器供电状态下时默认设置为最大。 Wakeup On LAN 网络唤醒：该选项设置允许在网络信号接入时将电脑从休眠状态唤醒。该设置对待机状 态（Standby state）无效。只能在操作系统中唤醒待机状态。该设置仅在接有交流电源适配器时有效。 Auto On Mod 自动开机模式：注意若交流电源适配器没有接好，该设置将无法生效。该选项可设置计算机自动开机时间，可以设置将计算机每天自动开机或仅在工作日自动开机。设置在计算机重新启动后生效。 Auto On Time 自动开机时间：该选项可设置系统自动开机的时间，时间格式为24小时制。键入数值或使用左、右箭头键设定数值。设置在计算机重新启动后生效。 Dock Configuration 坞站配置 Docking Status 坞站状态 Universal Connect 通用接口：若所用操作系统为WinNT4.0或更早版本，该设置无效。如果经常使用不止一个戴尔坞站设备，并且希望最小化接入坞站时的初始时间，设置为“ENABLED”（默认设置）。如果希望操作系统对计算机连接的每个新的坞站设备都生成新的系统设置文件，设置为“DISABLED”。 System Security 系统安全 Primary PassWord 主密码 Admin PassWord 管理密码 Hard-disk drive passWord(s) 硬盘驱动器密码 PassWord Status 密码状态：该选项用来在Setup密码启用时锁定系统密码。将该选项设置为“Locked”并启用Setup密码以放置系统密码被更改。该选项还可以用来放置在系统启动时密码被用户禁用。 System PassWord 系统密码 Setup PassWord Setup密码 Post Hotkeys 自检热键：该选项用来指定在开机自检（POST）时屏幕上显示的热键（F2或F12）。 Chassis Intrusion机箱防盗：该选项用来启用或禁用机箱防盗检测特征。设置为“Enable-Silent”时，启动时若检测到底盘入侵，不发送警告信息。该选项启用并且机箱盖板打开时，该域将显示“DETECTED”。 Drive Configuration 驱动器设置 Diskette Drive A: 磁盘驱动器A:如果系统中装有软驱，使用该选项可启用或禁用软盘驱动器 Primary Master Drive 第一主驱动器 Primary Slave Drive 第一从驱动器 Secondary Master Drive 第二主驱动器 Secondary Slave Drive 第二从驱动器 IDE Drive UDMA 支持UDMA的IDE驱动器：使用该选项可以启用或禁用通过内部IDE硬盘接口的DMA传输。 Hard-Disk drive Sequence 硬盘驱动器顺序 System BIOS boot devices 系统BIOS启动顺序 USB device USB设备 Memory Information 内存信息 Installed System Memory 系统内存：该选项显示系统中所装内存的大小及型号 System Memory Speed内存速率：该选项显示所装内存的速率 System Memory Channel Mode 内存信道模式：该选项显示内存槽设置。 AGP Aperture AGP区域内存容量：该选项指定了分配给视频适配器的内存值。某些视频适配器可能要求多于默认值的内存量。 CPU information CPU信息 CPU Speed CPU速率：该选项显示启动后中央处理器的运行速率 Bus Speed 总线速率：显示处理器总线速率 Processor 0 ID 处理器ID：显示处理器所属种类及模型号 Clock Speed 时钟频率 Cache Size 缓存值：显示处理器的二级缓存值 Integrated Devices(LegacySelect Options) 集成设备 Sound 声音设置：使用该选项可启用或禁用音频控制器 Network Interface Controller网络接口控制器：启用或禁用集成网卡 Mouse Port 鼠标端口：使用该选项可启用或禁用内置PS/2兼容鼠标控制器 USB Controller USB控制器：使用该选项可启用或禁用板载USB控制器。 PCI Slots PCI槽：使用该选项可启用或禁用板载PCI卡槽。禁用时所有PCI插卡都不可用，并且不能被操作系统检测到。 Serial Port 1 串口1：使用该选项可控制内置串口的操作。设置为“AUTO”时，如果通过串口扩展卡在同一个端口地址上使用了两个设备，内置串口自动重新分配可用端口地址。串口先使用COM1，再使用COM2，如果两个地址都已经分配给某个端口，该端口将被禁用。 Parallel Port 并口：该域中可配置内置并口 Mode 模式：设置为“AT”时内置并口仅能输出数据到相连设备。设置为PS/2、EPP或ECP模式时并口可以输入、输出数据。这三种模式所用协议和最大数据传输率不同。最 大传输速率PS/2
使用endmqm命令无法停止MQ队列管理器？
一、WebSphere MQ命令行命令 1、停止队列管理器 endmqm [-z] [([-c | -w | -i | -p] [-r] [-s]) | -x] QMgrName endmqm mqm_name 使用默认选项停止队列管理器需要等待当前的应用连接完成并断开。 -i 立即停止队列管理器。 -w 需要等待所有的应用停止以后才会真正关闭队列管理器 -p 使用以上参数都无法正常停止队列管理器的情况下可以使用该参数 2、启动队列管理器 strmqm [-z] [-a | -c | -r | -x] [-d none|minimal|all] [-f] [-ns] QMgrName 队列管理器必须在完全停止时才能被启动。 3、创建队列管理器 crtmqm [-z] [-q] [-c Text] [-d DefXmitQ] [-h MaxHandles] [-md DataPath] [-g ApplicationGroup] [-t TrigInt] [-u DeadQ] [-x MaxUMsgs] [-lp LogPri] [-ls LogSec] [-lc | -ll] [-lf LogFileSize] [-ld LogPath] QMgrName 队列管理器名大小写敏感且不支持空字符串，长度为48字节，同一网络中不能有重名。
创建队列管理器的时侯最好创建死信队列用于存放无法发送的信息，保证通道不会因为无法发送信息而被关闭。 crtmqm -u deadq_name mqm_name 4、删除队列管理器 dltmqm [-z] QMgrName 删除队列管理器会完全删除其所拥有的对象和相关信息，并且是不可恢复的。要删除一个队列管理器首先要保证他是停止的。 二、WebSphere MQ Script. (MQSC) commands WebSphere MQ Script. (MQSC) commands是常常用来管理队列管理器对象的。这些对象包括队列管理器本身，队列，名称列表，通道，客户端通道，监听，服务等。使用runmqsc 队列管理名来启动，可以运行单个的命令，也可以通过命令集的脚本来运行。
本地队列管理器的作用是接收远程或本地的信息流，并将本地队列中的信息流取出以供应用程序使用。
在做这些工作之前需要定义相关的队列管理器，队列和通道等，而这些工作是由WebSphere MQ Script. (MQSC) commands来完整的。
在Windows及Linux环境下也可以通过WebSphere MQ Explorer来完成。 启动WebSphere MQ Script. (MQSC) ：runmqsc [-e] [-v] [-w WaitTime [-x] [-m LocalQMgrName]] [QMgrName] runmqsc mqm_name。通过命令runmqsc启动队列管理器的命令服务器。WebSphere MQ Explorer也能完成相同的任务。runmqsc的相关命令有三种运行方式，Verify a command without running it，Run a command on a local queue manager，Run a command on a remote queue manager。
runmqsc的相关命令在解释的时候都会以大写来解释，比如DEFINE，ALTER，RESET等。但是这些命令并不是大小写敏感的。
每行runmqsc命令最长只能到8个字符，可以通过-或者+连接下一行，-是从下一行的第一个字符开始，+是从下一行的第一个非空字符开始。而且所有命令与平台无关。
runmqsc的标准输入是键盘，标准输出时屏幕，我们可以通过<，>重定向。
例如从脚本输入命令runmqsc /path/filename.out。 1、显示队列管理器属性（DISPLAY QMGR）： DISPLAY QMGR显示当前队列管理器的所有属性，也可以使用DISPLAY QMGR 属性名，单独查看当前队列管理器的某个特定属性。
2、 更改队列管理器属性（ALTER QMGR ）： ALTER QMGR 用于更改队列管理器的相关属性，例如 ALTER QMGR MAXHANDS(255)，这个命令将默认队列管理器的MAXHANDS由256更改为255。 3、创建本地队列（DEFINE QLOCAL ）： DEFINE QLOCAL Q_LOCAL_NAME，在创建队列的时候可以定义相关属性的值，如果没有定义则使用默认值。也可以全部使用默认值，最后通过ALTER QLOCAL命令来修改相关属性。在同一个队列管理器中不能有同名的队列，可以使用REPLACE关键字重建已有的队列。 4、修改本地队列属性（ALTER QLOCAL）： ALTER QLOCAL Q_LOCAL_NAME NEW_ATTRIBUTE。已经定义了的本地队列可以使用ALTER QLOCAL 命令对其属性进行修改。 5、显示本地队列属性（DISPLAY QLOCAL）： DISPLAY QLOCAL Q_LOCAL_NAME ATTRIBUTE。此命令用于显示本地队列的属性，可以使用默认的显示全部属性，也可以显示指定的属性。 6、复制本地队列（DEFINE QLOCAL NEW LIKE OLD)： DEFINE QLOCAL NEW LIKE OLD。此命令可以创建一个属性与OLD完全一样的本地队列。当然，我们也可以在语句后面指定属性的详细信息，没有指定的则继承OLD的对应属性，指定了的则使用新的属性。 7、清除本地队列中的消息（CLEAR QLOCAL）： CLEAR QLOCAL Q_LOCAL_QUEUE。此命令用于清除本地队列中存储的信息。在清除信息的时候系统不会给出任何提示，而是直接把信息删除。在一下两种情况下不能使用CLEAR QLOCAL，本地队列中存储的有在最近一次队列同步以后未提交的信息，有应用程序打开使用本地此队列。 8、删除本地队列（DELETE QLOCAL）： DELETE QLOCAL Q_LOCAL_QUEUE。此命令用于删除本地队列，当本地队列中存在有没有提交的数据此队列不能删除。如果队列中存在数据，且数据是提交了的，可以使用PURGE关键字删除本地队列。例如DELETE QLOCAL (Q_LOCAL_QUEUE) PURGE，在删除的时候可以指定NOPURGE关键字代替PURGE以保护删除的队列中可能存在的已提交数据。 三、PCF commands PCF commands允许管理员通过编程的方式将MQ的日常管理任务集成在程序中。包括创建队列，预定义队列，更改队列管理器等， PCF commands与MQSC锁实现的功能是相同。
如何2小时快速入门MxNet？
一、MXnet的安装及使用
开源地址：https://github.com/dmlc/mxnet
如下是单节点的具体安装和实验流程，参考于官方文档：http://mxnt.ml/en/latest/build.html#building-on-linux
1.1、基本依赖的安装
sudo apt-get update
sudo apt-get install -y build-essential git libblas-dev libopencv-dev
1.2、下载mxnet
git clone --recursive https://github.com/dmlc/mxnet
1.3、安装cuda
详见博客：http://blog.csdn.net/a350203223/article/details/50262535
1.4、编译支持GPU的MXnet
将mxnet/目录里找到mxnet/make/子目录，把该目录下的config.mk复制到mxnet/目录，用文本编辑器打开，找到并修改以下两行：
USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
修改之后，在mxnet/目录下编译
make -j4
1.5、安装Python支持
cd python;
python setup.py install
有些时候需要安装setuptools和numpy(sudo apt-get install python-numpy)。
1.6、运行Mnist手写体识别实例
MNIST手写数字识别，数据集包含6万个手写数字的训练数据集以及1万个测试数据集，每个图片是28x28的灰度图。在mxnet/example/image-classification里可以找到MXnet自带MNIST的识别样例，我们可以先运行一下试试：
cd mxnet/example/image-classification
python train_mnist.py
在第一次运行的时候会自动下载MNIST数据集。
以上的命令是使用默认的参数运行，即使用mlp网络，在cpu上计算。
如果使用lenet网络，在GPU上实现加速，则使用如下命令：
python train_mnist.py --gpus 0 --network lenet
想要搞清楚一个框架怎么使用，第一步就是用它来训练自己的数据，这是个很关键的一步。
二、MXnet数据预处理
整个数据预处理的代码都集成在了toosl/im2rec.py中了，这个首先要造出一个list文件，lst文件有三列，分别是index label 图片路径。如下图所示：
我这个label是瞎填的，所以都是0。另外最新的MXnet上面的im2rec是有问题的，它生成的list所有的index都是0，不过据说这个index没什么用.....但我还是改了一下。把yield生成器换成直接append即可。
执行的命令如下：
sudo python im2rec.py --list=True /home/erya/dhc/result/try /home/erya/dhc/result/ --recursive=True --shuffle=true --train-ratio=0.8
每个参数的意义在代码内部都可以查到，简单说一下这里用到的：--list=True说明这次的目的是make list，后面紧跟的是生成的list的名字的前缀，我这里是加了路径，然后是图片所在文件夹的路径，recursive是是否迭代的进入文件夹读取图片，--train-ratio则表示train和val在数据集中的比例。
执行上面的命令后，会得到三个文件：
然后再执行下面的命令生成最后的rec文件：
sudo python im2rec.py /home/erya/dhc/result/try_val.lst /home/erya/dhc/result --quality=100
以及，sudo python im2rec.py /home/erya/dhc/result/try_train.lst /home/erya/dhc/result --quality=100
来生成相应的lst文件的rec文件，参数意义太简单就不说了..看着就明白，result是我存放图片的目录。
这样最终就完成了数据的预处理，简单的说，就是先生成lst文件，这个其实完全可以自己做，而且后期我做segmentation的时候，label就是图片了..
三、非常简单的小demo
先上代码：
import mxnet as mximport loggingimport numpy as np logger = logging.getLogger() logger.setLevel(logging.DEBUG)#暂时不需要管的logdef ConvFactory(data, num_filter, kernel, stride=(1,1), pad=(0, 0), act_type="relu"): conv = mx.symbol.Convolution(data=data, workspace=256, num_filter=num_filter, kernel=kernel, stride=stride, pad=pad) return conv #我把这个删除到只有一个卷积的操作def DownsampleFactory(data, ch_3x3): # conv 3x3 conv = ConvFactory(data=data, kernel=(3, 3), stride=(2, 2), num_filter=ch_3x3, pad=(1, 1)) # pool pool = mx.symbol.Pooling(data=data, kernel=(3, 3), stride=(2, 2), pool_type='max') # concat concat = mx.symbol.Concat(*[conv, pool]) return concatdef SimpleFactory(data, ch_1x1, ch_3x3): # 1x1 conv1x1 = ConvFactory(data=data, kernel=(1, 1), pad=(0, 0), num_filter=ch_1x1) # 3x3 conv3x3 = ConvFactory(data=data, kernel=(3, 3), pad=(1, 1), num_filter=ch_3x3) #concat concat = mx.symbol.Concat(*[conv1x1, conv3x3]) return concatif __name__ == "__main__": batch_size = 1 train_dataiter = mx.io.ImageRecordIter( shuffle=True, path_imgrec="/home/erya/dhc/result/try_train.rec", rand_crop=True, rand_mirror=True, data_shape=(3,28,28), batch_size=batch_size, preprocess_threads=1)#这里是使用我们之前的创造的数据，简单的说就是要自己写一个iter，然后把相应的参数填进去。 test_dataiter = mx.io.ImageRecordIter( path_imgrec="/home/erya/dhc/result/try_val.rec", rand_crop=False, rand_mirror=False, data_shape=(3,28,28), batch_size=batch_size, round_batch=False, preprocess_threads=1)#同理 data = mx.symbol.Variable(name="data") conv1 = ConvFactory(data=data, kernel=(3,3), pad=(1,1), num_filter=96, act_type="relu") in3a = SimpleFactory(conv1, 32, 32) fc = mx.symbol.FullyConnected(data=in3a, num_hidden=10) softmax = mx.symbol.SoftmaxOutput(name='softmax',data=fc)#上面就是定义了一个巨巨巨简单的结构 # For demo purpose, this model only train 1 epoch # We will use the first GPU to do training num_epoch = 1 model = mx.model.FeedForward(ctx=mx.gpu(), symbol=softmax, num_epoch=num_epoch, learning_rate=0.05, momentum=0.9, wd=0.00001) #将整个model训练的架构定下来了，类似于caffe里面solver所做的事情。# we can add learning rate scheduler to the model# model = mx.model.FeedForward(ctx=mx.gpu(), symbol=softmax, num_epoch=num_epoch,# learning_rate=0.05, momentum=0.9, wd=0.00001,# lr_scheduler=mx.misc.FactorScheduler(2))model.fit(X=train_dataiter, eval_data=test_dataiter, eval_metric="accuracy", batch_end_callback=mx.callback.Speedometer(batch_size))#开跑数据。四、detaiter
MXnet的设计结构是C++做后端运算，python、R等做前端来使用，这样既兼顾了效率，又让使用者方便了很多，完整的使用MXnet训练自己的数据集需要了解几个方面。今天我们先谈一谈Data iterators。
MXnet中的data iterator和python中的迭代器是很相似的， 当其内置方法next被call的时候它每次返回一个 data batch。所谓databatch，就是神经网络的输入和label，一般是(n, c, h, w)的格式的图片输入和(n, h, w)或者标量式样的label。直接上官网上的一个简单的例子来说说吧。
import numpy as npclass SimpleIter: def __init__(self, data_names, data_shapes, data_gen, label_names, label_shapes, label_gen, num_batches=10): self._provide_data = zip(data_names, data_shapes) self._provide_label = zip(label_names, label_shapes) self.num_batches = num_batches self.data_gen = data_gen self.label_gen = label_gen self.cur_batch = 0 def __iter__(self): return self def reset(self): self.cur_batch = 0 def __next__(self): return self.next() @property def provide_data(self): return self._provide_data @property def provide_label(self): return self._provide_label def next(self): if self.cur_batch < self.num_batches: self.cur_batch += 1 data = [mx.nd.array(g(d[1])) for d,g in zip(self._provide_data, self.data_gen)] assert len(data) > 0, "Empty batch data." label = [mx.nd.array(g(d[1])) for d,g in zip(self._provide_label, self.label_gen)] assert len(label) > 0, "Empty batch label." return SimpleBatch(data, label) else: raise StopIteration上面的代码是最简单的一个dataiter了，没有对数据的预处理，甚至于没有自己去读取数据，但是基本的意思是到了，一个dataiter必须要实现上面的几个方法，provide_data返回的格式是(dataname, batchsize, channel, width, height)， provide_label返回的格式是(label_name, batchsize, width, height),reset()的目的是在每个epoch后打乱读取图片的顺序，这样随机采样的话训练效果会好一点，一般情况下是用shuffle你的lst（上篇用来读取图片的lst）实现的，next()的方法就很显然了，用来返回你的databatch，如果出现问题...记得raise stopIteration，这里或许用try更好吧...需要注意的是，databatch返回的数据类型是mx.nd.ndarry。
下面是我最近做segmentation的时候用的一个稍微复杂的dataiter，多了预处理和shuffle等步骤：
# pylint: skip-fileimport randomimport cv2import mxnet as mximport numpy as npimport osfrom mxnet.io import DataIter, DataBatchclass FileIter(DataIter): #一般都是继承DataIter """FileIter object in fcn-xs example. Taking a file list file to get dataiter. in this example, we use the whole image training for fcn-xs, that is to say we do not need resize/crop the image to the same size, so the batch_size is set to 1 here Parameters ---------- root_dir : string the root dir of image/label lie in flist_name : string the list file of iamge and label, every line owns the form: index \t image_data_path \t image_label_path cut_off_size : int if the maximal size of one image is larger than cut_off_size, then it will crop the image with the minimal size of that image data_name : string the data name used in symbol data(default data name) label_name : string the label name used in symbol softmax_label(default label name) """ def __init__(self, root_dir, flist_name, rgb_mean=(117, 117, 117), data_name="data", label_name="softmax_label", p=None): super(FileIter, self).__init__() self.fac = p.fac #这里的P是自己定义的config self.root_dir = root_dir self.flist_name = os.path.join(self.root_dir, flist_name) self.mean = np.array(rgb_mean) # (R, G, B) self.data_name = data_name self.label_name = label_name self.batch_size = p.batch_size self.random_crop = p.random_crop self.random_flip = p.random_flip self.random_color = p.random_color self.random_scale = p.random_scale self.output_size = p.output_size self.color_aug_range = p.color_aug_range self.use_rnn = p.use_rnn self.num_hidden = p.num_hidden if self.use_rnn: self.init_h_name = 'init_h' self.init_h = mx.nd.zeros((self.batch_size, self.num_hidden)) self.cursor = -1 self.data = mx.nd.zeros((self.batch_size, 3, self.output_size[0], self.output_size[1])) self.label = mx.nd.zeros((self.batch_size, self.output_size[0] / self.fac, self.output_size[1] / self.fac)) self.data_list = [] self.label_list = [] self.order = [] self.dict = {} lines = file(self.flist_name).read().splitlines() cnt = 0 for line in lines: #读取lst，为后面读取图片做好准备 _, data_img_name, label_img_name = line.strip('\n').split("\t") self.data_list.append(data_img_name) self.label_list.append(label_img_name) self.order.append(cnt) cnt += 1 self.num_data = cnt self._shuffle() def _shuffle(self): random.shuffle(self.order) def _read_img(self, img_name, label_name): # 这个是在服务器上跑的时候，因为数据集很小，而且经常被同事卡IO，所以我就把数据全部放进了内存 if os.path.join(self.root_dir, img_name) in self.dict: img = self.dict[os.path.join(self.root_dir, img_name)] else: img = cv2.imread(os.path.join(self.root_dir, img_name)) self.dict[os.path.join(self.root_dir, img_name)] = img if os.path.join(self.root_dir, label_name) in self.dict: label = self.dict[os.path.join(self.root_dir, label_name)] else: label = cv2.imread(os.path.join(self.root_dir, label_name),0) self.dict[os.path.join(self.root_dir, label_name)] = label # 下面是读取图片后的一系统预处理工作 if self.random_flip: flip = random.randint(0, 1) if flip == 1: img = cv2.flip(img, 1) label = cv2.flip(label, 1) # scale jittering scale = random.uniform(self.random_scale[0], self.random_scale[1]) new_width = int(img.shape[1] * scale) # 680 new_height = int(img.shape[0] * scale) # new_width * img.size[1] / img.size[0] img = cv2.resize(img, (new_width, new_height), interpolation=cv2.INTER_NEAREST) label = cv2.resize(label, (new_width, new_height), interpolation=cv2.INTER_NEAREST) #img = cv2.resize(img, (900,450), interpolation=cv2.INTER_NEAREST) #label = cv2.resize(label, (900, 450), interpolation=cv2.INTER_NEAREST) if self.random_crop: start_w = np.random.randint(0, img.shape[1] - self.output_size[1] + 1) start_h = np.random.randint(0, img.shape[0] - self.output_size[0] + 1) img = img[start_h : start_h + self.output_size[0], start_w : start_w + self.output_size[1], :] label = label[start_h : start_h + self.output_size[0], start_w : start_w + self.output_size[1]] if self.random_color: img = cv2.cvtColor(img, cv2.COLOR_BGR2HSV) hue = random.uniform(-self.color_aug_range[0], self.color_aug_range[0]) sat = random.uniform(-self.color_aug_range[1], self.color_aug_range[1]) val = random.uniform(-self.color_aug_range[2], self.color_aug_range[2]) img = np.array(img, dtype=np.float32) img[..., 0] += hue img[..., 1] += sat img[..., 2] += val img[..., 0] = np.clip(img[..., 0], 0, 255) img[..., 1] = np.clip(img[..., 1], 0, 255) img[..., 2] = np.clip(img[..., 2], 0, 255) img = cv2.cvtColor(img.astype('uint8'), cv2.COLOR_HSV2BGR) is_rgb = True #cv2.imshow('main', img) #cv2.waitKey() #cv2.imshow('maain', label) #cv2.waitKey() img = np.array(img, dtype=np.float32) # (h, w, c) reshaped_mean = self.mean.reshape(1, 1, 3) img = img - reshaped_mean img[:, :, :] = img[:, :, [2, 1, 0]] img = img.transpose(2, 0, 1) # img = np.expand_dims(img, axis=0) # (1, c, h, w) label_zoomed = cv2.resize(label, None, fx = 1.0 / self.fac, fy = 1.0 / self.fac) label_zoomed = label_zoomed.astype('uint8') return (img, label_zoomed) @property def provide_data(self): """The name and shape of data provided by this iterator""" if self.use_rnn: return [(self.data_name, (self.batch_size, 3, self.output_size[0], self.output_size[1])), (self.init_h_name, (self.batch_size, self.num_hidden))] else: return [(self.data_name, (self.batch_size, 3, self.output_size[0], self.output_size[1]))] @property def provide_label(self): """The name and shape of label provided by this iterator""" return [(self.label_name, (self.batch_size, self.output_size[0] / self.fac, self.output_size[1] / self.fac))] def get_batch_size(self): return self.batch_size def reset(self): self.cursor = -self.batch_size self._shuffle() def iter_next(self): self.cursor += self.batch_size return self.cursor < self.num_data def _getpad(self): if self.cursor + self.batch_size > self.num_data: return self.cursor + self.batch_size - self.num_data else: return 0 def _getdata(self): """Load data from underlying arrays, internal use only""" assert(self.cursor < self.num_data), "DataIter needs reset." data = np.zeros((self.batch_size, 3, self.output_size[0], self.output_size[1])) label = np.zeros((self.batch_size, self.output_size[0] / self.fac, self.output_size[1] / self.fac)) if self.cursor + self.batch_size <= self.num_data: for i in range(self.batch_size): idx = self.order[self.cursor + i] data_, label_ = self._read_img(self.data_list[idx], self.label_list[idx]) data[i] = data_ label[i] = label_ else: for i in range(self.num_data - self.cursor): idx = self.order[self.cursor + i] data_, label_ = self._read_img(self.data_list[idx], self.label_list[idx]) data[i] = data_ label[i] = label_ pad = self.batch_size - self.num_data + self.cursor #for i in pad: for i in range(pad): idx = self.order[i] data_, label_ = self._read_img(self.data_list[idx], self.label_list[idx]) data[i + self.num_data - self.cursor] = data_ label[i + self.num_data - self.cursor] = label_ return mx.nd.array(data), mx.nd.array(label) def next(self): """return one dict which contains "data" and "label" """ if self.iter_next(): data, label = self._getdata() data = [data, self.init_h] if self.use_rnn else [data] label = [label] return DataBatch(data=data, label=label, pad=self._getpad(), index=None, provide_data=self.provide_data, provide_label=self.provide_label) else: raise StopIteration到这里基本上正常的训练我们就可以开始了，但是当你有了很多新的想法的时候，你又会遇到新的问题...比如：multi input/output怎么办？
其实也很简单，只需要修改几个地方：
1、provide_label和provide_data，注意到之前我们的return都是一个list，所以之间在里面添加和之前一样的格式就行了。
2. next() 如果你需要传 data和depth两个输入，只需要传 input = sum([[data],[depth],[]])到databatch的data就行了，label也同理。
值得一提的时候，MXnet的multi loss实现起来需要在写network的symbol的时候注意一点，假设你有softmax_loss和regression_loss。那么只要在最后return mx.symbol.Group([softmax_loss, regression_loss])。
我们在MXnet中定义好symbol、写好dataiter并且准备好data之后，就可以开开心的去训练了。一般训练一个网络有两种常用的策略，基于model的和基于module的。接下来谈一谈他们的使用。
五、Model
按照老规矩，直接从官方文档里面拿出来的代码看一下：
# configure a two layer neuralnetwork data = mx.symbol.Variable('data') fc1 = mx.symbol.FullyConnected(data, name='fc1', num_hidden=128) act1 = mx.symbol.Activation(fc1, name='relu1', act_type='relu') fc2 = mx.symbol.FullyConnected(act1, name='fc2', num_hidden=64) softmax = mx.symbol.SoftmaxOutput(fc2, name='sm')# create a model using sklearn-style two-step way#创建一个model model = mx.model.FeedForward( softmax, num_epoch=num_epoch, learning_rate=0.01)#开始训练 model.fit(X=data_set)具体的API参照http://mxnet.io/api/python/model.html。
然后呢，model这部分就说完了。。。之所以这么快主要有两个原因：
1.确实东西不多，一般都是查一查文档就可以了。
2.model的可定制性不强，一般我们是很少使用的，常用的还是module。
六、Module
Module真的是一个很棒的东西，虽然深入了解后，你会觉得“哇，好厉害，但是感觉没什么鸟用呢”这种想法。。实际上我就有过，现在回想起来，从代码的设计和使用的角度来讲，Module确实是一个非常好的东西，它可以为我们的网络计算提高了中级、高级的接口，这样一来，就可以有很多的个性化配置让我们自己来做了。
Module有四种状态：
1.初始化状态，就是显存还没有被分配，基本上啥都没做的状态。
2.binded，在把data和label的shape传到Bind函数里并且执行之后，显存就分配好了，可以准备好计算能力。
3.参数初始化。就是初始化参数
3.Optimizer installed 。就是传入SGD，Adam这种optimuzer中去进行训练
先上一个简单的代码：
import mxnet as mx # construct a simple MLP data = mx.symbol.Variable('data') fc1 = mx.symbol.FullyConnected(data, name='fc1', num_hidden=128) act1 = mx.symbol.Activation(fc1, name='relu1', act_type="relu") fc2 = mx.symbol.FullyConnected(act1, name = 'fc2', num_hidden = 64) act2 = mx.symbol.Activation(fc2, name='relu2', act_type="relu") fc3 = mx.symbol.FullyConnected(act2, name='fc3', num_hidden=10) out = mx.symbol.SoftmaxOutput(fc3, name = 'softmax') # construct the module mod = mx.mod.Module(out) mod.bind(data_shapes=train_dataiter.provide_data, label_shapes=train_dataiter.provide_label) mod.init_params() mod.fit(train_dataiter, eval_data=eval_dataiter, optimizer_params={'learning_rate':0.01, 'momentum': 0.9}, num_epoch=n_epoch)分析一下：首先是定义了一个简单的MLP，symbol的名字就叫做out，然后可以直接用mx.mod.Module来创建一个mod。之后mod.bind的操作是在显卡上分配所需的显存，所以我们需要把data_shapehe label_shape传递给他，然后初始化网络的参数，再然后就是mod.fit开始训练了。这里补充一下。fit这个函数我们已经看见两次了，实际上它是一个集成的功能，mod.fit（）实际上它内部的核心代码是这样的：
for epoch in range(begin_epoch, num_epoch): tic = time.time() eval_metric.reset() for nbatch, data_batch in enumerate(train_data): if monitor is not None: monitor.tic() self.forward_backward(data_batch) #网络进行一次前向传播和后向传播 self.update() #更新参数 self.update_metric(eval_metric, data_batch.label) #更新metric if monitor is not None: monitor.toc_print() if batch_end_callback is not None: batch_end_params = BatchEndParam(epoch=epoch, nbatch=nbatch, eval_metric=eval_metric, locals=locals()) for callback in _as_list(batch_end_callback): callback(batch_end_params)正是因为module里面我们可以使用很多intermediate的interface，所以可以做出很多改进，举个最简单的例子：如果我们的训练网络是大小可变怎么办？ 我们可以实现一个mutumodule，基本上就是，每次data的shape变了的时候，我们就重新bind一下symbol，这样训练就可以照常进行了。
总结：实际上学一个框架的关键还是使用它，要说诀窍的话也就是多看看源码和文档了，我写这些博客的目的，一是为了记录一些东西，二是让后来者少走一些弯路。所以有些东西不会说的很全。。
如何利用matplotlib进行复杂的绘图布局？
全文共2153字，预计学习时长4分钟或更长
用Matplotlib模拟雨
动画是呈现各种现象的有趣方式。在描述像过去几年的股票价格、过去十年的气候变化、季节性和趋势等时间序列数据时，与静态图相比，动画更能说明问题。因为，从动画中，我们可以看到特定参数是如何随时间而变化的。
上图是模拟雨的图像。此图由Matplotlib绘图库绘制而成，该绘图库常常被认为是python可视化数据包的原始数据组。Matplotlib通过50个分散点的比例和不透明度来模拟雨滴落在平面上的情景。如今，Plotly、Bokeh、Altair等一系列可视化工具均为Python中强大的可视化工具。这些库可实现最先进的动画和交互动作。但是，本文重点在于研究数据库的一个方面——动画。同时，我们也将关注实现动画的方法。
概述Matplotlib是一个 Python 的 2D绘图库，也是Python中最受欢迎的绘图数据库。大多数人在踏上数据可视化之旅时，都是首选Matplotlib。这是因为它可简单地生成绘图，直方图、功率谱、条形图、错误图、散点图等。不仅如此，它还无缝连接了Pandas、Seaborn等数据库，甚至创建出更为复杂的可视化数据。
Matplotlib有几大优点：
· 其构造和MATLAB(矩阵实验室)类似，所以两者间易于切换
· 包含许多后端渲染
· 可以快速生成绘图
· 已存在数十年以上，因此，有大量的用户基础
但是，Matplotlib除了这些优点之外，也有许多不足之处：
· Matplotlib常常不可避免地存在冗繁的API（应用程序编程接口）
· 有时默认样式设计不如人意
· 对web和交互式图表的支持较低
· 处理大型及复杂的数据时速度常常较慢
对于进修者来说，Datacamp中有关于Matplotlib的必备知识可以帮助提高基础知识。
动画Matplotlib的动画基类负责处理动画部分。其可提供构建动画功能的框架。有两个主要接口来实现此功能：
FuncAnimation：通过反复触发func.功能创建动画。
ArtistAnimation：利用已定义的Artist对象创建动画。
但是，在上述两种接口中，FuncAnimation更为方便。我们专注于FuncAnimation工具的研究。
要求
· 安装numpy和matplotlib模块。
· 安装符合要求的 ffmpeg 或imagemagick方可将动画以mp4或gif的形式储存。
一切准备就绪，就可以开始在JupyterNotebooks中制作第一个基本动画了。本文的访问密码可在GithubRepository中获取。
基本动画：移动的正弦波
在电脑中，利用FuncAnimation创建正弦波的基本动画。动画源代码可在Matplotlib动画教程中获取。先来看看输出代码，然后将其破译，并了解其中奥妙。
import numpy as npfrom matplotlib import pyplot as pltfrom matplotlib.animation import FuncAnimationplt.style.use('seaborn-pastel')fig = plt.figure()ax = plt.axes(xlim=(0, 4), ylim=(-2, 2))line, = ax.plot([], [], lw=3)def init(): line.set_data([], []) return line,def animate(i): x = np.linspace(0, 4, 1000) y = np.sin(2 * np.pi * (x - 0.01 * i)) line.set_data(x, y) return line,anim = FuncAnimation(fig, animate, init_func=init, frames=200, interval=20, blit=True)anim.save('sine_wave.gif', writer='imagemagick')· 在第7行到第9行，简单地创建一个图形窗口，图中只有一个轴。然后，创建无内容的行对象，其本质上是在动画中可修改的对象。稍后用数据来填充行对象。
· 在第11行到13行，创建init函数，触发动画发生。此函数初始化数据，并限定轴范围。
· 最后，在第14行到第18行，定义动画函数，该函数以帧数（i）作为参数，并创建一个正弦波（或任意其他的动画），而其移动取决于i的值。此函数返回一个已修改的plot对象的元组，告知动画框架plot中哪些部分需要动画化。
· 在第20 行，创建实际的动画对象。Blit参数确保只重新绘制已更改的部分。
· 这是在Matplolib中创建动画的基本知识。只需对代码稍作调整，就可以创建出一些有趣的可视化。接下来看看其中一些可视化的例子吧。
一个不断扩大的线圈同样，在GreeksforGreeks中，有一个创建图形的好例子。我们一起在animation模块的帮助下创造一个缓慢展开的活动线圈。该代码和正弦波图极为相似，只有一些小调整。
import matplotlib.pyplot as plt import matplotlib.animation as animation import numpy as np plt.style.use('dark_background')fig = plt.figure() ax = plt.axes(xlim=(-50, 50), ylim=(-50, 50)) line, = ax.plot([], [], lw=2) # initialization function def init(): # creating an empty plot/frame line.set_data([], []) return line, # lists to store x and y axis points xdata, ydata = [], [] # animation function def animate(i): # t is a parameter t = 0.1*i # x, y values to be plotted x = t*np.sin(t) y = t*np.cos(t) # appending new points to x, y axes points list xdata.append(x) ydata.append(y) line.set_data(xdata, ydata) return line, # setting a title for the plot plt.title('Creating a growing coil with matplotlib!') # hiding the axis details plt.axis('off') # call the animator anim = animation.FuncAnimation(fig, animate, init_func=init, frames=500, interval=20, blit=True) # save the animation as mp4 video file anim.save('coil.gif',writer='imagemagick') 实时更新图绘制股票数据、传感器数据等其他与时间相关的动态数据时，实时更新图就会派上用场。我们绘制一个基图，在更多的数据被输入系统后，基图就会自动更新。现在，来绘制某假定公司某月内的股价图。
#importing librariesimport matplotlib.pyplot as pltimport matplotlib.animation as animationfig = plt.figure()#creating a subplot ax1 = fig.add_subplot(1,1,1)def animate(i): data = open('stock.txt','r').read() lines = data.split('\n') xs = [] ys = [] for line in lines: x, y = line.split(',') # Delimiter is comma xs.append(float(x)) ys.append(float(y)) ax1.clear() ax1.plot(xs, ys) plt.xlabel('Date') plt.ylabel('Price') plt.title('Live graph with matplotlib')ani = animation.FuncAnimation(fig, animate, interval=1000) plt.show()现在，打开终端并运行python文件，可以得到如下所示可自动更新的图表：
其更新的时间间隔是1000毫秒或一秒。
3D图中的动画创建3D图形十分常见，但是如果可以将这些图形视角动画化呢?其方法是，在改变相机视图后，利用生成后的所有图像来创建动画。而在PythonGraph Gallery（Python图形库）中有个专门的部分可以完成这类工作。
首先创建一个名为volcano的文件夹，放在与记事本相同的目录中。然后，将所有会用于动画化的图形储存在该文件夹中。
# libraryfrom mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as sns# Get the data (csv file is hosted on the web)url = 'https://python-graph-gallery.com/wp-content/uploads/volcano.csv'data = pd.read_csv(url)# Transform it to a long formatdf=data.unstack().reset_index()df.columns=["X","Y","Z"]# And transform the old column name in something numericdf['X']=pd.Categorical(df['X'])df['X']=df['X'].cat.codes# We are going to do 20 plots, for 20 different anglesfor angle in range(70,210,2):# Make the plot fig = plt.figure() ax = fig.gca(projection='3d') ax.plot_trisurf(df['Y'], df['X'], df['Z'], cmap=plt.cm.viridis, linewidth=0.2) ax.view_init(30,angle) filename='Volcano/Volcano_step'+str(angle)+'.png' plt.savefig(filename, dpi=96) plt.gca()这样就可以在Volcano文件夹中创建多个PNG文件。接着，利用ImageMagick（一个创建、编辑、合成图片的软件）将这些PNG文件转化成动画。打开终端并导向Volcano文件夹，输入以下指令：
convert -delay 10 Volcano*.pnganimated_volcano.gif 利用Celluloid模块动画化Celluloid是python中的一个模块，其在matplotlib中可简化创建动画的进程。这个库创建一个matplotlib图并从中创建相机。然后，重新启用该图，并在创建每帧动画后，用上述相机拍快照。最后，利用所有捕捉到的帧创建动画。
安装
pip install celluloid下面是利用Celluloid模块的例子：
极小值
from matplotlib import pyplot as pltfrom celluloid import Camerafig = plt.figure()camera = Camera(fig)for i in range(10): plt.plot([i] * 10) camera.snap()animation = camera.animate()animation.save('celluloid_minimal.gif', writer = 'imagemagick')子图
import numpy as npfrom matplotlib import pyplot as pltfrom celluloid import Camerafig, axes = plt.subplots(2)camera = Camera(fig)t = np.linspace(0, 2 * np.pi, 128, endpoint=False)for i in t: axes[0].plot(t, np.sin(t + i), color='blue') axes[1].plot(t, np.sin(t - i), color='blue') camera.snap()animation = camera.animate() animation.save('celluloid_subplots.gif', writer = 'imagemagick')图例
import matplotlibfrom matplotlib import pyplot as pltfrom celluloid import Camerafig = plt.figure()camera = Camera(fig)for i in range(20): t = plt.plot(range(i, i + 5)) plt.legend(t, [f'line {i}']) camera.snap()animation = camera.animate()animation.save('celluloid_legends.gif', writer = 'imagemagick')留言 点赞 关注
我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”
还没有评论，来说两句吧...