1. MIT5K数据集介绍

MIT-Adobe FiveK是现在很多做图像增强（image enhancement）与图像修饰（image retouching）方面研究的人员经常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个（A，B，C，D，E）专业修图人员手工修饰后的图片。关于该数据库的详细资料可以在：https://data.csail.mit.edu/graphics/fivek/上找到。

2. 数据集下载

博主目前也在作图像增强方面的算法，在该网站上面，虽然提供了原始图片的下载链接，但是修饰后的图片只提供了每个图片的独立下载链接，手工对这些图片一张张下载的话，肯定是一件令人抓狂的事情，因此博主打算应用一个python脚本来自动下载所需要的图片。

查看网页的源码，发现这些经过修饰后的图片的URL存在一定的规律，例如：由C修饰的第一张图片的URL为https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。该地址可以划分为三部分：https://data.csail.mit.edu/graphics/fivek/img/（不变），tiff16_c（代表C修饰的图片，如果最后一个字母是D，那么就代表D所修饰的图片），a0001-jmac_DSC1459.tif（文件名）。发现这一规律之后，我们就可以运用简单的python脚本，通过图片的文件名来将图片下载到本地。

数据集中所有文件的名称在下载原始图片的时候就可以下载下来，它们被分别放置在名为：filesAdobe.txt和filesAdobeMIT.txt这两个文件中。自动下载的脚本如下：

import os
import sys
from urllib.request import urlretrieve

#改变当前工作路径
CURRENT_PATH="~/PyLearn"#本文件所在路径
os.chdir(CURRENT_PATH)#改变当前路径

#存储图像名称的list
img_lst=[]
#读取图片名列表
with open('filesAdobe.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉换行符

with open('filesAdobeMIT.txt', 'r') as f:
    for line in f.readlines():
        img_lst.append(line.rstrip("\n"))#去掉换行符

#urlretrieve 函数的回调函数，显示下载进度
def cbk(a,b,c):
    '''回调函数
    @a:已经下载的数据包数量
    @b:数据块的大小
    @c:远程文件的大小
    '''
    per=100.0*a*b/c
    if per>100:
        per=100
    #在终端更新进度
    sys.stdout.write("progress: %.2f%%   \r" % (per))
    sys.stdout.flush()

#根据文件的url下载图片
for i in img_lst:
    URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下载由C所调整的图像(可根据需要下载其它的四类图像)
    print('Downloading '+i+':')
    urlretrieve(URL, '/media/FiveK_C/'+i+'.tif', cbk)#将所获取的图片存储到本地的地址内

3. MIT FiveK图像转化–DNG到TIFF，TIFF到JPEG

MIT FiveK数据库提供给我们的5000张原始图像的格式为DNG格式（一种raw格式），需要我们自己应用dcraw对图像进行处理；同时，经过专家修饰过的图像被分散到不同的链接下进行下载（下载的爬虫，可以参考这篇博客），而且格式为16位tiff格式，差不多总共两三百G的大小。数据集非常庞大，而且dng格式不利于程序的处理，因此博主希望能够将这些图片全部都转为最为常见的sRGB空间的JPEG格式，下面就介绍具体操作方法。

3.1 应用dcraw将DNG格式转为16位TIFF格式

首先，需要将原始的数据集从本网站上下载下来，将分散到数个文件夹中的DNG图片放入同一个文件夹中，然后对逐个文件应用dcraw来进行处理，转为16位TIFF文件，色彩空间为Pro Photo，shell脚本如下：

chmod a+rwx DNG2TIFF.sh
filelist=$(ls *.dng | tr " " "\?") #获得文件夹中所有的文件的文件名（这一处理可以解决文件名中有空格的问题，读取完整的文件名）
#遍历dng文件，用dcraw进行处理
for file in $filelist
do 
 dcraw -o 4 -4 -T "$file" #对图片进行处理,最后路径上加双引号是因为有的路径之间是有空格的，添加双引号可以避免shell将空格认为分割符号
 rm -f "$file" #删除原始DNG文件
echo "$file" 'done!'
done

其中主要需要注意的点是，这个数据集中的某些文件（共29个）的文件名中是包含空格的，在使用shell脚本遍历文件名或者访问文件时尤其需要注意这一点。

3.2 应用ImageMagick将TIFF转为JPEG

ImageMagick可以说是ubuntu系统上面处理图片神器，可以对图像执行的操作非常丰富，感觉就像是命令行版本的photoshop一样。这一部分主要实现的转换为，将16位TIFF图片（Pro Photo色彩空间）转为JPEG（sRGB）。首先需要在TIFF文件夹内新建立一个名为“JPEG”的文件夹，用于放置处理之后的JPEG图片。同上一个转换一样，也需要注意文件名中的空格问题，具体shell脚本如下。

chmod a+rwx TIFF2JPEG.sh
filelist=$(ls *.tiff | tr " " "\?") #获得文件夹中所有的文件
#遍历tiff文件，用ImageMagick进行处理
for file in $filelist
do
 file_name=${file%.*}
 convert "$file" -profile sRGB.icc JPEG/"$file_name".jpeg #对每一张tiff格式的图片进行处理
echo "$file" 'done!'
done

其中sRGB.icc文件为sRGB的色彩配置文件，可以在这个地址下载 。

4. 最后