分享参赛方案及答辩ppt，欢迎大家交流

Github地址：https://github.com/Smilexuhc/Xingwangbankcup-top3

baseline作者：XBuder

作者公众号：麻婆豆腐AI

思路：

统计车辆在星期1-7天最常去哪些地点，对这些地点做标记，之后去过为1，否则为0，以此做标签，把概率最高的地点推荐给选手

使用模型：

逻辑回归

优化方法：

1.继续细化统计车辆在1-7天的哪个小时去过哪些地点（如统计距0点的分钟数或者小时数），即按小时做推荐。另外还可以针对是否为节假日做标记构建特征。

2.挖掘同时间，同地域的车辆是否有相似性，对节假日的推荐单独处理。

3.尝试使用svm，xgb,lgb等模型，并进行参数调整

4.模型融合

导入所需要的包，忽略警告

import pandas as pd

import numpy as np

import warnings

warnings.filterwarnings('ignore')

评分算法

from math import radians, atan, tan, sin, acos, cos

def getDistance(latA, lonA, latB, lonB):

    ra = 6378140  # 赤道半径: 米

    rb = 6356755  # 极线半径: 米

    flatten = (ra - rb) / ra  # Partial rate of the earth

    # change angle to radians

    radLatA = radians(latA)#弧度

    radLonA = radians(lonA)

    radLatB = radians(latB)

    radLonB = radians(lonB)



    try:

        pA = atan(rb / ra * tan(radLatA))

        pB = atan(rb / ra * tan(radLatB))

        x = acos(sin(pA) * sin(pB) + cos(pA) * cos(pB) * cos(radLonA - radLonB))

        c1 = (sin(x) - x) * (sin(pA) + sin(pB)) ** 2 / cos(x / 2) ** 2

        c2 = (sin(x) + x) * (sin(pA) - sin(pB)) ** 2 / sin(x / 2) ** 2

        dr = flatten / 8 * (c1 - c2)

        distance = ra * (x + dr)

        return distance  # meter

    except:
        return 0.0000001
def f(d):

    return 1 / (1 + np.exp(-(d-1000)/250))

计算误差值

def getDistanceFromDF(data):

    tmp = data[['end_lat','end_lon','predict_end_lat','predict_end_lon']].astype(float)
    #从数据中取出'end_lat','end_lon','predict_end_lat','predict_end_lon'4列，转为浮点型

    error = []#设置一个空列表error

    for i in tmp.values:

        t = getDistance(i[0],i[1],i[2],i[3])#逐条计算误差

        error.append(t)#将误差加入列表error

    print (np.sum(f(np.array(error))) / tmp.shape[0])#打印

转化数据集中的日期为pandas中的datatime类型

这里生成了2个新的特征，出发的星期和出发的小时，实际我们没有使用小时这个特征，同学们可以尝试用一下

def dateConvert(data,isTrain):

    print ('convert string to datetime')

    data['start_time'] = pd.to_datetime(data['start_time'])#转化开始时间

    if isTrain:#如果是训练集

        data['end_time'] = pd.to_datetime(data['end_time'])#转化结束时间

    data['weekday'] = data['start_time'].dt.weekday + 1#生成新的一列，为星期几，weekday对应0到6，所以这里加1
    data['hour']= data['start_time'].dt.hour
    return data

合并经纬度

注意：更常用的处理方法为将经纬度转化为geohash编码，这里只是做了精度和合并处理

def latitude_longitude_to_go(data,isTrain):

    tmp = data[['start_lat','start_lon']]#取出出发地经纬度

    start_geohash = []#定义一个空列表

    for t in tmp.values:#逐行遍历出发地经纬度

        start_geohash.append(str(round(t[0],5)) + '_' + str(round(t[1],5)))#保留小数点后5位，将经纬度合并

    data['startGo'] = start_geohash#生成新的一列，值为合并后的经纬度

    if isTrain:#如果是训练集，对目的地经纬度做如上处理

        tmp = data[['end_lat','end_lon']]

        end_geohash = []

        for t in tmp.values:

            end_geohash.append(str(round(t[0],5))+ '_' + str(round(t[1],5)))

        data['endGo'] = end_geohash#生成新的一列，值为合并后目的地经纬度

    return data

统计用户去过最多的7个地方

def getMostTimesCandidate(candidate):
    
    #取9月前的数据
    mostTimeCandidate = candidate[candidate['start_time']<='2018-08-30 23:59:59']
    #取'out_id','endGo','end_lat','end_lon','weekday'列
    mostTimeCandidate = mostTimeCandidate[['out_id','endGo','end_lat','end_lon','weekday']]
    #按车辆id、目的地、星期分组（agg）统计目的地出现的次数,放入生成的mostCandidateCount列
    mostTimeCandidate_7 = mostTimeCandidate.groupby(['out_id','endGo','weekday'],as_index=False)['endGo'].agg({'mostCandidateCount':'count'})
    #按出现次数和车辆id降序排列
    mostTimeCandidate_7.sort_values(['mostCandidateCount','out_id'],inplace=True,ascending=False)
    #按车辆id和星期分组，取去的最多的7条数据
    mostTimeCandidate_7 = mostTimeCandidate_7.groupby(['out_id','weekday']).head(7)

    return mostTimeCandidate_7

将合并后的经纬度拆分

def geoHashToLatLoc(data):
    #取出目的地
    tmp = data[['endGo']]
    #设置空列表，预测的目的地纬度
    predict_end_lat = []
    #设置空列表，预测的目的地经度
    predict_end_lon = []
    #逐行遍历
    for i in tmp.values:
        #取出每行的经纬度，放入列表
        lats, lons = str(i[0]).split('_')

        predict_end_lat.append(lats)

        predict_end_lon.append(lons)
    #生成新的列
    data['predict_end_lat'] = predict_end_lat

    data['predict_end_lon'] = predict_end_lon

    return data

计算两地点的距离

def calcGeoHasBetween(go1,go2):

    latA, lonA = str(go1).split('_')

    latB, lonB = str(go2).split('_')

    distence = getDistance(float(latA), float(lonA), float(latB), float(lonB))

    return distence

对整个数据集计算距离

def calcGeoHasBetweenMain(data):

    distance = []

    tmp = data[['endGo','startGo']]

    for i in tmp.values:

        distance.append(calcGeoHasBetween(i[0],i[1]) / 1000 )

    data['distance'] = distance

    return data

读取数据&特征工程

读取训练集

用1-6月去提取最常去的地方 用7月去训练

print ('begin')
train = pd.read_csv('train_new.csv',low_memory=False)#读取数据集，注意声明low_memory=False，否则会类型错误
print (train['start_time'].min(),train['start_time'].max())#打印训练集出发的最早时间和最晚时间
print (train[train['start_time']>'2018-06-30 23:59:59'].shape)#打印训练集出发时间在6月30日之后的数据的维度
print (train[train['start_time']<='2018-06-30 23:59:59'].shape)#打印训练集出发时间在6月30日及之前的数据的维度

begin

2018-01-01 00:01:58 2018-08-01 00:49:30

(205111, 8)

(1290703, 8)

test = pd.read_csv('test_new.csv',low_memory=False)#读取测试集
print (test['start_time'].min(),test['start_time'].max())
print (test.shape)

2018-09-01 00:32:42 2018-10-23 23:59:48

(58097, 5)

trainIndex = train.shape[0]#设置训练集索引
testIndex = test.shape[0]#设置测试集索引
print (trainIndex,testIndex)

1495814 58097

时间转化

train = dateConvert(train,True)
test = dateConvert(test,False)

convert string to datetime

convert string to datetime

合并经纬度

train = latitude_longitude_to_go(train,True)
test = latitude_longitude_to_go(test,False)

生成特征工程完成后的文件

train.to_csv('train1.csv',index=False)
test.to_csv('test1.csv',index=False)

userMostTimes3loc = getMostTimesCandidate(train)

val = train[train['start_time']>'2018-06-30 23:59:59']#取6月30日后数据做验证
#取出'r_key','out_id','end_lat','end_lon','weekday','startGo','endGo','start_lat','start_lon'列
val = val[['r_key','out_id','end_lat','end_lon','weekday','startGo','endGo','start_lat','start_lon']]
#将'endGo'重命名为'trueEndGo'
val.rename(columns={'endGo':'trueEndGo'},inplace=True)
#以'out_id','weekday'为关键字，对左表取交集，合并val和userMostTimes3loc表
val = pd.merge(val,userMostTimes3loc,on=['out_id','weekday'],how='left',copy=False)
#将val['endGo']中的目的地缺失值填充为起始地点
val['endGo'] = val['endGo'].fillna(val['startGo'])
#判断是否真的去了推荐的地点，如果去了为Ture，否则为False
val['flag1'] = val['trueEndGo'] == val['endGo']
#将True转化为1，False转化为0
val['flag1'] = val['flag1'].astype(int)
#计算距离
val = calcGeoHasBetweenMain(val)

#取出'r_key','out_id','weekday','startGo','start_lat','start_lon'列作为测试集
test = test[['r_key','out_id','weekday','startGo','start_lat','start_lon']]
#以'out_id','weekday'为关键字，对左表取交集，合并test和userMostTimes3loc表
test = pd.merge(test,userMostTimes3loc,on=['out_id','weekday'],how='left',copy=False)
#将测试集endGo列填充为出发地点
test['endGo'] = test['endGo'].fillna(test['startGo'])
#计算距离
test = calcGeoHasBetweenMain(test)

使用模型进行预测

这里使用了逻辑回归模型 同学们可以使用xgb，lgb等模型，相信会取得更好的成绩

feature = ['start_lat','start_lon','weekday','distance','mostCandidateCount']
#这里可以导入其它算法如svm,xgb,lgb等
from sklearn.linear_model import LogisticRegression

print ('training')

model= LogisticRegression()#使用逻辑回归模型训练,修改这里为sklearn中的其它模型

model.fit(val[feature].fillna(-1).values,val['flag1'].values)#x为fearture，将空值填充为-1，y值为val['flag1']，即是否推荐成功

pre = model.predict_proba(val[feature].fillna(-1).values)[:,1]#在验证集预测结果，为概率值

training

val_result = val[['r_key','endGo','end_lat','end_lon',]]
val_result['predict'] = pre

val_result = val_result.sort_values(['predict'],ascending=False)#按预测概率降序排列
val_result = val_result.drop_duplicates(['r_key'])#按r_key字段去重

val = geoHashToLatLoc(val)#将预测的结果切片为维度和经度
getDistanceFromDF(val)#计算在验证集上预测的得分

0.7703523722443778

subPre = model.predict_proba(test[feature].fillna(-1).values)[:,1]#在测试集上预测

test_result = test[['r_key','endGo']]#取出预测结果
test_result['predict'] = subPre#生成概率列

#按预测概率降序排列
test_result = test_result.sort_values(['predict'],ascending=False)
#按r_key字段去重
test_result = test_result.drop_duplicates(['r_key'])
#将预测的结果切片为维度和经度
test_result = geoHashToLatLoc(test_result)

#生成提交结果
submit = test_result[['r_key','predict_end_lat','predict_end_lon']]
submit.columns = ['r_key','end_lat','end_lon']
submit.to_csv('result.csv',index=False)

现将本队伍参赛的解决方案和代码，分享给大家，一起学习交流。才疏学浅，还望多多指教。

当时二等奖先报我们队伍名字，还以为第4呢，原来是第2。不过也没差别啦.....详情请戳下面的链接

竞赛总结与分享

基本框架是KEA算法，也就是将关键词提取转化为二分类问题。

举个栗子：

核心部分的特征提取代码如下：

# 产生特征的函数
def gen_feature(id, text):
    # 读取分词结果
   a,b=cut(text)

    # 清洗分词结果
    title_words = clean(a)
    context_words = clean(b)

    # 读取词性标注结果
    postag = dict(cuter5ed.find_one({'id': id})['postag'])
    c = cuter6ed.find_one({'id': id}, )['pos']

    # 计数
    tf_title = Counter(title_words)
    tf_context = Counter(context_words)

    # 计算总词数
    freq = tf_title + tf_context
    total = sum(freq.values())  # 总词数

    # 计算tfidf并排序
    tfidf = {}
    for k in freq:
        tfidf[k] = freq[k] * idf_freq.get(k, median_idf) / total
    tfidf_tuple = sorted(tfidf, key=tfidf.__getitem__, reverse=True)

    # 筛选候选词
    candidates = set([j for j in tfidf_tuple[:num_of_word_extract]] + title_words)

    # 开始提取特征，此处用dict不用pandas.DataFrame是出于效率考虑
    rrl = {}
    for w in candidates:
        s = dict()
        pos_ = postag.get(w, 'REST')
        newpos = pos_[0]

        s['tfidf'] = tfidf[w]  # tfidf系数
        s['tf_title'] = tf_title[w]  # 标题中词频
        s['tf_context'] = tf_context[w]  # 内容中词频
        s['rank'] = tfidf_tuple.index(w)  # tfidf系数排名
        s['pos'] = pos_  # jieba分词给出的词性
        s['new_pos'] = newpos if newpos in ['n', 'v', 'x', 'R'] else 'H'  # 对jieba分词结果进行处理
        s['hanlp_pos'] = search_pos(w, c)  # hanlp的词性标注
        s['title_position'] = text['title'].find(w)  # 首次出现位置
        s['title_position_r'] = len(text['title']) - text['title'].rfind(w)  # 最后一次出现位置（倒着数）
        s['title_position_rr'] = text['title'].rfind(w)  # 最后一次出现位置（正着数）
        s['position'] = text['context'].find(w)  # 首次出现位置
        s['position_r'] = len(text['context']) - text['context'].rfind(w)  # 最后一次出现位置（倒着数）
        s['position_rr'] = text['context'].rfind(w)  # 最后一次出现位置（正着数）
        s['length'] = len(w)  # 词汇长度
        s['idf'] = idf_freq.get(w, median_idf)  # idf逆序数
        # s['local_idf']=local_idf.get(w,10.2063)
        s['train_freq'] = ck.get(w, 1) - 1  # Relu一下，避免过拟合。
        s['in_title'] = 1 if w in title_words else 0  # 是否在title中

        rrl[w] = s

    r = pd.DataFrame.from_dict(rrl, orient='index')

    r['tf_title_gm'] = r['tf_title'].mean()  # 组均值
    r['idf_gm'] = r['idf'].mean()  # 组均值
    r['doclen'] = len(text.context)  # 文本总长度
    r['tf_title_rk'] = r['tf_title'].rank()  # tf排序
    r['idf_rk'] = r['idf'].rank()  # idf排序

    r['id'] = id  # 文档编号
    r['wid'] = r.index.map(lambda j: j + id)  # 词与文档编号拼接，作为unique的index
    r.reset_index(inplace=True, drop=False)
    r.set_index('wid', inplace=True)
    r.rename({'index': 'word'}, axis=1, inplace=True)

    return r

在按照上述步骤，对候选词逐个处理之后，再进行统一处理如下（出于速度考虑）：

# 处理特征
def handle_features(this_set):
    # 加载word2vec模型，进行词汇向量化嵌入
    model_w2v = Word2Vec.load('../pickles/model_w2v')
    wv_name = ['w2vec_{}'.format(k) for k in range(20)]

    words = [k for k in set(this_set.word) if k in model_w2v]
    w2v_dict = dict(zip(words, model_w2v.wv[words]))
    w2v = pd.DataFrame.from_dict(w2v_dict, 'index')
    w2v.columns = wv_name
    this_set = this_set.join(w2v, on='word').fillna(0)
    del model_w2v, w2v
    gc.collect()

    # 加载doc2vec模型，进行文档向量化嵌入
    dv_name = ['d2vec_{}'.format(k) for k in range(20)]
    model_d2v = Doc2Vec.load('../pickles/model_d2v')
    ids = set(this_set.id)
    d2v_dict = dict(zip(ids, [model_d2v.docvecs[j] for j in ids]))
    dv = pd.DataFrame.from_dict(d2v_dict, 'index')
    dv.columns = dv_name
    this_set = this_set.join(dv, on='id')
    del model_d2v, dv
    gc.collect()

    # 计算余弦距离
    this_set['cos_distance'] = cal_cosd(this_set)

    # 处理成pandas.Categorical格式，便于分类器识别
    this_set.pos = pd.Categorical(this_set.pos)
    this_set.new_pos = pd.Categorical(this_set.new_pos)
    this_set.hanlp_pos = pd.Categorical(this_set.hanlp_pos)

    # 是否在自定义词典中
    this_set['is_book'] = this_set.word.str.upper().apply(lambda k: k in bid)
    this_set['is_txkw'] = this_set.word.str.upper().apply((lambda k: k in a4))
    this_set['is_txkw2'] = this_set.word.str.upper().apply(lambda k: k in a3)

    # 词中是否包含数字、英文字母
    letter = re.compile('[A-Za-z]')
    digit = re.compile('[0-9]')
    this_set['have_letter'] = this_set.word.map(lambda w: bool(letter.search(w)))
    this_set['have_digit'] = this_set.word.map(lambda w: bool(digit.search(w)))

    return this_set

矩阵化计算余弦相似度的函数如下：

# 用矩阵计算的方法，一次性计算一组词的cosine距离
def cosgroup(g):
    x = g.values
    i = x.sum(1) != 0
    z = np.zeros(i.shape)
    x = x[i, :]
    y = x.T
    u = np.dot(x, y)
    u1 = np.sqrt(np.sum(np.multiply(x, x), 1))
    u1 = np.dot(u1.reshape([-1, 1]), np.ones([1, x.shape[0]]))
    u2 = u1.T
    r = u / np.multiply(u1, u2)
    z[i] = r.mean(1)
    return z


# 计算cos距离
def cal_cosd(s):
    t = s[['w2vec_{}'.format(k) for k in range(20)]].groupby(s.id)
    res = []
    for tp, g in t:
        res.append(cosgroup(g))
    return np.hstack(res)

BTW：MacBook的OS X系统好难用！

看了数据分析师感觉自己知识丰富了不少

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。 

在这里小运营给大家推荐一些能够用上数据获取方式，有了这些资源，不仅可以在数据收集的效率上能够得到很大的提升，同时也可以学习更多思维方式。

01  公开的数据库

－ 国家数据 －

http://data.stats.gov.cn/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

－ CEIC －

http://www.ceicdata.com/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

－ wind（万得）－

http://www.wind.com.cn/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

－ 搜数网 －

http://www.soshoo.com/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

－ 中国统计信息网 －

http://www.tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

－ 亚马逊aws －

http://aws.amazon.com/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

－ figshare －

https://figshare.com/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

－ github －

https://github.com/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

02  数据交易平台

－ 优易数据 －

http://www.youedata.com/

由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

 － 数据堂 －

 http://www.datatang.com/

专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

03  网络指数

－ 百度指数 －

http://index.baidu.com/

大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

－ 阿里指数 －

https://alizs.taobao.com/

国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

－ 艾瑞咨询 －

http://www.iresearch.com.cn/

艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。

－ 友盟指数 －

http://www.umeng.com/

友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

－ 爱奇艺指数 －

http://index.iqiyi.com/

爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

－ 微指数 －

http://data.weibo.com/index

微指数是新浪微博的数据分析工具，微指数通过关键词的热议度，以及行业/类别的平均影响力，来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块，此外，还可以查看热议人群及各类账号的地域分布情况。

04  网络采集器 

 网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

 － 火车采集器 － 

http://www.locoy.com/

一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。

－ 八爪鱼 －

http://www.bazhuayu.com/

简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

－ 集搜客 －

http://www.gooseeker.com/

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

05  网络爬虫

作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。 利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。 

 － 利用爬虫爬取网络图片 －

爬取的图像素材  

你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。

－ 利用爬虫爬取高质量资源 －

爬取的音乐资源  

我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。

－ 利用爬虫获取舆情数据 －

爬取的某招聘网站职位信息 

 比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。 总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。

06  小工具

－ Web Plot Digitizer －

http://arohatgi.info/WebPlotDigitizer/app/

比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：

然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。

当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。

－ you-get －

https://you-get.org/

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

下载优酷视频

批量下载图片

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

07  结语  

收集数据是一种能力，学习收集数据也是一种能力，数据的来源是没有穷尽的，转换一种思维，你就可以获得不一样的数据。每个人喜欢的收集数据的渠道不尽相同，只有尽量多地去见识和实践才会发现更多的适合自己的数据获取方式。 在互联网高度发达的今天，数据资源异常的丰富和庞大，如何高效地获取数据成为一种重要的能力，毕竟获取数据是一切用数据说话的前提。当然往往只需要熟练掌握一两种方法，便足够大多数人应付大多数场景和需求，所以选择合适的数据获取渠道还需要亲自探究。

听说转化率特征可以有效提升预测性能，那么问题来了，转化率特征的定义是什么呢？如何构建转换率特征呢？懂的来解答一波，不懂的一起围观一下啦啦啦。。。

有小伙伴遇到过这种情况吗，我的行数是符合要求的，为什么会报错呢，找了很久了也不知道原因，求解！

我做的结果房价预测值差不多都是一个值，不知道怎么优化，求大佬讲解