赞

标准化和归一化还是有区别的： 归一化是在列的方向对行数据进行操作：比如调用sklearn.preprocessing里的MinMaxscaler； 标准化是在行的方向对列数据进行操作：比如调用sklearn.preprocessing里的Normalizer； 两者的效果是不一样的： ``` y = np.array([[ 0, 1, 2, 3, 4, 5],[ 0, 1, 2, 3, 4, 5],[ 0, 1, 2, 3, 4, 5]]) y Out[6]: array([[0, 1, 2, 3, 4, 5], [0, 1, 2, 3, 4, 5], [0, 1, 2, 3, 4, 5]]) yy = MinMaxScaler().fit_transform(y) yyy = Normalizer().fit_transform(y) yy Out[7]: array([[0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0.]]) yyy Out[8]: array([[0. , 0.13483997, 0.26967994, 0.40451992, 0.53935989, 0.67419986], [0. , 0.13483997, 0.26967994, 0.40451992, 0.53935989, 0.67419986], [0. , 0.13483997, 0.26967994, 0.40451992, 0.53935989, 0.67419986]]) ``` 对于研究过程中对数据的归一化或者标准化处理，我个人的愚见是如果是处理众多量纲不同的特征，是需要先分别对每一个特征进行归一化处理，当然了对每一个特征分别进行Z-score标准化也是可以的，处理后的特征服从近似的高斯分布。

@bruce0516 怎么做会更有效？

留个爪印，慢慢看

赞~

赞~

给力

有个小问题，在查询个股的行业的时候，已退市的当前是没有行业代码的，而在向前选取成分股的时候，这些退市股票又是存在的。

请教我尝试复制了您的成果，并想研究一下，我尝试了如下： ```buylist = ['000001.XSHE','002142.XSHE','600015.XSHG','601288.XSHG','002318.XSHE','002545.XSHE','600019.XSHG'] print get_win_stand_neutra(buylist)``` 然后得到了这个结果： ```000001.XSHE -1.087164e-01 002142.XSHE 6.451208e-01 002318.XSHE 3.314925e-01 002545.XSHE -2.831069e-15 600015.XSHG -1.080547e+00 600019.XSHG -3.314925e-01 601288.XSHG 5.441424e-01 dtype: float64 ``` 请问这个是什么原因呢？

使用pandas对算法进行了改进，速度比以前快了30倍。 %%time # 导入函数库 import jqdata import numpy as np import pandas as pd import math from statsmodels import regression import statsmodels.api as sm import matplotlib.pyplot as plt def winsorize(factor, std=3, have_negative = True): ''' 去极值函数 factor:以股票code为index，因子值为value的Series std为几倍的标准差，have_negative 为布尔值，是否包括负值 输出Series ''' r=factor.dropna().copy() if have_negative == False: r = r[r>=0] else: pass #取极值 edge_up = r.mean()+std*r.std() edge_low = r.mean()-std*r.std() r[r>edge_up] = edge_up r[r< edge_low] = edge_low return r #标准化函数： def standardize(s,ty=2): ''' s为Series数据 ty为标准化类型:1 MinMax,2 Standard,3 maxabs ''' data=s.dropna().copy() if int(ty)==1: re = (data - data.min())/(data.max() - data.min()) elif ty==2: re = (data - data.mean())/data.std() elif ty==3: re = data/10**np.ceil(np.log10(data.abs().max())) return re #中性化函数 #传入：mkt_cap：以股票为index，市值为value的Series, #factor：以股票code为index，因子值为value的Series, #输出：中性化后的因子值series def neutralization(factor,mkt_cap = False, industry = True): df = pd.DataFrame([],index = factor.index) y = factor if type(mkt_cap) == pd.Series: LnMktCap = mkt_cap.apply(lambda x:math.log(x)) if industry: #行业、市值 dummy_industry = get_industry_exposure(df) x = pd.concat([LnMktCap,dummy_industry],axis = 1) else: #仅市值 x = LnMktCap elif industry: #仅行业 dummy_industry = get_industry_exposure(df)#API函数 x = dummy_industry result = sm.OLS(y.astype(float),x.astype(float)).fit() return result.resid #为股票池添加行业标记,return df格式 ,为中性化函数的子函数 def get_industry_exposure(df): df = df.copy() industry_index=jqdata.get_industries(name='sw_l1').index for i in range(0,len(industry_index)): codes = get_industry_stocks(industry_index[i],date='2020-07-17') if len(codes) == 0: s = pd.Series([0]*len(df), index = df.index) df[industry_index[i]] = s else: s = pd.Series([1]*len(codes), index = codes) df[industry_index[i]] = s return df.fillna(0) def get_win_stand_neutra(stocks): h=get_fundamentals(query(valuation.pb_ratio,valuation.code,valuation.market_cap)\ .filter(valuation.code.in_(stocks))) stocks_pb_se=pd.Series(list(h.pb_ratio),index=list(h.code)) stocks_pb_win_standse=standardize(winsorize(stocks_pb_se)) stocks_mktcap_se=pd.Series(list(h.market_cap),index=list(h.code)) stocks_neutra_se=neutralization(stocks_pb_win_standse,stocks_mktcap_se)#市值中性化 return stocks_neutra_se #对沪深300成分股完成 stocks=get_index_stocks('000300.XSHG') #stocks = get_all_securities(date = '2020-07-17').index print get_win_stand_neutra(stocks)

@道术结合 if industry: #行业、市值 dummy_industry = get_industry_exposure(df) x = pd.concat([LnMktCap,dummy_industry],axis = 1) else: #仅市值 x = LnMktCap elif industry: #仅行业 请问这个elif industry： 是不是不对？ 请多指导，多谢。

社区里有好多高手，谢谢你解决我心中的困惑。

去极值、标准化、行业与市值中性化

大佬请教一下我在做行业中性化的时候，如果我是多日多股票的数据，需要不需要分别算每天的数据进行中性化（求每天的均值分别做），还是可以一次性用多日的数据一起算均值计算结果。另外我算出来以后的因子值成了负数这样正常吗？万分感谢回答 还有感觉我测长周期碰到申万一级行业调整这个事儿应该怎么处理也挺头疼的，调整之前的分类纠结该用旧的还是一致改成新的

@Gyro 说说你的逻辑

@Gyro 先中性化还是标准化？为什么呢？

**get_industry_exposure 执行效率 太低，优化如下，经测试，数据准确，速度提升几十倍。** def get_industry_exposure(stock_list): indu = jqdata.get_industries(name='sw_l1').index.tolist() df = pd.DataFrame(0,index=stock_list, columns=indu) for iu in indu: ius = get_industry_stocks(iu) for s in ius: if s in stock_list: df.loc[s,iu]=1 return df.fillna(0)

在做中性化最小二乘法回归的时候， 没有加入常数项

@不油腻也大叔 实测性能确实能提升几十倍，兄弟厉害！