189 8069 5689
1. print()函数：打印字符串
创新互联公司长期为成百上千客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为北屯企业提供专业的网站设计、成都网站制作，北屯网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。
2. raw_input()函数：从用户键盘捕获字符
3. len()函数：计算字符长度
4. format(12.3654，'6.2f'/'0.3%')函数：实现格式化输出
5. type()函数：查询对象的类型
6. int()函数、float()函数、str()函数等：类型的转化函数
7. id()函数：获取对象的内存地址
8. help()函数：Python的帮助函数
9. s.islower()函数：判断字符小写
10. s.sppace()函数：判断是否为空格
11. str.replace()函数：替换字符
12. import()函数：引进库
13. math.sin()函数：sin()函数
14. math.pow()函数：计算次方函数
15. 3**4: 3的4次方
16. pow(3,4)函数：3的4次方
17. os.getcwd()函数：获取当前工作目录
18. listdir()函数：显示当前目录下的文件
19. socket.gethostbyname()函数：获得某主机的IP地址
20. urllib.urlopen(url).read():打开网络内容并存储
21. open().write()函数：写入文件
22. webbrowser.open_new_tab()函数：新建标签并使用浏览器打开指定的网页
23. def function_name(parameters):自定义函数
24. time.sleep()函数：停止一段时间
25. random.randint()函数：产生随机数
#python中的pandas库主要有DataFrame和Series类(面向对象的的语言更愿意叫类) DataFrame也就是
#数据框(主要是借鉴R里面的data.frame)，Series也就是序列 ，pandas底层是c写的 性能很棒，有大神
#做过测试 处理亿级别的数据没问题，起性能可以跟同等配置的sas媲美
#DataFrame索引 df.loc是标签选取操作，df.iloc是位置切片操作
print(df[['row_names','Rape']])
df['行标签']
df.loc[行标签,列标签]
print(df.loc[0:2,['Rape','Murder']])
df.iloc[行位置,列位置]
df.iloc[1,1]#选取第二行，第二列的值，返回的为单个值
df.iloc[0,2],:]#选取第一行及第三行的数据
df.iloc[0:2,:]#选取第一行到第三行（不包含）的数据
df.iloc[:,1]#选取所有记录的第一列的值，返回的为一个Series
df.iloc[1,:]#选取第一行数据，返回的为一个Series
print(df.ix[1,1]) # 更广义的切片方式是使用.ix，它自动根据你给到的索引类型判断是使用位置还是标签进行切片
print(df.ix[0:2])
#DataFrame根据条件选取子集 类似于sas里面if、where ,R里面的subset之类的函数
df[df.Murder13]
df[(df.Murder10)(df.Rape30)]
df[df.sex==u'男']
#重命名 相当于sas里面的rename R软件中reshape包的中的rename
df.rename(columns={'A':'A_rename'})
df.rename(index={1:'other'})
#删除列 相当于sas中的drop R软件中的test['col']-null
df.drop(['a','b'],axis=1) or del df[['a','b']]
#排序 相当于sas里面的sort R软件里面的df[order(x),]
df.sort(columns='C') #行排序 y轴上
df.sort(axis=1) #各个列之间位置排序 x轴上
#数据描述 相当于sas中proc menas R软件里面的summary
df.describe()
#生成新的一列 跟R里面有点类似
df['new_columns']=df['columns']
df.insert(1,'new_columns',df['B']) #效率最高
df.join(Series(df['columns'],name='new_columns'))
#列上面的追加 相当于sas中的append R里面cbind()
df.append(df1,ignore_index=True)
pd.concat([df,df1],ignore_index=True)
#最经典的join 跟sas和R里面的merge类似 跟sql里面的各种join对照
merge()
#删除重行 跟sas里面nodukey R里面的which(!duplicated(df[])类似
df.drop_duplicated()
#获取最大值 最小值的位置 有点类似矩阵里面的方法
df.idxmin(axis=0 ) df.idxmax(axis=1) 0和1有什么不同 自己摸索去
#读取外部数据跟sas的proc import R里面的read.csv等类似
read_excel() read_csv() read_hdf5() 等
与之相反的是df.to_excel() df.to_ecv()
#缺失值处理 个人觉得pandas中缺失值处理比sas和R方便多了
df.fillna(9999) #用9999填充
#链接数据库 不多说 pandas里面主要用 MySQLdb
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")
read_sql() #很经典
#写数据进数据库
df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)
#groupby 跟sas里面的中的by R软件中dplyr包中的group_by sql里面的group by功能是一样的 这里不多说
#求哑变量
dumiper=pd.get_dummies(df['key'])
df['key'].join(dumpier)
#透视表 和交叉表 跟sas里面的proc freq步类似 R里面的aggrate和cast函数类似
pd.pivot_table()
pd.crosstab()
#聚合函数经常跟group by一起组合用
df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})
#数据查询过滤
test.query("0.2
将STK_ID中的值过滤出来
stk_list = ['600809','600141','600329']中的全部记录过滤出来，命令是：rpt[rpt['STK_ID'].isin(stk_list)].
将dataframe中，某列进行清洗的命令
删除换行符：misc['product_desc'] = misc['product_desc'].str.replace('\n', '')
删除字符串前后空格：df["Make"] = df["Make"].map(str.strip)
如果用模糊匹配的话，命令是：
rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]
对dataframe中元素，进行类型转换
df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)
#时间变换 主要依赖于datemie 和time两个包
#其他的一些技巧
df2[df2['A'].map(lambda x:x.startswith('61'))] #筛选出以61开头的数据
df2["Author"].str.replace(".+", "").head() #replace(".+", "")表示将字符串中以””开头;以””结束的任意子串替换为空字符串
commits = df2["Name"].head(15)
print commits.unique(), len(commits.unique()) #获的NAME的不同个数，类似于sql里面count(distinct name)
#pandas中最核心 最经典的函数apply map applymap
这个里面他的话这个是可以进行进行采样的方法，然后再从他的点训练数据中转换乘1000点的话，它都是里面是转化的，数据比较多，所以所以的话工程量比较大。
【常见的内置函数】
1、enumerate(iterable,start=0)
是python的内置函数，是枚举、列举的意思，对于一个可迭代的(iterable)/可遍历的对象(如列表、字符串)，enumerate将其组成一个索引序列，利用它可以同时获得索引和值。
2、zip(*iterables,strict=False)
用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用*号操作符，可以将元组解压为列表。
3、filter(function,iterable)
filter是将一个序列进行过滤，返回迭代器的对象，去除不满足条件的序列。
4、isinstance(object,classinfo)
是用来判断某一个变量或者是对象是不是属于某种类型的一个函数，如果参数object是classinfo的实例，或者object是classinfo类的子类的一个实例，
返回True。如果object不是一个给定类型的的对象， 则返回结果总是False
5、eval(expression[,globals[,locals]])
用来将字符串str当成有效的表达式来求值并返回计算结果，表达式解析参数expression并作为Python表达式进行求值(从技术上说是一个条件列表)，采用globals和locals字典作为全局和局部命名空间。
【常用的句式】
1、format字符串格式化
format把字符串当成一个模板，通过传入的参数进行格式化，非常实用且强大。
2、连接字符串
常使用+连接两个字符串。
3、if...else条件语句
Python条件语句是通过一条或多条语句的执行结果(True或者False)来决定执行的代码块。其中if...else语句用来执行需要判断的情形。
4、for...in、while循环语句
循环语句就是遍历一个序列，循环去执行某个操作，Python中的循环语句有for和while。
5、import导入其他脚本的功能
有时需要使用另一个python文件中的脚本，这其实很简单，就像使用import关键字导入任何模块一样。
Python-for-data-重新采样和频率转换
重新采样指的是将时间序列从一个频率转换到另一个频率的过程。
但是也并不是所有的采样方式都是属于上面的两种
pandas中使用resample方法来实现频率转换，下面是resample方法的参数详解：
将数据聚合到一个规则的低频上，例如将时间转换为每个月，"M"或者"BM"，将数据分成一个月的时间间隔。
每个间隔是半闭合的，一个数据只能属于一个时间间隔。时间间隔的并集必须是整个时间帧
默认情况下，左箱体边界是包含的。00:00的值是00：00到00：05间隔内的值
产生的时间序列按照每个箱体左边的时间戳被标记。
传递span class="mark"label="right"/span可以使用右箱体边界标记时间序列
向loffset参数传递字符串或者日期偏置
在金融数据中，为每个数据桶计算4个值是常见的问题：
通过span class="girk"ohlc聚合函数/span能够得到四种聚合值列的DF数据
低频转到高频的时候会形成缺失值
ffill() ：使用前面的值填充， limit 限制填充的次数
1、print()函数：打印字符串;
2、raw_input()函数：从用户键盘捕获字符;
3、len()函数：计算字符长度;
4、format()函数：实现格式化输出;
5、type()函数：查询对象的类型;
6、int()函数、float()函数、str()函数等：类型的转化函数;
7、id()函数：获取对象的内存地址;
8、help()函数：Python的帮助函数;
9、s.islower()函数：判断字符小写;
10、s.sppace()函数：判断是否为空格;
11、str.replace()函数：替换字符;
12、import()函数：引进库;
13、math.sin()函数：sin()函数;
14、math.pow()函数：计算次方函数;
15、os.getcwd()函数：获取当前工作目录;
16、listdir()函数：显示当前目录下的文件;
17、time.sleep()函数：停止一段时间;
18、random.randint()函数：产生随机数;
19、range()函数：返回一个列表，打印从1到100;
20、file.read()函数：读取文件返回字符串;
21、file.readlines()函数：读取文件返回列表;
22、file.readline()函数：读取一行文件并返回字符串;
23、split()函数：用什么来间隔字符串;
24、isalnum()函数：判断是否为有效数字或字符;
25、isalpha()函数：判断是否全为字符;
26、isdigit()函数：判断是否全为数字;
27、 lower()函数：将数据改成小写;
28、upper()函数：将数据改成大写;
29、startswith(s)函数：判断字符串是否以s开始的;
30、endwith(s)函数：判断字符串是否以s结尾的;
31、file.write()函数：写入函数;
32、file.writeline()函数：写入文件;
33、abs()函数：得到某数的绝对值;
34、file.sort()函数：对书数据排序;
35、tuple()函数：创建一个元组;
36、find()函数：查找 返回的是索引;
37、dict()函数：创建字典;
38、clear()函数：清楚字典中的所有项;
39、copy()函数：复制一个字典，会修改所有的字典;
40、 get()函数：查询字典中的元素。
…………