Python自动化 使用 Pandas 来处理测试数据

kouyou · 2019年05月29日 · 最后由 17621731165 回复于 2019年10月12日 · 195 次阅读
本帖已被设为精华帖!

一、思考

1.Pandas是什么?

  • 功能极其强大的数据分析库
  • 可以高效地操作各种数据集
    • csv格式的文件
    • Excel文件
    • HTML文件
    • XML格式的文件
    • JSON格式的文件
    • 数据库操作


2.学员面试题

通过面试题引出主题,读者可以思考,如果你遇到这题,该如何解答呢?



二、使用pandas来操作Excel文件

1.安装

a.通过Pypi来安装

pip install pandas

b.通过源码来安装

git clone git://github.com/pydata/pandas.git
cd pandas
python setup.py install


2.按列读取数据

案例中的lemon_cases.xlsx文件内容如下所示:


import pandas as pd

# 读excel文件
# 返回一个DataFrame对象,多维数据结构
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')
print(df)


# 1.读取一列数据
# df["title"] 返回一个Series对象,记录title这列的数据
print(df["title"])

# Series对象能转化为任何序列类型和dict字典类型
print(list(df['title']))    # 转化为列表
# title为DataFrame对象的属性
print(list(df.title))    # 转化为列表
print(tuple(df['title']))   # 转化为元组
print(dict(df['title']))    # 转化为字典,key为数字索引

# 2.读取某一个单元格数据
# 不包括表头,指定列名和行索引
print(df['title'][0])   # title列,不包括表头的第一个单元格

# 3.读取多列数据
print(df[["title", "actual"]])


3.按行读取数据

import pandas as pd

# 读excel文件
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构
print(df)


# 1.读取一行数据
# 不包括表头,第一个索引值为0
# 获取第一行数据,可以将其转化为list、tuple、dict
print(list(df.iloc[0]))  # 转成列表
print(tuple(df.iloc[0]))  # 转成元组
print(dict(df.iloc[0]))  # 转成字典
print(dict(df.iloc[-1]))  # 也支持负索引

# 2.读取某一个单元格数据
# 不包括表头,指定行索引和列索引(或者列名)
print(df.iloc[0]["l_data"])   # 指定行索引和列名
print(df.iloc[0][2])    # 指定行索引和列索引

# 3.读取多行数据
print(df.iloc[0:3])


4.iloc和loc方法

import pandas as pd

# 读excel文件
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构
print(df)


# 1.iloc方法
# iloc使用数字索引来读取行和列
# 也可以使用iloc方法读取某一列
print(df.iloc[:, 0])
print(df.iloc[:, 1])
print(df.iloc[:, -1])

# 读取多列
print(df.iloc[:, 0:3])

# 读取多行多列
print(df.iloc[2:4, 1:4])
print(df.iloc[[1, 3], [2, 4]])

# 2.loc方法
# loc方法,基于标签名或者索引名来选择
print(df.loc[1:2, "title"])             # 多行一列
print(df.loc[1:2, "title":"r_data"])    # 多列多行

# 基于布尔类型来选择
print(df["r_data"] > 5)  # 某一列中大于5的数值为True,否则为False
print(df.loc[df["r_data"] > 5])  # 把r_data列中大于5,所在的行选择出来
print(df.loc[df["r_data"] > 5, "r_data":"actual"])  # 把r_data到actual列选择出来


5.读取所有数据

import pandas as pd

# 读excel文件
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构
print(df)


# 读取的数据为嵌套列表的列表类型,此方法不推荐使用
print(df.values)

# 嵌套字典的列表
datas_list = []
for r_index in df.index:
    datas_list.append(df.iloc[r_index].to_dict())

print(datas_list)


6.写入数据

import pandas as pd

# 读excel文件
df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply')   # 返回一个DataFrame对象,多维数据结构
print(df)


df['result'][0] = 1000
print(df)
with pd.ExcelWriter('lemon_cases_new.xlsx') as writer:
    df.to_excel(writer, sheet_name="New", index=False)




三、使用pandas来操作csv文件

1.读取csv文件

案例中的data.log文件内容如下所示:

TestID,TestTime,Success
0,149,0
1,69,0
2,45,0
3,18,1
4,18,1


import pandas as pd


# 读取csv文件
# 方法一,使用read_csv读取,列与列之间默认以逗号分隔(推荐方法)
# a.第一行为列名信息
csvframe = pd.read_csv('data.log')

# b.第一行没有列名信息,直接为数据
csvframe = pd.read_csv('data.log', header=None)

# c.第一行没有列名信息,直接为数据,也可以指定列名
csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"])


# 方法二,read_table,需要指定列与列之间分隔符为逗号
csvframe = pd.read_table('data.log', sep=",")


2.解答学员面试题

import pandas as pd


# 1.读取csv文件
csvframe = pd.read_csv('data.log')

# 2.选择Success为0的行
new_csvframe = csvframe.loc[csvframe["Success"] == 0]
result_csvframe = new_csvframe["TestTime"]
avg_result = round(sum(result_csvframe)/len(result_csvframe), 2)
print("TestTime最小值为:{}\nTestTime最大值为:{}\nTestTime平均值为:{}".
      format(min(result_csvframe), max(result_csvframe), avg_result))



四、总结

  • 在数据分析、数据可视化领域,Pandas的应用极其广泛;在大规模数据、多种类数据处理上效率非常高
  • 在软件测试领域也有应用,但如果仅仅用excel来存放测试数据,使用Pandas就有点“杀鸡焉用宰牛刀”的感觉,那么建议使用特定的模块来处理(比如openpyxl
共收到 106 条回复
huahua 将本帖设为了精华贴 05月29日 12:18

keyou大佬棒棒哒!

可优大佬最棒!我的作业完成了!赞也点过了!(此条5毛,括号内删除)

4楼 已删除

优秀哦,乡亲们!!!

村长666,这是自动化评论

没有灵魂的机器人说:可优真帅!

来交作业了~~~~

狮虎猎物获威名,可怜麋鹿有谁怜?

世间从来强食弱,纵使有理也枉然。

可优大佬讲的东西很有价值!点个赞!

挟飞仙以遨游,抱明月而长终。

厉害了

拔草来了

老师授业解惑,醍醐灌顶

陌上人如玉,公子世无双

可优大佬棒棒的!

可优村长老厉害了!!!!!!!,(作业自动化调试)75630

keyou is a smart man!

keyou is a smart man!!99

可优大佬棒棒的!20190815184754

可优大佬棒棒的!20190815185133

可优大佬bang bang bang!!!

20190815230338:可优大佬,初听你的课还不习惯,现在越来越习惯,戒不掉

20190815231820:可优大佬,不上测开还能问问题?

20190815232232:可优大佬,还是想说,教完自动化再2撤呀

20190815232514:可优大佬,还想听你的课

20190815233409:可优大佬,还想听你的课

20190815233807:老铁,记得看望乡亲们呀

20190815234302:可优大佬,喜欢你课上的图片,既励志又不鸡汤

20190815234653:可优大佬,还是想说,教完自动化再2撤呀

20190815235108:可优大佬,不上测开还能问问题?

20190816001611:可优大佬,不上测开还能问问题?

20190816004827:可优大佬,喜欢你课上的图片,既励志又不鸡汤

文章通俗易懂,内容很有用

受益匪浅

干货满满

可优大佬课讲得很棒,再多多练习英文发音就更完美啦!!73

可优大佬棒棒哒

厉害厉害

写的真好!

可优大佬棒棒的,大赞

可优大佬棒棒的,大赞赞

干货满满受益匪浅

47楼 已删除

keyou is a smart man!!51

49楼 已删除

村长,干货满满!+28547赞!

keyou is a smart man!!47

keyou is a smart man!!60

keyou is a smart man!!57

可优老师明明可以靠才华,偏偏要靠颜值

2019-08-18 01:02:24可优老师明明可以靠才华,偏偏要靠颜值

老徐拜读使用 Pandas 来处理测试数据

老徐2019-08-18 19:50:11拜读:使用 Pandas 来处理测试数据

老徐2019-08-18 19:55:25拜读:使用 Pandas 来处理测试数据

可优男神,真厉害啊!什么都会

可优老师,棒棒哒!都是干货!

2019-08-19 17:10:55可优老师明明可以靠才华,偏偏要靠颜值

2019-08-19 17:16:59可优老师明明可以靠才华,偏偏要靠颜值

可有村长起来除草啦

可优大佬的声音还有磁性。。。20190820003919like.png

20190820011404:老铁,来深圳呀,哈哈!

可优大佬写得真棒!赞赞赞!!!

大佬666_20190820105137

老师授业解惑,学生醍醐灌顶

可优大佬超厉害的!

可优大佬宇宙第一帅!!

可优大佬棒棒哒!! 浅显易懂,受教啦!!

可优男神~~ 浅显易懂,受教啦!!好好学习学习!!

给可优大佬点赞!!_2019-08-20 19:53:10.646527

可优真棒

可优大佬讲课棒棒哒!

大佬棒棒的!20190822222912

大佬棒棒的!20190822223241

可优大佬棒棒的!20190822224424

可优大佬棒棒的!

可优大佬,可优大佬!

可优大佬讲的通俗易懂,非常喜欢您的课

给可优大佬点赞!!_2019-08-23 17:36:19.168448

给可优大佬点赞!!_2019-08-23 17:41:56.559494

2019-08-24 14:25:24可优老师明明可以靠才华,偏偏要靠颜值

可优大佬厉害了,666

干货满满,收益匪浅!2019-08-25 22:33:07

干货满满,收益匪浅!2019-08-25 23:05:25

生活因你而火热

大王叫我来巡山!!我到这儿转一转!!!

大王叫我来巡山!!!我到这儿转一转!!!

点赞可优大佬!666

赞,通俗易懂,已收藏

keyou大佬威武霸气!

2019-08-27 18:13:16可优老师我比你帅多了

受益匪浅

2019-09-09 12:14:34可优老师明明可以靠才华,偏偏要靠颜值

20190920235606:每一发奋努力的背后,必有加倍的赏赐。

20190921122809:可优大佬,你走了,没人督促拔草了,田里长满了草

20190921172019:可优大佬,不上测开还能问问题?

20190921174346:最喜欢上可优大佬的课

可优老师是集颜值与才华于一身的大佬

可优大佬明明可以靠颜值挣钱,非要靠实力

可优大佬在课间休息时间最爱播放的歌曲是:Adele唱的,我也爱听

可优大佬讲课诙谐幽默,易于理解

就喜欢看可优老师得帖子,都是干货!!

可优老师得帖子很有价值!!都是干货!!

都是干货!!

干货!!真棒。

喜欢可优老师讲课,喜欢看可优老师的帖子。

666文章浅显易懂,手动点赞

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册