大学计算机python课程报告Word文档格式.docx

1、总分得 分评阅教师2019 年 6 月 15 日 说 明1. 本课程要求每个学生就感兴趣的某个领域数据进行获取、分析，并以可视化的方式将分析结果展示出来。因此，课程报告主要包括任务要求、数据获取、分析、可视化展示等数据处理过程的内容。2. 课程结束后，需要提交课程报告（电子及打印版）、相应数据文件和程序源代码。未提交相关资料者不能参加成绩评定。3. 课程报告要求参考本报告模板撰写，可根据具体情况适当调整，但文档结构要完整、格式排版美观、条理清晰、论述准确。4. 文档撰写不符合要求，或者抄袭他人作品，记零分。世界五十强企业数据分析一、任务描述使用python编写爬虫程序获取世界五十强企业信息，内

2、容包括五十强企业的排名，往年排名，企业名称，以及所处地区和国家，并将获取数据保存到Excel文件中使用excel工具对获取的电影信息进行数据清洗，包括按照世界排名，国家进行排序，分类、统计使用excel的图表工具和python对统计分析结果进行可视化，包括利用柱状图，条形图，饼图，对各国五十强企业的占比进行分析，并且利用词云对五十强企业的从事领域进行分析，获得五十强企业中存在较广泛的行业领域。二、数据获取1 数据描述数据来源：爬取的是前五十强企业数据数据获取：世界五十强企业的排名，往年排名，名称，所在国家和地区并将获这些信息（排名，往年 名称，所在国家和地区）写入Excel表格。2 使用工具p

3、ython是一种功能丰富的语言，它拥有一个强大的基本类库和数量众多的第三方扩展，利用beautifulsoup4、requests、selenium等库可以实现对网页数据的爬取，使用matplotlib、pandas、wordcloud、pyecharts等库可以实现词云，表格，地图等形式的数据分析。3 数据获取步骤第一步：从网页上获取HTML内容。第二步：分析网页内容并提取有用数据，采用二维列表存储世界五十强企业的数据第三步：将获得的数据写入Excel文件。4 程序代码1） 获取数据代码并将获得全部企业信息存储到Excel表格中，代码如下：5 数据保存到Excel文件，Excel文件截图如图

4、1所示：图1 爬取出来的世界五十强企业excel文件截图三、数据分析（文管类可以是数据存储、检索等等）1 数据分析工具Excel是一款电子表格软件。直观的界面、出色的计算功能和图表工具，使Excel成为最流行的个人计算机数据处理软件。Excel具有强大的数据统计分析处理能力，能进行多种数据统计计算分析功能,广泛应用于管理、统计财经、金融等众多领域。2 使用excel工具进行五十强企业在各个国家的分布情况及进行统计。方法步骤： 通过excel排序功能，根据每行数据的国家列关键词，对五十强企业进行归类分组，并通过计算得到各个国家的五十强企业占有率。世界五十强企业按照国家分布排序后的结果如图2：图2

5、 电影热度排名的excel文件截图四、结果的可视化展示1 数据可视化工具Excel能绘制的图表多达数十种，基本可以实现一维和二维图表的绘制，比较常用的图表类型包括散点图、条形图、饼图、折线图等等。Python语言功能强大，在数据可视化方面有着诸多应用，使用matplotlib、pandas、wordcloud、pyecharts等库可以实现词云，表格，地图等形式的可视化。（1 使用excel工具对各个国家的世界五十强企业占比绘制饼状图选择所需的数据，利用excel自带的绘制饼状图功能进行作图。各个国家的世界五十强企业分布情况如图3所示。（2）图3 各国对世界五十强企业占比饼状图（2） 使用ex

6、cel工具对各个国家的世界五十强企业占比绘制面积图各个国家的世界五十强企业分布情况如图4所示图4 各国对世界五十强企业占比面积图（2） 使用excel工具对各个国家的世界五十强企业占比绘制条形图各个国家的世界五十强企业分布情况如图所示图5 各国对世界五十强企业占比条形图（2） 使用excel工具对各个国家的世界五十强企业占比绘制柱状图各个国家的世界五十强企业分布情况如图6所示图6 各国对世界五十强企业占比柱状图（2） 使用python工具对各个国家的世界五十强企业占比绘制地图可视化安装相应的pillow、pyecharts库，并利用pip install安装相应的世界地图包，然后编写相应的程序

7、，选择所需的数据，移植到python代码中，得到所需的html文件。代码如下：各个国家的世界五十强企业分布情况如图7所示图7 各国对世界五十强企业占比柱状图（2） 使用python工具对世界五十强企业在各行业领域的分布情况进行词云可视化 首先对爬去的数据进行进一步清洗，由于python的wordcloud库只能识别中英文，因此利用excel的Ctrl+f可以查找并替换左右括号，由于分析的是企业所处行业情况，因此在绘制词云前，还要剔除掉诸如“公司”“有限”等无用高频词语，将剩余文本内容以uft-8编码以csv格式保存。随后通过修改和调式网上的词云代码，导入文本，运行后得到词云。同时为了进一步美化

8、和改善词云，我又对代码进行了修改，改变了词云的形状，颜色等等参数。世界五十强企业在各行业领域的分布情况如图8所示图8 世界五十强企业在各行业领域的分布情况改进后的代码如下：改进后的词云可视化如图9所示图9 改进后的词云可视化五、遇到的问题与解决方法1、问题或难点1. 每次在爬取网页内容之前都要寻找表格table的路径，是一件比较繁琐的事情，往往要试好多次才能准确的找到正确的table路径。解决方法：更换另一套代码，通过对教科书上爬取最好大学网代码的改进，使python能够自动寻找table所在路径，并将爬取的表格存储在excel中。2. 在制作词云和地图可视化时，有许多库比如pyecharts

9、、wordcloud如果直接用pip install下载都会因为版本过低等种种原因无法使用，导致我在寻找其他库的安装方法时耗费了大量时间。在论坛里找到打包好的个各种库，下载后将其直接移植到D:pythonLibsite-packages文件夹中。3. 在制作词云之前，要去掉括号和括号里的内容，我首先考虑利用python对数据进行清洗，但处于某种原因，清洗后所有数据都消失了。利用excel的ctrl+f关键词查找功能，很快的去除了所有的括号。6、学习过程中用到的的网站 在实际操作过程中，有许多错误提示和操作方法是书本上没有的，因此需要借助网络上的个各种学习资源来帮助自己完成大作业，特此附上相关链

10、接：七、学习总结与反思感想：次大作业，与其说是完成一项任务，不如说是一次对python的探索过程，平时在计算机课上听python感觉非常晦涩难懂，可是真正的实践过后，才真真切切的体会到python功能之强大，其中的乐趣也是无穷的，非常感谢这次大作业帮我更深刻的认识到了“人生苦短，我用python”这句话的涵义。我的收获：经过几十个小时的摸索，我收获的当然不仅仅是乐趣，从一开始连一行代码都看不懂的小白，到现在可以熟悉操作爬取页的各个流程，掌握了十几种库的功能，并且对网络上的代码可以看懂并且加以修改，但我觉得最最重要的收获还是学会了如何看懂错误提示，屡败屡战，每一个代码都是经过很多很多次的修改，最终才能成功运行。需要改进的地方：就本次作业而言，有个不足之处就是爬取的数据不是很多，只是截取了前五十个数据进行分析，可视化。在以后的实际应用中，就需要爬取大量的数据进行分析了，评分参考得分1、数据处理过程完整（60分）过程方法描述清楚准确，数据来源明确（20分）数据分析：多角度数据分析，描述清楚准确（20分）可视化展示：多种图表展示，图表类型选择恰当，图表美观完整（20分）2、文档结构完整、格式排版美观、描述清楚准确（20分）教师评语