一、基本情况

• 队名：要有格局才对
• 组长博客
• 小组人数：10

二、冲刺概况汇报

根据拟定的团队分工

• 在充分尊重大家意愿的前提下、团队分工如下(用名字唯一标识符标识）：
• 前端组：萍、翁
• 后端组：石、林
• 数据组：硕、源、松、熙
• 管理组：苏、唐
• alpha_5汇总：
• 由于项目进入收尾阶段、不要求组员每人绘制燃尽图了、统一统计至组长处汇总
  

姓名：苏伟煌(组长)

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.修复数据显示无法加载
    • 2.GitHub部署
    • 3.缓解组员紧张情绪
    • 4.帮组测试组解决药监局爬取攻坚
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • main:大家都有考试、成绩很重要、暂不作过多计划分工
  • 继续爬取
  • 重构代码
  • 前端初步
• 还剩下哪些任务
  • 同上
  • 说点实际的：微机接口考试、图形学考试、面向对象考试、人工智能。
• 遇到了哪些困难
  • 药监局攻坚爬取、最后用抓包手段解决
• 有哪些收获和疑问
  • 收获：知道了用抓包的手段也可以在手机这种平台爬取数据、很冷门的技巧，算是作为组长为数不多的小贡献
  • 疑问：药监局这种官方网站也会百疏一漏吗

姓名：王毅萍

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.修改样式
    • 2.GitHub前端部署
    • 3.帮组测试组解决药监局爬取攻坚
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • main:修改样式及修复部分bug
  • 代码重构
  • 继续UI完善
  • 前端初步
• 还剩下哪些任务
  • 同上
  • 前端完善。
  • 学习vue框架、pyecharts
• 遇到了哪些困难
  • 账号密码token连接故障
• 有哪些收获和疑问
  • 收获：和后端组沟通解决了跨域问题
  • 疑问：之前测试组猪尾巴的前端跨域问题和这次有些类似、但是合理的解决方法应该是后端修改

姓名：翁敏

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.代码重构
    • 2.新增vue组件
    • 3.再github上查找了一些别人网站设计的思路。
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.去vue官网看文档学习，查找有没有好用的插件
  • 2.我想复习下周的两门考试，这个目前来说对我比较重要，如果时间允许还是会尽量多打代码构思如何尽快完成本组课题的项目开发
• 还剩下哪些任务
  • 1.了解vue各个模块知识，能够运用到本次项目中
  • 2.还有很多考试和大作业还没有完成，任重道远
  • 3.还没有完全清楚了解如何使用vue完成网站开发。

• 遇到了哪些困难
  • 1.vue_cli安装完成，再执行rpm run serve时，报错，大概意思是config配置报错(还是啥的),找了很多资料，还是无法解决，最终remake重装了
  • 2.对一些vue代码模块使用不明白，再没有文档或者视频的介绍情况下还是比较难以理解的。
• 有哪些收获和疑问
  • 1.重装vue_cli时候，直接把nodejs也给删了（因为我觉得我当初nodejs安装的路径也有问题）于是就小心翼翼对着文档安装nj和vue，看了别人的优秀文档，自愧不如，自己确实跟着学习到了很多东西，以前不懂的那些命令行指令各个字母串接再一起是什么意思，别人的文档都一一阐述了，得到很多收获。
  • 2.跟着视频做了vue构建视频的demo，vue确实很方便，以前用js进行页面跳转比较麻烦，vue内部自带router模块方便快捷（不懂这样描述是否正确）

学习进度条

PSP

姓名：陈本源（数据组）

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.数据清洗
    • 2.bug修复，代码重构
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.进行数据清洗
  • 2.开始学习PyEcharts，对爬取到的数据，进行数据分析
• 还剩下哪些任务
  • 1.对数据进行处理与分析
  • 2.生成可视化图
• 遇到了哪些困难
  • 1.再爬取淘宝的过程中，由于网站的反爬机制，设置了cookies,成功爬取到页面的相关信息，但是由于本次任务爬取的数据量实在太过庞大，频繁的访问淘宝的url,导致连接多次被主动中断，甚至出现ip被封，针对此问题本来打算使用selenium，通过动态模拟用户点击行为，对页面进行渲染，从而绕过反爬机制，实现爬取，但是该方法耗时长，对于本次任务需要爬取的巨大数据量显然不适合。后又发现设置time.sleep设置url访问间隔，但也同样浪费时间，最后采用python自带的fake_useragent库，通过设置随机头对url进行访问，大大降低了服务器对机器爬虫的认定概率，从而实现爬取53w条
  • 2.爬取比价网的过程中，同样也是遇到了ip访问限制，使用download_delay解决。
• 有哪些收获和疑问
  • 1.随机头方法在scrapy爬虫框架中，似乎起不到什么作用，导致爬取比价网的过程很煎熬，
  • 2.了解了ip限制的解决方法。

姓名：石致彬

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.初步实现一些借口
    • 2.学习spring系列框架
    • 3.初步设计了所需要的表
    • 4.初步建立了数据库
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.学习Web方面的知识
  • 2.编写接口供数据组使用向数据库中添加数据
  • 3.编写接口供数据查询使用
• 还剩下哪些任务
  • 1.学习web知识
  • 2.编写接口
  • 3.学习云服务器的使用
  • 4.配置云服务器的环境
  • 5.部署到云服务器
• 遇到了哪些困难
  • 1.时间不够考试太多
  • 2.服务器太贵了
• 有哪些收获和疑问
  • 1.学习了数据库的相关知识
  • 2.学习了用Java操作数据库
  • 3.疑问：我们真的做得完吗

姓名：黄艇淞（数据组）

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.bug修复，数据清洗
    • 2.爬虫爬取比价网（几十万条数据）
    • 3.数据发送至后端
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.开始学习PyEcharts，对爬取到的数据，进行数据分析
• 还剩下哪些任务
  • 1.对数据进行处理与分析
  • 2.生成可视化图

• 遇到了哪些困难
  • 1.再爬取淘宝的过程中，由于网站的反爬机制，设置了cookies,成功爬取到页面的相关信息，但是由于本次任务爬取的数据量实在太过庞大，频繁的访问淘宝的url,导致连接多次被主动中断，甚至出现ip被封，针对此问题本来打算使用selenium，通过动态模拟用户点击行为，对页面进行渲染，从而绕过反爬机制，实现爬取，但是该方法耗时长，对于本次任务需要爬取的巨大数据量显然不适合。后又发现设置time.sleep设置url访问间隔，但也同样浪费时间，最后采用python自带的fake_useragent库，通过设置随机头对url进行访问，大大降低了服务器对机器爬虫的认定概率，从而实现爬取53w条
  • 2.爬取比价网的过程中，同样也是遇到了ip访问限制，使用download_delay解决。
• 有哪些收获和疑问
  • 1.随机头方法在scrapy爬虫框架中，似乎起不到什么作用，导致爬取比价网的过程很煎熬，
  • 2.了解了ip限制的解决方法。

姓名：唐劲霆（管理组）

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.继续制作可视化数据分析图。
    • 2.博客编写。
    • 2.问题go
  • 展示GitHub当日代码/文档签入记录：

• 接下来的计划
  • 1.继续学习制作可视化分析的相关知识。
  • 2.制作更多的可视化分析图表。
  • 3.对功能进行测试。
• 还剩下哪些任务
  • 1.对功能进行测试。
  • 2.制作更多的可视化分析图表。
  • 3.任务分工，问题商讨。

• 遇到了哪些困难
  • 1.考虑需要绘制哪些数据的可视化分析。
• 有哪些收获和疑问
  • 1.学习了一些关于可视化分析的知识。
  • 2.对JavaScript语言的掌握加深。

学习进度条

PSP

姓名：林志煌

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.代码重构
    • 2.写了简单的登录界面
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.添加echarts
  • 2.继续完善界面
  • 3.增加其他功能
• 还剩下哪些任务
  • 1.完善
  • 2.增加功能
• 遇到了哪些困难
  • 1.知识点大多都忘了，只能边查边做
  • 2.模板几乎都是要收费的
• 有哪些收获和疑问
  • 1.收获：复习了以前的知识，算是小巩固
  • 2.疑问：暂时没啥疑问

姓名：陈硕

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.数据清洗
    • 2.数据可视化分析
    • 3.数据发送至后端
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.继续数据清洗
  • 2.开始学习PyEcharts，对爬取到的数据，进行数据分析
• 还剩下哪些任务
  • 1.对数据进行处理与分析
  • 2.生成可视化图

• 遇到了哪些困难
  • 1.爬虫团队在爬取淘宝的过程中，由于网站的反爬机制，设置了cookies,成功爬取到页面的相关信息，但是由于本次任务爬取的数据量实在太过庞大，频繁的访问淘宝的url,导致连接多次被主动中断，甚至出现ip被封，针对此问题本来打算使用selenium，通过动态模拟用户点击行为，对页面进行渲染，从而绕过反爬机制，实现爬取，但是该方法耗时长，对于本次任务需要爬取的巨大数据量显然不适合。后又发现设置time.sleep设置url访问间隔，但也同样浪费时间，最后采用python自带的fake_useragent库，通过设置随机头对url进行访问，大大降低了服务器对机器爬虫的认定概率，从而实现爬取53w条
  • 2.爬取比价网的过程中，同样也是遇到了ip访问限制，使用download_delay解决。
• 有哪些收获和疑问
  • 1.随机头方法在scrapy爬虫框架中，似乎起不到什么作用，导致爬取比价网的过程很煎熬，
  • 2.了解了ip限制的解决方法。

姓名：林泽熙

• 过去两天完成了哪些任务:
  • 文字描述:
    • 1.数据清洗，bug修复
    • 2.数据发送至后端
  • 展示GitHub当日代码/文档签入记录：
    

• 接下来的计划
  • 1.继续数据清洗
  • 2.继续学习Pyecharts
• 还剩下哪些任务
  • 1.数据处理与分析
  • 2.数据可视化
• 遇到了哪些困难
  • 1.爬虫团队在爬取淘宝的过程中，由于网站的反爬机制，设置了cookies,成功爬取到页面的相关信息，但是由于本次任务爬取的数据量实在太过庞大，频繁的访问淘宝的url,导致连接多次被主动中断，甚至出现ip被封，针对此问题本来打算使用selenium，通过动态模拟用户点击行为，对页面进行渲染，从而绕过反爬机制，实现爬取，但是该方法耗时长，对于本次任务需要爬取的巨大数据量显然不适合。后又发现设置time.sleep设置url访问间隔，但也同样浪费时间，最后采用python自带的fake_useragent库，通过设置随机头对url进行访问，大大降低了服务器对机器爬虫的认定概率，从而实现爬取53w条
  • 2.github使用不熟悉
  • 3.复现了组长的抓包爬取药监局手段，完善了json字段
• 有哪些收获和疑问
  • 1.了解了ip限制的解决方法。
  • 2.python第三方库功能强大，需要自己多多了解和使用

三、冲刺成果展示

PSP & 学习进度条（学习进度条每周追加）

PSP(全队)

• 组内最新成果展示
  
  
  

• 站立会议合照
  

• 会议耗时记录（每次追加记录）