Python爬取全国各地区疫情风险等级   需求 通过爬虫取得国家官网各地区疫情风险等级,存入电子表格最终如下:   数据来源 http://bmfw.www.gov.cn/yqfxdjcx/risk.html 分析网页 页面结构 上部:有截至时间,有三个按键:高\中\低.点击可以切换中部的信息 中部:风险地区信息 下部:翻页 确定请求方式 因为有翻页按钮,猜想应该是用ajax更新数据 打开F12,点<网络>,清除一下之前的内容,刷新一下   分析请求信息 url=http…

2022年11月27日 0条评论 14点热度 0人点赞 阅读全文

夺冠冲刺 链接:https://pan.baidu.com/s/1yBqzsZ0URHBX-zc9vQZnpA 提取码:6666 周末作业链接:https://pan.baidu.com/s/1baV9LqSkBqnyPLC6u1he8A?pwd=2022 提取码:2022 课课优优链接:https://pan.baidu.com/s/1MtoFuuN-KnWn5yWpGnbfQw?pwd=2022 提取码:2022 金牌教案 链接:https://pan.baidu.com/s/1JBUm0WFT1aTzPQuR…

2022年10月09日 0条评论 111点热度 0人点赞 阅读全文

df.loc[df.shape[0]] = dict(zip(df.columns, List)) 一行代码搞定

2022年05月13日 0条评论 361点热度 0人点赞 阅读全文

网上各种介绍文章,都没提及如果存放的时间是毫秒而不是秒,那么就需要在转换前,先除以1000 所以重要的是两步: 1、cast 转 int; 2、毫秒转为秒; from_unixtime(cast(BEGIN_TIME/1000 as int),'yyyy-MM-dd HH:mm:ss')

2022年04月27日 0条评论 444点热度 0人点赞 阅读全文

https://zhuanlan.zhihu.com/p/143502208

2022年03月23日 0条评论 479点热度 0人点赞 阅读全文

一、参考日期为当前日期 以当前系统日期作为参考日期,将其转换为统一的天维度yyyyMMdd数据格式。 例如当前日期为2021-01-29 昨天 方式一:date_format(date_sub(current_date(),1), 'yyyyMMdd') select date_format(date_sub(current_date(),1), 'yyyyMMdd') 20210128 方式二:date_format(date_sub(from_unixtime(unix_timestamp(), 'yyyy-M…

2022年03月22日 0条评论 535点热度 0人点赞 阅读全文

df.groupby(['YN','date'],as_index=False).agg('count').sort_values(by ='msisdn',ascending=False).head(3)

2022年03月18日 0条评论 504点热度 0人点赞 阅读全文

excel时间戳转化为日期 如果时间戳单位是 ms 输入格式 =(A2+8*3600000)/86400000+70*365+19 enter后,设置单元格格式为“时间”

2022年03月08日 0条评论 589点热度 0人点赞 阅读全文

报错 : sqlalchemy.exc.ArgumentError: Mapper mapped class DataSet->DataSet could not assemble any primary key columns for mapped table 'DataSet'   解决办法: 在字段定义的下面增加一行:(各字段都放入list) __mapper_args__ = {             'primary_key':[dataSetName, FileName, FileNa…

2022年02月18日 0条评论 496点热度 0人点赞 阅读全文

import pandas as pd import numpy as np file1 = 'all.csv' file2 = 'sa.csv' df1 = pd.read_csv(file1) df2 = pd.read_csv(file2) df3 = pd.concat([df1,df2,df2]).drop_duplicates(keep=False) df3.to_csv('result.csv',index=0)

2022年02月18日 0条评论 500点热度 0人点赞 阅读全文
123457