crawl 文案 fix

crossborder/anhui/crawl_gov_anhui_full.py

@@ -249,14 +249,14 @@ def crawl_with_selenium(url, mark):
 
     finally:
         driver.quit()
-        print(f"安徽合肥海关全量数据下载任务完成")
+        print(f"安徽省合肥海关全量数据下载任务完成")
         # 等待5s后执行
         time.sleep(5)
         hierarchical_traversal(download_dir)
-        print("安徽合肥海关类章、国家、城市所有文件处理完成！")
+        print("安徽省海关类章、国家、城市所有文件处理完成！")
         time.sleep(5)
         base_mysql.update_shandong_yoy('安徽省')
-        print("安徽合肥海关城市同比sql处理完成")
+        print("安徽省合肥海关城市同比sql处理完成")
     return 'finish'
 
 
@@ -325,14 +325,14 @@ def main():
     args = parser.parse_args()
 
     if args.year == 2023:
-        log.info("正在全量爬取安徽海关数据")
+        log.info("正在全量爬取安徽省海关数据")
         crawl_with_selenium('http://hefei.customs.gov.cn/hefei_customs/zfxxgkzl59/3169584/479584/479585/index.html','all')
-        send_dingtalk_message('安徽海关全量数据爬取完成')
+        send_dingtalk_message('安徽省海关全量数据爬取完成')
     else:
-        log.info("正在增量爬取安徽海关数据")
+        log.info("正在增量爬取安徽省海关数据")
         res = crawl_with_selenium('http://hefei.customs.gov.cn/hefei_customs/zfxxgkzl59/3169584/479584/479585/index.html','auto')
         if res == 'finish':
-            send_dingtalk_message('安徽海关增量数据爬取完成')
+            send_dingtalk_message('安徽省海关增量数据爬取完成')
 
 if __name__ == '__main__':
     main()

crossborder/anhui/gov_commodity_anhui_city.py

@@ -127,4 +127,4 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info(f"安徽合肥海关城市所有文件处理完成！")
+    log.info(f"安徽省合肥海关城市所有文件处理完成！")

crossborder/anhui/gov_commodity_anhui_country.py

@@ -137,4 +137,4 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info("安徽合肥海关国别所有文件处理完成！")
+    log.info("安徽省海关国别所有文件处理完成！")

crossborder/anhui/gov_commodity_anhui_import_export.py

@@ -180,4 +180,4 @@ if __name__ == '__main__':
 
     # root = Path(base_country_code.download_dir)/'2025'/'04'
     # process_folder(root)
-    log.info("安徽合肥海关类章所有文件处理完成！")
+    log.info("安徽省海关类章所有文件处理完成！")

crossborder/hebei/crawl_gov_hebei_full.py

@@ -230,10 +230,10 @@ def crawl_with_selenium(url, mark):
         # 等待5s后执行
         time.sleep(5)
         hierarchical_traversal(download_dir)
-        log.info(f"河北石家庄海关全量数据下载任务完成")
+        log.info(f"河北省海关全量数据下载任务完成")
         time.sleep(5)
         base_mysql.update_shandong_yoy('河北省')
-        log.info("河北石家庄海关城市同比sql处理完成")
+        log.info("河北省海关城市同比sql处理完成")
     return 'finish'
 
 def wait_for_download_complete(timeout=30, existing_files=None):
@@ -303,14 +303,14 @@ def main():
     args = parser.parse_args()
 
     if args.year == 2023:
-        log.info("正在全量爬取河北海关数据")
+        log.info("正在全量爬取河北省海关数据")
         crawl_with_selenium('http://shijiazhuang.customs.gov.cn/shijiazhuang_customs/zfxxgk43/2988665/2988681/index.html', 'all')
-        send_dingtalk_message('河北海关全量数据爬取完成')
+        send_dingtalk_message('河北省海关全量数据爬取完成')
     else:
-        log.info("正在增量爬取河北海关数据")
+        log.info("正在增量爬取河北省海关数据")
         res = crawl_with_selenium('http://shijiazhuang.customs.gov.cn/shijiazhuang_customs/zfxxgk43/2988665/2988681/index.html','auto')
         if res == 'finish':
-            send_dingtalk_message('河北海关增量数据爬取完成')
+            send_dingtalk_message('河北省海关增量数据爬取完成')
 
 if __name__ == '__main__':
     main()

crossborder/hebei/gov_commodity_hebei_city.py

@@ -124,4 +124,4 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info(f"河北石家庄海关城市所有文件处理完成！")
+    log.info(f"河北省海关城市所有文件处理完成！")

crossborder/hebei/gov_commodity_hebei_country.py

@@ -119,4 +119,4 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info(f"河北石家庄海关国家的所有文件处理完成！")
+    log.info(f"河北省海关国家的所有文件处理完成！")

crossborder/hebei/gov_commodity_hebei_import_export.py

@@ -183,4 +183,4 @@ if __name__ == '__main__':
 
     # root = Path(download_dir)/'2023'/'02'
     # process_folder(root)
-    log.info(f"河北石家庄海关出入口商品所有文件处理完成！")
+    log.info(f"河北省海关出入口商品所有文件处理完成！")

crossborder/jiangsu/crawl_gov_jiangsu_full.py

@@ -269,15 +269,15 @@ def crawl_with_selenium(url, mark):
 
     finally:
         driver.quit()
-        log.info(f"江苏南京海关全量数据下载任务完成")
+        log.info(f"江苏省海关全量数据下载任务完成")
         # 等待5s后执行
         time.sleep(5)
         all_records = base_mysql.get_hs_all()
         hierarchical_traversal(download_dir, all_records)
-        log.info("江苏南京海关类章、国家、城市所有文件处理完成！")
+        log.info("江苏省海关类章、国家、城市所有文件处理完成！")
         time.sleep(5)
         base_mysql.update_shandong_yoy('江苏省')
-        log.info("江苏南京海关城市同比sql处理完成")
+        log.info("江苏省海关城市同比sql处理完成")
     return 'finish'
 
 
@@ -340,14 +340,14 @@ def main():
     args = parser.parse_args()
 
     if args.year == 2023:
-        log.info("正在全量爬取江苏海关数据")
+        log.info("正在全量爬取江苏省海关数据")
         crawl_with_selenium('http://nanjing.customs.gov.cn/nanjing_customs/zfxxgk58/fdzdgknr95/3010051/589289/7e2fcc72-1.html','all')
-        send_dingtalk_message('江苏海关全量数据爬取完成')
+        send_dingtalk_message('江苏省海关全量数据爬取完成')
     else:
-        log.info("正在增量爬取江苏海关数据")
+        log.info("正在增量爬取江苏省海关数据")
         res = crawl_with_selenium('http://nanjing.customs.gov.cn/nanjing_customs/zfxxgk58/fdzdgknr95/3010051/589289/7e2fcc72-1.html','auto')
         if res == 'finish':
-            send_dingtalk_message('江苏海关增量数据爬取完成')
+            send_dingtalk_message('江苏省海关增量数据爬取完成')
 
 if __name__ == '__main__':
     main()

crossborder/jiangsu/gov_commodity_jiangsu_city.py

@@ -129,7 +129,7 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info(f"江苏南京海关城市所有文件处理完成！")
+    log.info(f"江苏省海关城市所有文件处理完成！")
     time.sleep(5)
     base_mysql.update_shandong_yoy('江苏省')
-    log.info("江苏南京同比sql处理完成")
+    log.info("江苏省同比sql处理完成")

crossborder/jiangsu/gov_commodity_jiangsu_country.py

@@ -131,4 +131,4 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info("江苏南京海关国别所有文件处理完成！")
+    log.info("江苏省海关国别所有文件处理完成！")

crossborder/jiangsu/gov_commodity_jiangsu_import_export.py

@@ -167,4 +167,4 @@ if __name__ == '__main__':
 
     root = Path(download_dir)/'2023'/'01'
     process_folder(root, all_records)
-    print("江苏南京海关类章所有文件处理完成！")
+    print("江苏省海关类章所有文件处理完成！")

crossborder/utils/dingtalk.py

@@ -30,5 +30,5 @@ def send_dingtalk_message(message):
 if __name__ == '__main__':
     # 发送钉钉消息
     # webhook_url = "https://oapi.dingtalk.com/robot/send?access_token=86f0016712dac5836e8cae7f7c6564d103de3de603228a3fad744e6bfc3e22fd"
-    message = "安徽合肥海关数据下载任务已完成"
+    message = "安徽省海关数据下载任务已完成"
     send_dingtalk_message(message)

crossborder/zhejiang/crawl_gov_zhejiang_full.py

@@ -312,14 +312,14 @@ def crawl_with_selenium(url, mark):
 
     finally:
         driver.quit()
-        log.info(f"浙江杭州海关全量数据下载任务完成")
+        log.info(f"浙江省海关全量数据下载任务完成")
         # 等待5s后执行
         time.sleep(5)
         hierarchical_traversal(download_dir)
-        log.info("浙江杭州海关类章、国家、城市所有文件处理完成！")
+        log.info("浙江省海关类章、国家、城市所有文件处理完成！")
         time.sleep(5)
         base_mysql.update_shandong_yoy('浙江省')
-        log.info("浙江杭州海关城市同比sql处理完成")
+        log.info("浙江省海关城市同比sql处理完成")
     return 'finish'
 
 def wait_for_download_complete(timeout=30, existing_files=None):
@@ -387,14 +387,14 @@ def main():
     args = parser.parse_args()
 
     if args.year == 2023:
-        log.info("正在全量爬取浙江海关数据")
+        log.info("正在全量爬取浙江省海关数据")
         crawl_with_selenium('http://hangzhou.customs.gov.cn/hangzhou_customs/575609/zlbd/575612/575612/6430241/6430315/index.html', 'all')
-        send_dingtalk_message('浙江海关全量数据爬取完成')
+        send_dingtalk_message('浙江省海关全量数据爬取完成')
     else:
-        log.info("正在增量爬取浙江海关数据")
+        log.info("正在增量爬取浙江省海关数据")
         res = crawl_with_selenium('http://hangzhou.customs.gov.cn/hangzhou_customs/575609/zlbd/575612/575612/6430241/6430315/index.html','auto')
         if res == 'finish':
-            send_dingtalk_message('浙江海关增量数据爬取完成')
+            send_dingtalk_message('浙江省海关增量数据爬取完成')
 
 if __name__ == '__main__':
     main()

crossborder/zhejiang/gov_commodity_zhejiang_city.py

@@ -157,9 +157,9 @@ def hierarchical_traversal(root_path):
 
 if __name__ == '__main__':
     hierarchical_traversal(download_dir)
-    log.info(f"浙江杭州海关城市所有文件处理完成！")
+    log.info(f"浙江省海关城市所有文件处理完成！")
     time.sleep(5)
     base_mysql.update_shandong_yoy('浙江省')
-    log.info("同比sql处理完成")
+    log.info("浙江省海关城市同比sql处理完成")
     # root = Path(download_dir)/'2024'/'07'
     # process_folder(root)

crossborder/zhejiang/gov_commodity_zhejiang_country.py

@@ -170,4 +170,4 @@ if __name__ == '__main__':
 
     root = Path(download_dir) / '2024' / '07'
     process_folder(root)
-    log.info("浙江杭州海关国别所有文件处理完成！")
+    log.info("浙江省海关国别所有文件处理完成！")

crossborder/zhejiang/gov_commodity_zhejiang_import_export.py

@@ -226,4 +226,4 @@ if __name__ == '__main__':
 
     # root = Path(download_dir)/'2023'/'01'
     # process_folder(root)
-    log.info("浙江杭州海关类章所有文件处理完成！")
+    log.info("浙江省海关类章所有文件处理完成！")