فهرست منبع

crawl run path fix

zhangfan 12 ساعت پیش
والد
کامیت
12d49cc3c4

+ 2 - 1
crossborder/anhui/__init__.py

@@ -1,7 +1,8 @@
 import os
 from pathlib import Path
 
-script_dir = os.path.dirname(os.path.abspath(__file__))
+script_dir = os.getcwd()
+# script_dir = os.path.dirname(os.path.abspath(__file__))
 download_dir = os.path.join(script_dir, 'downloads')
 # 创建目录(如果不存在)
 os.makedirs(download_dir, exist_ok=True)

+ 1 - 0
crossborder/anhui/crawl_gov_anhui_full.py

@@ -324,6 +324,7 @@ def main():
     parser.add_argument('--year', type=int, default=None, help='终止年份(如2023),未指定时抓取最新两个月')
     args = parser.parse_args()
 
+    print(f'anhui args: {args}')
     if args.year == 2023:
         crawl_with_selenium('http://hefei.customs.gov.cn/hefei_customs/zfxxgkzl59/3169584/479584/479585/index.html','all')
     else:

+ 2 - 1
crossborder/hebei/__init__.py

@@ -1,7 +1,8 @@
 import os
 from pathlib import Path
 
-script_dir = os.path.dirname(os.path.abspath(__file__))
+script_dir = os.getcwd()
+# script_dir = os.path.dirname(os.path.abspath(__file__))
 download_dir = os.path.join(script_dir, 'downloads')
 # 创建目录(如果不存在)
 os.makedirs(download_dir, exist_ok=True)

+ 2 - 1
crossborder/jiangsu/__init__.py

@@ -1,7 +1,8 @@
 import os
 from pathlib import Path
 
-script_dir = os.path.dirname(os.path.abspath(__file__))
+script_dir = os.getcwd()
+# script_dir = os.path.dirname(os.path.abspath(__file__))
 download_dir = os.path.join(script_dir, 'downloads')
 # 创建目录(如果不存在)
 os.makedirs(download_dir, exist_ok=True)

+ 2 - 1
crossborder/zhejiang/__init__.py

@@ -1,7 +1,8 @@
 import os
 from pathlib import Path
 
-script_dir = os.path.dirname(os.path.abspath(__file__))
+script_dir = os.getcwd()
+# script_dir = os.path.dirname(os.path.abspath(__file__))
 download_dir = os.path.join(script_dir, 'downloads')
 # 创建目录(如果不存在)
 os.makedirs(download_dir, exist_ok=True)