base_country_code.py 8.9 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338
  1. import os
  2. import re
  3. from pathlib import Path
  4. import pandas as pd
  5. from utils.log import log
  6. YEAR_PATTERN = re.compile(r"^\d{4}$")
  7. MONTH_PATTERN = re.compile(r"^(0[1-9]|1[0-2])$")
  8. def format_sql_value(value):
  9. """
  10. 将 Python 值转换为 SQL 可识别的格式:
  11. - None -> NULL
  12. - 数值 -> 原样输出
  13. - 字符串 -> 加单引号
  14. """
  15. if pd.isna(value):
  16. return 'NULL'
  17. elif isinstance(value, (int, float)):
  18. return str(value)
  19. else:
  20. return f"'{value}'"
  21. def get_previous_month_dir(current_path):
  22. """生成前月目录路径"""
  23. try:
  24. year_part = current_path.parent.name
  25. month_part = current_path.name
  26. if not (YEAR_PATTERN.match(year_part) and MONTH_PATTERN.match(month_part)):
  27. return None
  28. prev_month = int(month_part) - 1
  29. if prev_month < 1:
  30. return None
  31. return current_path.parent.parent / current_path.parent.name / f"{prev_month:02d}"
  32. except Exception as e:
  33. log.info(f"前月目录生成失败:{str(e)}")
  34. return None
  35. COUNTRY_CODE_MAPPING = {
  36. # ================= 亚洲 =================
  37. "阿富汗": "AF",
  38. "巴林": "BH",
  39. "孟加拉国": "BD",
  40. "不丹": "BT",
  41. "文莱": "BN",
  42. "缅甸": "MM",
  43. "柬埔寨": "KH",
  44. "塞浦路斯": "CY",
  45. "朝鲜": "KP",
  46. "中国香港": "HK",
  47. "印度": "IN",
  48. "印度尼西亚": "ID",
  49. "伊朗": "IR",
  50. "伊拉克": "IQ",
  51. "以色列": "IL",
  52. "日本": "JP",
  53. "约旦": "JO",
  54. "科威特": "KW",
  55. "老挝": "LA",
  56. "黎巴嫩": "LB",
  57. "中国澳门": "MO",
  58. "马来西亚": "MY",
  59. "马尔代夫": "MV",
  60. "蒙古": "MN",
  61. "尼泊尔": "NP",
  62. "阿曼": "OM",
  63. "巴基斯坦": "PK",
  64. "巴勒斯坦": "PS",
  65. "菲律宾": "PH",
  66. "卡塔尔": "QA",
  67. "沙特阿拉伯": "SA",
  68. "新加坡": "SG",
  69. "韩国": "KR",
  70. "斯里兰卡": "LK",
  71. "叙利亚": "SY",
  72. "泰国": "TH",
  73. "土耳其": "TR",
  74. "阿联酋": "AE",
  75. "也门": "YE",
  76. "越南": "VN",
  77. "中国": "CN",
  78. "中国台湾": "TW",
  79. "哈萨克斯坦": "KZ",
  80. "吉尔吉斯斯坦": "KG",
  81. "塔吉克斯坦": "TJ",
  82. "土库曼斯坦": "TM",
  83. "乌兹别克斯坦": "UZ",
  84. "格鲁吉亚": "GE",
  85. "亚美尼亚": "AM",
  86. "阿塞拜疆": "AZ",
  87. # ================= 非洲 =================
  88. "阿尔及利亚": "DZ",
  89. "安哥拉": "AO",
  90. "贝宁": "BJ",
  91. "博茨瓦纳": "BW",
  92. "布隆迪": "BI",
  93. "喀麦隆": "CM",
  94. "佛得角": "CV",
  95. "中非": "CF",
  96. "乍得": "TD",
  97. "科摩罗": "KM",
  98. "刚果共和国": "CG",
  99. "吉布提": "DJ",
  100. "埃及": "EG",
  101. "赤道几内亚": "GQ",
  102. "埃塞俄比亚": "ET",
  103. "加蓬": "GA",
  104. "冈比亚": "GM",
  105. "加纳": "GH",
  106. "几内亚": "GN",
  107. "几内亚比绍": "GW",
  108. "科特迪瓦": "CI",
  109. "肯尼亚": "KE",
  110. "莱索托": "LS",
  111. "利比里亚": "LR",
  112. "利比亚": "LY",
  113. "马达加斯加": "MG",
  114. "马拉维": "MW",
  115. "马里": "ML",
  116. "毛里塔尼亚": "MR",
  117. "毛里求斯": "MU",
  118. "摩洛哥": "MA",
  119. "莫桑比克": "MZ",
  120. "纳米比亚": "NA",
  121. "尼日尔": "NE",
  122. "尼日利亚": "NG",
  123. "卢旺达": "RW",
  124. "圣多美和普林西比": "ST",
  125. "塞内加尔": "SN",
  126. "塞舌尔": "SC",
  127. "塞拉利昂": "SL",
  128. "索马里": "SO",
  129. "南非": "ZA",
  130. "苏丹": "SD",
  131. "坦桑尼亚": "TZ",
  132. "多哥": "TG",
  133. "突尼斯": "TN",
  134. "乌干达": "UG",
  135. "布基纳法索": "BF",
  136. "刚果民主共和国": "CD",
  137. "赞比亚": "ZM",
  138. "津巴布韦": "ZW",
  139. "厄立特里亚": "ER",
  140. "南苏丹": "SS",
  141. # ================= 欧洲 =================
  142. "比利时": "BE",
  143. "丹麦": "DK",
  144. "英国": "GB",
  145. "德国": "DE",
  146. "法国": "FR",
  147. "爱尔兰": "IE",
  148. "意大利": "IT",
  149. "卢森堡": "LU",
  150. "荷兰": "NL",
  151. "希腊": "GR",
  152. "葡萄牙": "PT",
  153. "西班牙": "ES",
  154. "阿尔巴尼亚": "AL",
  155. "奥地利": "AT",
  156. "保加利亚": "BG",
  157. "芬兰": "FI",
  158. "匈牙利": "HU",
  159. "冰岛": "IS",
  160. "列支敦士登": "LI",
  161. "马耳他": "MT",
  162. "挪威": "NO",
  163. "波兰": "PL",
  164. "罗马尼亚": "RO",
  165. "瑞典": "SE",
  166. "瑞士": "CH",
  167. "爱沙尼亚": "EE",
  168. "拉脱维亚": "LV",
  169. "立陶宛": "LT",
  170. "白俄罗斯": "BY",
  171. "摩尔多瓦": "MD",
  172. "俄罗斯": "RU",
  173. "乌克兰": "UA",
  174. "斯洛文尼亚": "SI",
  175. "克罗地亚": "HR",
  176. "捷克": "CZ",
  177. "斯洛伐克": "SK",
  178. "北马其顿": "MK",
  179. "波斯尼亚和黑塞哥维那": "BA",
  180. "梵蒂冈": "VA",
  181. "塞尔维亚": "RS",
  182. "黑山": "ME",
  183. # ================= 美洲 =================
  184. "安提瓜和巴布达": "AG",
  185. "阿根廷": "AR",
  186. "巴哈马": "BS",
  187. "巴巴多斯": "BB",
  188. "伯利兹": "BZ",
  189. "玻利维亚": "BO",
  190. "巴西": "BR",
  191. "加拿大": "CA",
  192. "智利": "CL",
  193. "哥伦比亚": "CO",
  194. "哥斯达黎加": "CR",
  195. "古巴": "CU",
  196. "多米尼克": "DM",
  197. "多米尼加": "DO",
  198. "厄瓜多尔": "EC",
  199. "萨尔瓦多": "SV",
  200. "格林纳达": "GD",
  201. "危地马拉": "GT",
  202. "圭亚那": "GY",
  203. "海地": "HT",
  204. "洪都拉斯": "HN",
  205. "牙买加": "JM",
  206. "墨西哥": "MX",
  207. "尼加拉瓜": "NI",
  208. "巴拿马": "PA",
  209. "巴拉圭": "PY",
  210. "秘鲁": "PE",
  211. "圣卢西亚": "LC",
  212. "圣文森特和格林纳丁斯": "VC",
  213. "苏里南": "SR",
  214. "特立尼达和多巴哥": "TT",
  215. "美国": "US",
  216. "乌拉圭": "UY",
  217. "委内瑞拉": "VE",
  218. "圣基茨和尼维斯": "KN",
  219. # ================= 大洋洲 =================
  220. "澳大利亚": "AU",
  221. "斐济": "FJ",
  222. "基里巴斯": "KI",
  223. "马绍尔群岛": "MH",
  224. "密克罗尼西亚联邦": "FM",
  225. "瑙鲁": "NR",
  226. "新西兰": "NZ",
  227. "帕劳": "PW",
  228. "巴布亚新几内亚": "PG",
  229. "萨摩亚": "WS",
  230. "所罗门群岛": "SB",
  231. "汤加": "TO",
  232. "图瓦卢": "TV",
  233. "瓦努阿图": "VU",
  234. # ================= 特殊地区 =================
  235. "法属圭亚那": "GF",
  236. "瓜德罗普": "GP",
  237. "留尼汪": "RE",
  238. "圣马丁": "MF",
  239. "荷属圣马丁": "SX",
  240. "法属波利尼西亚": "PF",
  241. "新喀里多尼亚": "NC",
  242. "库克群岛": "CK",
  243. "关岛": "GU",
  244. "波多黎各": "PR",
  245. "美属萨摩亚": "AS",
  246. "百慕大": "BM",
  247. "开曼群岛": "KY",
  248. "福克兰群岛(马尔维纳斯)": "FK",
  249. "格陵兰": "GL",
  250. "法属南方领地": "TF",
  251. "赫德岛和麦克唐纳岛": "HM",
  252. "托克劳": "TK",
  253. "纽埃": "NU",
  254. "诺福克岛": "NF",
  255. "北马里亚纳群岛": "MP",
  256. "皮特凯恩": "PN",
  257. "圣赫勒拿": "SH",
  258. "斯瓦尔巴群岛和扬马延岛": "SJ",
  259. "东帝汶": "TL",
  260. # ==== 欧洲特殊地区 ====
  261. "加那利群岛": "IC", # 西班牙特殊领土代码
  262. "塞卜泰(休达)": "XC", # 休达官方代码
  263. "梅利利亚": "XL", # 梅利利亚官方代码
  264. "安道尔": "AD",
  265. "直布罗陀": "GI",
  266. "摩纳哥": "MC",
  267. "圣马力诺": "SM",
  268. "法罗群岛": "FO", # 丹麦自治领
  269. "奥兰群岛": "AX", # 芬兰自治省
  270. "格恩西": "GG", # 英国皇家属地
  271. "马恩岛": "IM",
  272. "泽西": "JE",
  273. # ==== 非洲特殊地区 ====
  274. "西撒哈拉": "EH", # 争议地区代码
  275. "斯威士兰": "SZ", # 正式国名为"Eswatini"但保留旧映射
  276. "马约特": "YT", # 法国海外省
  277. # ==== 美洲特殊地区 ====
  278. "英属印度洋领地": "IO",
  279. "阿鲁巴": "AW",
  280. "库拉索": "CW",
  281. "马提尼克": "MQ", # 法国海外省
  282. "蒙特塞拉特": "MS",
  283. "法属圣马丁": "MF",
  284. "特克斯和凯科斯群岛": "TC",
  285. "英属维尔京群岛": "VG",
  286. "博纳尔,圣俄斯塔休斯和萨巴": "BQ",
  287. "圣巴泰勒米": "BL", # 法国海外集体
  288. "美属维尔京群岛": "VI",
  289. "安圭拉": "AI",
  290. "圣皮埃尔和密克隆": "PM",
  291. # ==== 大洋洲特殊地区 ====
  292. "瓦利斯和富图纳": "WF",
  293. "科科斯(基林)群岛": "CC",
  294. "圣诞岛": "CX",
  295. "美国本土外小岛屿": "UM",
  296. # ==== 特殊标记 ====
  297. "布维岛": "BV", # 挪威属地
  298. "南乔治亚岛和南桑德韦奇岛": "GS",
  299. "国家(地区)不明": "XX" # 自定义代码
  300. }
  301. def extract_year_month_from_path(path):
  302. parts = path.parts
  303. try:
  304. year_part = parts[-2]
  305. month_part = parts[-1]
  306. if not YEAR_PATTERN.match(year_part):
  307. raise ValueError(f"无效年份格式:{year_part}")
  308. if not MONTH_PATTERN.match(month_part):
  309. raise ValueError(f"无效月份格式:{month_part}")
  310. return int(year_part), int(month_part)
  311. except IndexError:
  312. raise ValueError("路径结构不符合要求,示例:.../shandong/2025/04")
  313. download_dir = os.path.abspath(os.path.join('downloads'))
  314. download_dir_find = os.path.abspath(os.path.join('downloads/demo'))
  315. if __name__ == '__main__':
  316. year, month = extract_year_month_from_path(Path(download_dir)/'2025'/'02')
  317. log.info(year, month)