需求背景:
数据库中有两张表,共同字段为id,想要合并为一个表,但两张表内容过大,如果使用sql语句执行会崩溃!!
目标要求:从数据库中导出为两个json文件,一个文件字段为id,value;另一个文件字段为id,note,以相同字段id进行合并,输出一个JSON包含三个字段id,value,note文章来源:https://www.toymoban.com/news/detail-800624.html
# 将两个json文件以id进行合并,输出最终的目标结果
import json
with open('text_1.json', 'r',encoding='utf-8') as f:
data1 = json.load(f)
with open('text_2.json', 'r',encoding='utf-8') as f:
data2 = json.load(f)
# for d in data1 + data2:
# print(d)
# #----------报错,因为部分 id在note表不存在
# # 使用id字段作为键来合并两个字典
# merged_data = {d['ID']: { 'id': d['ID'], 'value': d['VALUE'], 'note': d['NOTE'] } for d in data1 + data2}
# 合并两个字典
# 执行上述一行代码报错的话,再改为下面的代码
merged_data = {}
for item1 in data1:
ID = item1['ID']
merged_data[ID] = {
'ID': ID,
'VALUE': item1['VALUE'],
'NOTE': None # 默认没有note
}
for item2 in data2:
ID = item2['ID']
if ID in merged_data:
# 如果id已经在merged_data中,更新note字段
merged_data[ID]['NOTE'] = item2['NOTE']
else:
# 如果id不在merged_data中,但存在于data2中,添加到merged_data
merged_data[ID] = {
'ID': ID,
'VALUE': None, # 默认没有value
'NOTE': item2['NOTE']
}
# 将合并后的字典转换回JSON格式
merged_json = json.dumps(merged_data, ensure_ascii=False, indent=4)
# 将合并后的JSON输出到一个文件中
with open('merged_data.json', 'w', encoding='utf-8') as f:
f.write(merged_json)
注意如果你的表内容不大,可以选择使用sql或者pandas中的merge进行关联合并,代码如下文章来源地址https://www.toymoban.com/news/detail-800624.html
- sql中left join语句
SELECT a.ID, a.VALUE, n. NOTE
FROM {table_name_1} a
LEFT JOIN {table_name_2} n ON a.ID = n.ID
WHERE a.id in (619,776,2547,12715069,13206239)
- python 中pd.merge
##----运行成功
import pandas as pd
import cx_Oracle as cx
from sqlalchemy import create_engine
def visitOracle(sql):
# 数据库连接信息
dsn_tns = cx.makedsn(('YOUR_HOST', 'YOUR_PORT', service_name='YOUR_SERVICE_NAME')
conn = f"oracle+cx_oracle://{YOUR_USERNAME}:{YOUR_PASSWORD}@{dsn_tns}"
# 创建数据库引擎
engine = create_engine(conn)
# 使用pandas的read_sql_query方法执行查询并获取结果
df = pd.read_sql_query(sql, con=engine)
# 关闭数据库连接
engine.dispose()
return df
##诊疗记录
sql1 = "select id, {value_column} FROM {table_name} where rownum<=5""
df1 = visitOracle(sql1)
print(df1)
sql2 = "select id, {value_column} FROM {table_name} where rownum<=5""
df2 = visitOracle(sql1)
print(df2)
# ----------pd合并两张表的数据
# 根据ID将两张表的数据合并
merged_df = pd.merge(df1, df2, on='id', how='outer', suffixes=('', '_s'))
print(merged_df)
到了这里,关于【sql/python】以共同字段进行两表合并的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!