一种Redshift外部表动态列的处理方法及装置
基本信息
申请号 | CN201910565114.3 | 申请日 | - |
公开(公告)号 | CN110297830B | 公开(公告)日 | 2021-09-14 |
申请公布号 | CN110297830B | 申请公布日 | 2021-09-14 |
分类号 | G06F16/22 | 分类 | 计算;推算;计数; |
发明人 | 朱亮;徐滢 | 申请(专利权)人 | 成都品果科技有限公司 |
代理机构 | 成都高远知识产权代理事务所(普通合伙) | 代理人 | 曾克;施磊 |
地址 | 610000 四川省成都市高新区天府大道中段1268号1栋13层 | ||
法律状态 | - |
摘要
摘要 | 本发明公开一种Redshift外部表动态列的处理方法及装置,包括:加载Redshift外部表的第一表头信息;所述第一表头信息包括:外部表的列名称,所述列名称与待存储的SparkDataFrame列的映射关系,所述列名称的使用情况;根据所述第一表头信息,将所述Redshift外部表的列与所述待存储的SparkDataFrame的列进行一一映射,生成Redshift外部表的第二表头信息;根据所述第二表头信息,更新所述待存储的SparkDataFrame的表头结构,获取更新后的SparkDataFrame;将所述更新后的SparkDataFrame存储于所述Redshift外部表。本发明提供的技术方案,能够动态地改变Redshift外部表的列结构,简化操作。 |
