用Python实现不同数据源的对象匹配【思考】

发布时间:2019-06-28 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了用Python实现不同数据源的对象匹配【思考】脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

关于之前的利用python实现不同数据的数据匹配的实验的一些思考:

  1. 开始匹配之前一定要对于两个数据源中的记录进行分析,结合实际的应用场景判断合适的匹配字段;

  2. 开始匹配之前可以进行一些简单的判断,看看所得到的数据的纯净度如何,比如是否存在重复数据?重复数据重复的情形(完全重复or部分重复)以及按某一字段排序来进一步分析看看;

  3. 在实验过程中的测试是十分重要的,在原始数据集较大的情况下要能够根据原始记录以及所需测试的函数写测试样例进行沙盒测试,虽然不可能面面俱到,因为原始数据总是会出现一些意想不到的问题,所以通过沙盒测试之后在对原始数据中出现的问题再进一步修改测试样例直到最后原始数据通过测试;

后续会针对此次实验过程中书写的测试以及文件与一些‘数据结构’之间的转换做一个小工具包的整理

脚本宝典总结

以上是脚本宝典为你收集整理的用Python实现不同数据源的对象匹配【思考】全部内容,希望文章能够帮你解决用Python实现不同数据源的对象匹配【思考】所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。