技术的温度-新冠疫情数据开源项目

1-2月份,这次新冠疫情来临的时候,看着每天跳跃的确诊和疑似人数,感到很无助。我们不是医生,捐钱捐物在当时也比较困难。我们这些只会开发项目、写写程序、弄弄云计算的技术直男能做些什么呢?


首先我们想到的是有什么可以帮到公司,当时公司复工在即,诸如保洁安保等很多外部服务公司的员工的健康情况要每天征集,正好团队有一个问卷系统,不管是微信还是钉钉,都能使用,每天所有填表人员的信息就自动汇总好了,疫情情况多变,增加修改问题也很方便。然后行政mm在组织复工后的订餐又碰到问题了,怎么让员工可以在公司指定的快餐供应商这里下单,然后第二天中午送到每层指定的地方,订餐么总还是要有一些仪式感,各类照片等等。正好之前团队在做一个手机在线商城项目,于是拿来修改一下,外卖菜单更新、员工下单和支付、统计数量等都不需要繁琐的人工统计工作。


技术是有温度的。在家办公的时候,虽比不上逆行者救死扶伤,原来自己的技术能力还是可以为防疫做些事情的。于是有一个想法冒了出来,数据处理分析能力也是我们强项啊,当时要查自己的航班火车是否有新冠确诊者比较麻烦,要自己每天输入。于是数据中心的小伙伴一边写了一个检查行程并自动推送信息的小程序,一边将各类行程信息在后台数据整理好。难能可贵的是这些并不是他们的本职工作,几个通宵,前后端联手,再经过几次迭代更新,能够方便到需要的朋友,就很满足。


最近大家知道,中国国内的疫情是控制住了,可是世界范围又开始爆发了,看到很多分析文章,我们数据分析团队的小朋友又坐不住了,因为我们发现并没有很好的疫情数据的接口。我们可以看到很多的数据播报,但是几乎没有什么自动获得的方式可以得到这些数据。大型新闻网站等有自己的接口,不对外开放,有一些公司提供接口,要收取费用。国内的很多爱好者们纷纷用爬虫等技术来获得数据,这样又不够准确。
美国约翰霍布金斯大学汇聚了全球各个疾控组织的数据,有静态的数据和官方提供的分析看板,不能直接访问数据源做更多的自主分析。我们的技术直男们又出手了,分成两个小组,一个小组将每天更新几次的静态数据自动汇总到数据库,一个小组开发接口,让任何有兴趣的研究者可以用任何编程语言来访问接口得到数据,开展自己的分析。白天工作非常忙碌,我们用了两周的晚上时间,终于基本完成。这个项目提供查询公开的全世界各个国家地区的新冠确诊、治愈、死亡等数字,有些国家地区可以挖掘到省份城市和州县,包括所有日期,并且最新的数据每天根据CDC更新而自动更新。这几天清明假期,大家更是不眠不休,终于完成了第一个版本。


复杂的数据清洗和整理,友好的数据接口包括支持自动联调,基于github的项目管理,高效的DevOps开发流水线,云计算的弹性能力,正是这些平时练就的本领,让这个新冠数据项目可以走到今天,相信这些数据对于需要的研究人员是有价值的。我们也会不断完善和改进。


技术让数字不再冰冷,程序员心中也是充满了热情。每个人的自律和努力,疫情一定早日退散!


COVID-19 Data API 地址: https://covid-19.adapay.tech

文档和自动联调地址: https://covid-19.adapay.tech/docs

访问API需要API Key,之后可以使用电子邮件自助申请,目前可以用:497115d0c2ff9586bf0fe03088cfdbe2

上面这个API Key可能会关闭,建议使用 register 接口来免费获得API Key。

有任何问题可以在这里留言,

电子邮件:国内 130730311@qq.com 国外 wingfish@gmail.com