夏天下午

上海好像已经入夏了,外面阳光甚好。

最近几个周末都很忙碌,公司事情不少。算起来,我已经宅在家里超过 24 小时了,晚一些再出去,去看看女儿和父母。

昨天写了一个公司的思想小结,反思,这个事情还是挺有趣的。其实我倒是从来不怕反思,至少往里看,虽然还是很多缺点和弱点,有些真的挺难改变的。

从 2003 年 sars 时候研究 blog,当时连家用无线网都没有,我用的是同学给我的 cdpd,极慢的速度,不过还是能勉强用。可惜中间有过好几次数据丢失,域名更换之类。以前对这些内容的保存不是那么在意,另一方面,看着过去的有些文字,也不是太舒服。印象中创意纪的 blog 内容我是做过一个备份的,技术上要导入到这里也不是很难,懒得去弄了。

所以延展开去,我还是一个比较容易接受新事物的人,同时很多地方也很懒,老的笔记本电脑一年多没有去整理里面的数据。看来也要列一个计划了。还有我的影集,想了好几年了。包括喜欢的编程开发,因为平时工作的忙碌,实在很难参与到一些项目中,有点不进则退的感受。

看着自己 2015 年的 macbook pro,记得当时在美国的朋友带回来的,转眼五年了,性能还是很不错,有时候编程培训时候,计算速度还是可以排在前三,不输给这两年的笔记本。三个显示器正好簇拥着,以前梦想中的飞行舱。而人总是这样,一些东西得到了,愉快感就会降低。也带来一些副作用,似乎生无可恋,没啥目标了。

也挺累的,从 2001 年离开上海银行,开始在互联网相关的各个行业打拼,快 20 年了,其实一直挺忙碌的,也很努力,学了很多东西,见证了这个时代的发展。

公司要给自己的苹果电脑也装 dlp 监控了,不太想自己的电脑被装这些,之后就用公司电脑感觉也基本 ok。有些事情没法改变,只能接受,我们能改变的事情太少了,改变自己吧。

今年这个新冠,也让很多事情慢慢的变化了,不知道以后会是什么样子。

午后感怀一下,还有很多事情要去面对,每个人的人生都不容易。好像内心真的比以前强大了。

技术的温度-新冠疫情数据开源项目

1-2月份,这次新冠疫情来临的时候,看着每天跳跃的确诊和疑似人数,感到很无助。我们不是医生,捐钱捐物在当时也比较困难。我们这些只会开发项目、写写程序、弄弄云计算的技术直男能做些什么呢?


首先我们想到的是有什么可以帮到公司,当时公司复工在即,诸如保洁安保等很多外部服务公司的员工的健康情况要每天征集,正好团队有一个问卷系统,不管是微信还是钉钉,都能使用,每天所有填表人员的信息就自动汇总好了,疫情情况多变,增加修改问题也很方便。然后行政mm在组织复工后的订餐又碰到问题了,怎么让员工可以在公司指定的快餐供应商这里下单,然后第二天中午送到每层指定的地方,订餐么总还是要有一些仪式感,各类照片等等。正好之前团队在做一个手机在线商城项目,于是拿来修改一下,外卖菜单更新、员工下单和支付、统计数量等都不需要繁琐的人工统计工作。


技术是有温度的。在家办公的时候,虽比不上逆行者救死扶伤,原来自己的技术能力还是可以为防疫做些事情的。于是有一个想法冒了出来,数据处理分析能力也是我们强项啊,当时要查自己的航班火车是否有新冠确诊者比较麻烦,要自己每天输入。于是数据中心的小伙伴一边写了一个检查行程并自动推送信息的小程序,一边将各类行程信息在后台数据整理好。难能可贵的是这些并不是他们的本职工作,几个通宵,前后端联手,再经过几次迭代更新,能够方便到需要的朋友,就很满足。


最近大家知道,中国国内的疫情是控制住了,可是世界范围又开始爆发了,看到很多分析文章,我们数据分析团队的小朋友又坐不住了,因为我们发现并没有很好的疫情数据的接口。我们可以看到很多的数据播报,但是几乎没有什么自动获得的方式可以得到这些数据。大型新闻网站等有自己的接口,不对外开放,有一些公司提供接口,要收取费用。国内的很多爱好者们纷纷用爬虫等技术来获得数据,这样又不够准确。
美国约翰霍布金斯大学汇聚了全球各个疾控组织的数据,有静态的数据和官方提供的分析看板,不能直接访问数据源做更多的自主分析。我们的技术直男们又出手了,分成两个小组,一个小组将每天更新几次的静态数据自动汇总到数据库,一个小组开发接口,让任何有兴趣的研究者可以用任何编程语言来访问接口得到数据,开展自己的分析。白天工作非常忙碌,我们用了两周的晚上时间,终于基本完成。这个项目提供查询公开的全世界各个国家地区的新冠确诊、治愈、死亡等数字,有些国家地区可以挖掘到省份城市和州县,包括所有日期,并且最新的数据每天根据CDC更新而自动更新。这几天清明假期,大家更是不眠不休,终于完成了第一个版本。


复杂的数据清洗和整理,友好的数据接口包括支持自动联调,基于github的项目管理,高效的DevOps开发流水线,云计算的弹性能力,正是这些平时练就的本领,让这个新冠数据项目可以走到今天,相信这些数据对于需要的研究人员是有价值的。我们也会不断完善和改进。


技术让数字不再冰冷,程序员心中也是充满了热情。每个人的自律和努力,疫情一定早日退散!


COVID-19 Data API 地址: https://covid-19.adapay.tech

文档和自动联调地址: https://covid-19.adapay.tech/docs

访问API需要API Key,之后可以使用电子邮件自助申请,目前可以用:497115d0c2ff9586bf0fe03088cfdbe2

上面这个API Key可能会关闭,建议使用 register 接口来免费获得API Key。

有任何问题可以在这里留言,

电子邮件:国内 130730311@qq.com 国外 wingfish@gmail.com