加载中 ...
首页 > 财经 > 产经新闻 > 正文

大数据生死时刻:七成数据接口被切断,数万员工离开行业

2019-11-29 12:02:08 来源:和讯网

大数据生死时刻:七成数据接口被切断,数万员工离开行业

文 | 欧拉

最近3个月,多家数据公司被调查,数据行业动荡不断。

行业延续收紧,7成数据接口被切断。

1些大数据公司的爬虫团队被全部裁员,大量人员主动离职。据统计,最近最少有数万员工流出,行业人员流失率在50%以上。

各家大数据公司的CEO每天都在朋友圈“打卡”,证明“我没被抓,我的公司也还在”。

而另外一边,合规的、有国资背景的大数据公司,却迎来了好时候。有的公司在短短3个月内,“每月业务翻1番”。

有人说,这是行业面临的最大“生死劫”:有人死,却也有人生……

01 行业大劫

大数据行业,突然间被踩了刹车。

最近3个月,大数据公司人员被抓捕、被调查的消息不断传出,行业人人自危。

多家金融机构称,它们合作的数据接口,大部份都被切断,“70%的接口断了,其他的很多也不稳定,1周换了3次”。

首先停掉的,是各种爬虫产品。

1家大数据公司的开创人于建瑞,发现第2家爬虫公司被抓后,在公司召开了紧急会议。

“爬虫部门业务暂停,数据库和服务器上所有的爬虫数据全部删除,即使是脱了敏的。”于建瑞决定“勇士断臂”。

大数据生死时刻:七成数据接口被切断,数万员工离开行业

删除数据的第2天,爬虫部门马上“裁员10几人,转岗10几人”。

“第3天,全部爬虫部门从公司完全消失。”于建瑞花了3天时间,将爬虫业务“抹除”。

紧接着切断的,是“3要素验证”。

在过去,各大运营商下面,都接了很多代理商,后者会提供数据接口,进行电话、姓名等要素的验证。

“最近电信停了很多代理商,现在基本不接了。”于建瑞称,最开始暂停的是电信,现在联通和移动也在“缩减代理商”。

而各种多头借贷产品,也纷纭下架。

“天创、有盾的多头借贷产品都停了,市面上基本找不到多头借贷的产品了。”于建瑞称。

金融监管则开始要求自查。

11月6日,中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法展开业务的通知》,要求会员机构对数据合作方进行排查。

“很多被调查的或有风险业务的公司,都被直接点名,监管要求自查是不是和它们有过合作。”于建瑞称,“这其中包括公信宝、白骑士、天机数据、木立征信等多家公司”。

大数据生死时刻:七成数据接口被切断,数万员工离开行业

10月24日,1张截图在网上流传。截图显示,人行要求各地银行排查与第3方数据公司的合作情况

多家金融机构的工作人员也证实了这1点:“虽然不同区域的要求,可能略有不同,但都是要求停掉和风险公司的合作。”

业务停滞的同时,行业也弥漫着惊骇的气味。

于建瑞身旁每天都有人失联,“出国的出国,被抓的被抓”。

“最近,各家大数据公司的CEO每天都在朋友圈打卡,比运动打卡都勤奋。”于建瑞称,这里头的潜台词,不过是“我没事,我们公司也还好着呢”。

1家场景分期平台的HR前两天约好了1个面试,结果求职者没有出现,“后来听说,他被抓了”。

大数据突然成为高风险行业,行业掀起了1波离职潮。

“这段时间,我们收到了大量来自数据行业的人员简历。”上述HR表示。

而各大数据公司,也开始裁员。

“榜上着名的数据公司几近都在裁员。”1家金融机构的风控总监称,被裁的员工中,基本有1半都是技术人员。

“这些公司的裁员率和离职率最少有50%,技术部门乃至到达了70%。”

02 本钱激增

实际上,金融科技发展的基础和养料,就是大数据。

全部数据行业的停滞,致使金融业务遭到巨大影响。

“80%的金融公司都收缩了。”于建瑞称。

1些平台,只能针对老客户放款,不再新增;略微激进1点的平台,就开始凭感觉放款。

“较为资深的从业者,都会对自己用户的画像有概念,大概知道哪些人是优良人群。”1家场景分期平台的风控总监李扬称。

他们比对着过往的好客户画像和逾期客户画像来放款,“逾期率也还可控”。

但如果想保持之前的业务量,就意味着各项本钱的增加。

大数据生死时刻:七成数据接口被切断,数万员工离开行业

首先,是数据本钱的增加。

“正规的数据公司和央行征信,其实可以覆盖行业70%到80%的数据需求。”1家第3方征信机构的开创人王海峰表示。

只是,金融行业需要付出更高的合规本钱——合规的数据,价格自然要贵1些。

“它们的本钱高了约60%。”数据宝CEO汤寒林称。

其次,是核验本钱和人力本钱的增加。

摩托车分期服务商骑呗科技的风控专家姚奕称,受爬虫风波的影响,他们获得第3方数据的渠道减少了50%至70%。

为了保持业务运转,他们只能要求用户提交更多的纸质资料,并增加人手,用人工的方式核实用户信息。

“之前查询1条信息,只需要1两秒,本钱在几毛钱到几块钱之间。现在靠人工核实,可能需要几分钟乃至10来分钟。”

之前审核只要约10分钟,现在为30分钟。“另外,人力本钱也增加了30%至50%。”

面对现在的数据窘境,有1些平台尝试自建风控和爬虫。

“搭建1套爬虫系统,守旧估计需要6个人,最少3个月,开发本钱就得200万。”于建瑞称。而后期的保护本钱更高。

“比如说,为了反爬虫,运营商的官网动不动就会来个页面调剂,爬虫系统就得随着改。”于建瑞称,后期每月的保护本钱,还得50万。

而自建风控系统的难度,一样意味着人力本钱的高昂。

“全部金融体系的本钱,守旧估计增加了50%左右,人力、数据的本钱大幅度增加,效力也会降落很多。”于建瑞称。

03 未来如何

这不是数据行业的第1次大洗牌。

数据行业最早的1批从业者都记得,早在2012年前后,中国的数据行业就曾遭受过1次大洗牌。

2012年,央视“3·15”晚会暴光罗维邓白氏非法获得、买卖公民个人信息。罗维邓百氏全员被上海警方带走。

大数据生死时刻:七成数据接口被切断,数万员工离开行业

2012年,央视“3·15”晚会对罗维邓白氏的暴光截图

那1次以后,数据行业的暴利链条被打断,绝大部份从业者离开。

留下来的人,也心怀畏敬,不敢越界。

“上1次实际上是为了捍卫数据主权,而这1次和上1次有本质的区分,是为了保护稳定——金融和数据结合得太深,暴力催收和套路贷引发了很多极端案件。”在数据行业有15年工作经验的资深从业者丁1称。

但现在市面上这些主流的大数据公司,大部份都是在2012年以后创建的。它们没有经历过上1次洗牌,也没有感受过历史的教训。

“数据行业是1个什么样的行业,底线在哪里,他们中,大部份人其实不知道。”丁1称。

而这1次和上次1样,大量人员离开,暴利链条被打断。

历史如此类似,数据行业恍如又走完了1个轮回。

丁1认为,这次洗牌或许并不是坏事——行业重新回到1个新的出发点,新的底线也被划好。

而在腥风血雨中存活下来的合规公司,也渐渐熬出了头。

“在过去,合规的数据公司根本活不下去,由于我们要付出更高的合规本钱。”汤寒林称。

他举例称,他们其实不缓存任何1条数据。

而行业大部份的玩家,都是将调取的数据偷偷存起来,当数据越积越多之时,数据公司就能够直接用缓存库里的数据,不再需要从接口调取。

因而它们的销售价格就能够压到极低,“多卖1单就是赚”。

“它们价格便宜,而且由于已缓存下来了,所以响应时间也会比我们快。” 汤寒林说。

在惨烈的市场竞争中,劣币将驱逐良币。

而如今,合规的数据公司成了“香饽饽”。

1家有国企背景的数据公司开创人流露:“最近3个月,我们每月的业务量都翻1番。”

而1些巨头旗下的大数据平台,也突然间变得门庭若市。

“排队等着接我们的服务,咨询量也暴增。”1家巨头旗下的云平台销售称,他们最近正准备扩充团队。

关于大数据行业的未来,从业者认为,“持牌”将是1个关键词。

“也许,第3方大数据公司将会持牌经营。”1家数据公司的负责人夏睿预测,到那时,行业内应当只剩下几家头部公司,小公司存活的可能性不大。

合规、持牌,可能会成为未来大数据行业的主旋律。

丁1认为,1个行业从草莽到合规,确切要经历几个周期,“只有暴利链条被打断,这些守规矩的人,才可以重新奔跑”。

“你还准备留在大数据行业吗?”最近,很多人问于建瑞。

“市场和需求还在,只是划了新的跑道,我还是会在。”他说。

只是这1次,他会更加心怀畏敬。

*文中部份受访者为化名。

“掌阅财经”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与

我们联系删除或处理,客服邮箱99686143@qq.com,稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同

其观点或证实其内容的真实性。

  • 声音提醒
  • 60秒后自动更新
  • 中国8月CPI年率2.3%,预期2.1%,前值2.1%。中国8月PPI年率4.1%,预期4.0%,前值4.6%。

    08:00
  • 【统计局解读8月CPI:主要受食品价格上涨较多影响】从环比看,CPI上涨0.7%,涨幅比上月扩大0.4个百分点,主要受食品价格上涨较多影响。食品价格上涨2.4%,涨幅比上月扩大2.3个百分点,影响CPI上涨约0.46个百分点。从同比看,CPI上涨2.3%,涨幅比上月扩大0.2个百分点。1-8月平均,CPI上涨2.0%,与1-7月平均涨幅相同,表现出稳定态势。

    08:00
  • 【 统计局:从调查的40个行业大类看,8月价格上涨的有30个 】统计局:从环比看,PPI上涨0.4%,涨幅比上月扩大0.3个百分点。生产资料价格上涨0.5%,涨幅比上月扩大0.4个百分点;生活资料价格上涨0.3%,扩大0.1个百分点。从调查的40个行业大类看,价格上涨的有30个,持平的有4个,下降的有6个。 在主要行业中,涨幅扩大的有黑色金属冶炼和压延加工业,上涨2.1%,比上月扩大1.6个百分点;石油、煤炭及其他燃料加工业,上涨1.7%,扩大0.8个百分点。化学原料和化学制品制造业价格由降转升,上涨0.6%。

    08:00
  • 【日本经济已重回增长轨道】日本政府公布的数据显示,第二季度经济扩张速度明显快于最初估值,因企业在劳动力严重短缺的情况下支出超预期。第二季度日本经济折合成年率增长3.0%,高于1.9%的初步估计。经济数据证实,该全球第三大经济体已重回增长轨道。(华尔街日报)

    08:00
  • 工信部:1-7月我国规模以上互联网和相关服务企业完成业务收入4965亿元,同比增长25.9%。

    08:00
  • 【华泰宏观:通胀短期快速上行风险因素主要在猪价】华泰宏观李超团队点评8月通胀数据称,今年二、三季度全国部分地区的异常天气(霜冻、降雨等)因素触发了粮食、鲜菜和鲜果价格的波动预期,但这些因素对整体通胀影响有限,未来重点关注的通胀风险因素仍然是猪价和油价,短期尤其需要关注生猪疫情的传播情况。中性预测下半年通胀高点可能在+2.5%附近,年底前有望从高点小幅回落。

    08:00
  • 【中国信通院:8月国内市场手机出货量同比环比均下降】中国信通院公布数据显示:2018年8月,国内手机市场出货量3259.5万部,同比下降20.9%,环比下降11.8%,其中智能手机出货量为3044.8万部,同比下降 17.4%; 2018年1-8月,国内手机市场出货量2.66亿部,同比下降17.7%。

    08:00
  • 土耳其第二季度经济同比增长5.2%。

    08:00
  • 乘联会:中国8月份广义乘用车零售销量176万辆,同比减少7.4%。

    08:00
  • 央行连续第十四个交易日不开展逆回购操作,今日无逆回购到期。

    08:00
  • 【黑田东彦:日本央行需要维持宽松政策一段时间】日本央行已经做出调整,以灵活地解决副作用和长期收益率的变化。央行在7月政策会议的决定中明确承诺将利率在更长时间内维持在低水平。(日本静冈新闻)

    08:00
  • 澳洲联储助理主席Bullock:广泛的家庭财务压力并非迫在眉睫,只有少数借贷者发现难以偿还本金和利息贷款。大部分家庭能够偿还债务。

    08:00
  • 【 美联储罗森格伦:9月很可能加息 】美联储罗森格伦:经济表现强劲,未来或需采取“温和紧缩”的政策。美联储若调高对中性利率的预估,从而调升对利率路径的预估,并不会感到意外。

    08:00
  • 美联储罗森格伦:经济表现强劲,未来或需采取“温和紧缩”的政策。美联储若调高对中性利率的预估,从而调升对利率路径的预估,并不会感到意外。

    08:00
  • 美联储罗森格伦:鉴于经济表现强劲,未来或需采取“温和紧缩的”政策。

    08:00