多多小说网

手机浏览器扫描二维码访问

第9章 技术天才的困境（第2页）

“你怎么知道我在抓电商数据？”

陈默的声音沙哑，像很久没说话。

“右边窗口的日志。”

王雨指了指，“‘正在解析jd...失败，正则不匹配’。

你写了三行错误处理，但没解决根本问题。”

陈默盯着王雨看了五秒钟。

然后他转回屏幕，把光标移到第87行。

手指在键盘上敲击，删掉了那三行嵌套的条件判断，重新写了一段更简洁的正则表达式。

运行。

命令行窗口里，绿色的字符开始滚动：“正在解析jd...成功，获取商品数据124条。”

陈默的肩膀松弛下来。

“你懂代码？”

他问，还是没有看王雨。

“懂一点。”

王雨说，“你这个爬虫，还有别的问题。”

“什么问题？”

“没有设置延迟。”

王雨指着代码中的一段，“你用了多线程，十个线程同时请求。

如果是小网站，早就把你IP封了。

就算是淘宝京东，频率太高也会触发反爬机制。”

陈默沉默。

“还有，”

王雨继续说，“你抓下来的数据直接存到本地TXT文件，没有去重，没有清洗。

等数据量大了，光是打开文件都要卡死。”

“那该怎么弄？”

陈默终于完全转过身来，正对着王雨。

他的脸在屏幕蓝光的映照下，显得更加苍白。

眼窝深陷，颧骨突出，是长期营养不良的痕迹。

但那双眼睛——那双眼睛里有某种纯粹的东西，像燃烧的火焰，被厚厚的镜片和疲惫的面容掩盖着。

“用数据库。”

王雨说，“SQLite就行，轻量级。

抓下来的数据先清洗，去重，再存进去。

查询的时候用索引，速度快。”

“我不会数据库。”

陈默说得很直接。

“我可以教你。”

王雨说，“但前提是，你得跟我干。”

陈默的眉毛皱起来。

“跟你干？干什么？”