排列5走势图首页    注册   登录
排列5走势图 = way to explore
排列5走势图 是一个排列5走势图关于 分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
宝塔
排列5走势图  ›  分享创造

一个知乎爬虫,可保存关注列表对象的信息到排列5走势图本地 ,欢迎前来玩耍~

  •  
  •   paulw54jrn · 2014-02-26 01:16:31 +08:00 · 2979 次点击
    这是一个创建于 2093 天前的主题,其中的信息可能已经有所发展或是发生改变。
    之前知乎有大神退出排列5走势图删除 答案,萌发了用爬虫把自己关注的对象的答案爬下来的想法.顺便学习下Python.

    使用排列5走势图方法 : python user_cralwer USERNAME PASSWORD

    脚本会在当前目录下面创建一个叫Answer的文件夹,里面每个用户独立一个文件夹,然后一个xml文件存下该用户的所有答案,同时为每个回答创建一个文件夹,里面放该用户贴的图(如果有的话)

    链接:
    http://github.com/paulw54jrn/ZhiHu-Crawler

    写来练手,如果有任何bug,请轻喷,排列5走势图我 会马上修改~







    另外夹带点私货,14年毕业,v2ex的各位大神,如果有机会,求实习...
    5 回复  |  直到 1970-01-01 08:00:00 +08:00
        1
    imom0   2014-02-26 01:21:07 +08:00
    命名表要爪哇风格,tabular也看着挺不习惯的。
        2
    paulw54jrn   2014-02-26 01:30:42 +08:00
    @imom0 对编程规范不是很熟悉,可否请再点解一下?
        3
    MichaelYin   2014-02-26 08:43:40 +08:00   ♥ 1
    随便看了一下,提几点把

    import 建议看看python core programming 里的建议

    注释风格不统一

    每行代码不要太长,建议用sublime 画上rule强制自己代码不要超过多少宽度

    内容的提取个人认为其实xpath应该够用了把
        4
    tarsier   2014-02-26 08:45:21 +08:00 via Android
    知乎登录有时候会有验证码,怎么解决的?
        5
    paulw54jrn   2014-02-26 10:57:59 +08:00
    @MichaelYin
    谢谢排列5走势图你 的建议.
    至于代码长度的问题,把比如说有个很长的正则表达式或者创建线程的时候带了一堆参数,拆分成多行有时候感觉代码读起来也很零散,这个有什么办法呢?

    @tarsier
    之前使用知乎从来没试过需要验证码,所以今天才知道有这回事...
    http://www.zhihu.com/question/19660087
    http://www.zhihu.com/question/20420079
    上面说似乎是频繁的反人类操作才会导致要输入验证码,但是排列5走势图我 在测试脚本的时候也有大量的登录\fetch用户的操作,也没有触发验证码...
    排列5走势图关于   ·   FAQ   ·   API   ·   排列5走势图排列5走势图我 们 的愿景   ·   广告投放   ·   感谢   ·   实用小排列5走势图工具   ·   3990 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 01:24 · PVG 09:24 · LAX 17:24 · JFK 20:24
    ♥ Do have faith in what you're doing.