从零开始的异世界...吧 关注:335,065贴子:2,099,720

从零开始的爬虫 ( ?v ?)

只看楼主收藏回复

这里是清扬无聊写的一些小玩意儿,纯粹当作打发时间用的,算是本吧的一个小话题吧。
以后会在这个贴子长期不定期更新一些爬虫相关的东西,自己就当作笔记,吧友们有空随意吐槽。
至于为什么开始决定写这个东西呢,有很大成分上算是打发时间吧,而且相关的知识网上论坛多的很,有兴趣的可以找找论坛学习一下,至于我的编程水平嘛,及格线以下吧,首先自学的时间有限,还有个人精力是不可能认真系统学习的
什么是爬虫?这个吧为什么要写这东西?
爬虫本质上讲大概就是一种收集数据技术的方式之一吧,平时百度搜索就是一种爬虫的形式。每次百度搜索的时候搜索栏下都会显示找到**约多少个,其实呢,这些信息都是用静态的方式存在百度的数据库中,每一条信息的右下角百度快照就是这个信息库,如果没有找到对应的信息,一般是没有提交百度收录的原因。由于百度的数据支撑,所以现在百度引擎基本可以满足大家的需求了。
那么数据一多问题就来了,怎么快速准确的获取相关信息呢,这部分就是爬虫的工作了。爬虫从搜索方面基本上可以分为两种(个人看法),从广度上和从深度上,广度上基本就是大范围获取相关信息,深度上就认为在确认范围后获取更准确可靠的信息了。这个贴子只考虑临时,所以范围自然小,只是获取很少的信息,并进行保存而已。
python爬虫现在应该是主流方式之一,首先入门门槛低,然后爬虫相关的语法也非常通俗易懂。其余语言当然也能实现这些效果,虽然有第三方库支持,但是实现还是有点麻烦。这里使用python2纯属练手了,虽然python2.7将会在2020年1月1日终止支持,毕竟还能用这么就,python2会了python3入手也容易。
至于为什么要写这个爬虫呢。很明显啊,打发时间啊


IP属地:广东1楼2018-08-08 22:46回复
    以为今天就开始了吗? 这是不可能的,这东西更新的时候我肯定是想到啥就写啥,这层楼就先放个工具吧,python2安装文件百度一大堆,win系统推荐用msi文件就像这种

    我就不信还有吧友用ubuntu玩贴吧,那东西自带python自己研究去吧
    另外有两个有用的东西Chrome版本的jsonview和xpath插件,等会放楼中楼里面,有爱的自己搞定吧。
    就这些了,之后有空再写了。
    最后周五更新第五章72,周末两天都没空。


    IP属地:广东2楼2018-08-08 22:55
    回复(1)
      2025-08-10 21:08:47
      广告
      不感兴趣
      开通SVIP免广告
      先马住


      IP属地:北京来自iPhone客户端3楼2018-08-08 23:13
      回复
        666


        IP属地:湖北来自Android客户端4楼2018-08-08 23:14
        回复
          前排膜


          IP属地:北京来自iPhone客户端5楼2018-08-08 23:20
          回复(3)
            crx浏览器插件的使用,虽然是很久的技术了,附上gif图


            IP属地:广东来自Android客户端6楼2018-08-08 23:35
            回复
              ╭(°A°`)╮…


              IP属地:陕西来自Android客户端7楼2018-08-09 01:05
              回复
                苟住


                IP属地:甘肃来自Android客户端8楼2018-08-09 01:16
                回复
                  2025-08-10 21:02:47
                  广告
                  不感兴趣
                  开通SVIP免广告
                  感谢科普和分享


                  IP属地:捷克来自Android客户端9楼2018-08-09 04:27
                  回复
                    我们会认真学习的


                    IP属地:上海来自iPhone客户端10楼2018-08-09 09:27
                    回复
                      正襟危坐


                      IP属地:广东来自Android客户端11楼2018-08-09 09:36
                      回复
                        只学过C语言的路过,考完二级都不知道我学的是啥


                        IP属地:安徽12楼2018-08-09 09:54
                        回复(1)
                          路过


                          IP属地:广东来自Android客户端13楼2018-08-09 09:58
                          回复
                            加油,我看好你


                            IP属地:河北来自Android客户端14楼2018-08-09 19:35
                            回复
                              2025-08-10 20:56:47
                              广告
                              不感兴趣
                              开通SVIP免广告
                              做听天书


                              IP属地:安徽来自Android客户端15楼2018-08-09 22:28
                              回复