socket_bind:address already in use 解决办法

先说解决办法:


</div>
if (($sock = socket_create(AF_INET, SOCK_STREAM, SOL_TCP)) === false) {

echo "socket_create() failed: reason: " . socket_strerror(socket_last_error()) . "\n";
}

if(socket_set_option($sock, SOL_SOCKET, SO_REUSEADDR, 1) === false) {

echo "socket_set_option failed: reason: " . socket_strerror(socket_last_error()) . "\n";

}

下面摘抄的原因:

今天在linux下,编写了一个简单的回射客户/服务器(就是客户机从控制台标准输入并发送数据,服务端接受数据,但是不对数据进行处理,然后将数据返回,交由客户机标准输出),然后遇到了一些问题,郁闷了好长时间,然后就想着将这些东西写下来,跟大家分享分享

1,  客户端和服务端到底那个是先退出的??这个有什么区别吗??(死循环)

2,  为什么有的时候bind:address already in use一直存在???不是说好的2-4分钟吗,,(ctrl + z 和 ctrl + c)

3,  当bind:address already in use不是一直存在时(存在2-4分钟时),如何避免???(SO_REUSEADDR可以让当前的端口立即重用)

为了能让上面的问题更形象一点,好理解一点(下面我添加上了源代码)

服务端:

</b><a class=”ViewSource” title=”view plain” href=”http://blog.csdn.net/msdnwolaile/article/details/50743254#” target=”_blank”>view plain</a><span data-mod=”popu_168″><span data-mod=”popu_168″> <a class=”CopyToClipboard” title=”copy” href=”http://blog.csdn.net/msdnwolaile/article/details/50743254#” target=”_blank”>copy</a></span></span> <div><embed id=”ZeroClipboardMovie_1″ src=”http://static.blog.csdn.net/scripts/ZeroClipboard/ZeroClipboard.swf” type=”application/x-shockwave-flash” width=”18″ height=”18″ align=”middle” name=”ZeroClipboardMovie_1″></embed></div> </div> </div> <ol class=”dp-cpp” start=”1″> <li class=”alt”><span class=”preprocessor”>#include &lt;stdio.h&gt;                                                                                                                              </span></li> <li class=””><span class=”preprocessor”>#include &lt;sys/types.h&gt;</span></li> <li class=”alt”><span class=”preprocessor”>#include &lt;sys/socket.h&gt;</span></li> <li class=””><span class=”preprocessor”>#include &lt;stdlib.h&gt;</span></li> <li class=”alt”><span class=”preprocessor”>#include &lt;string.h&gt;</span></li> <li class=””><span class=”preprocessor”>#include &lt;arpa/inet.h&gt;</span></li> <li class=”alt”><span class=”preprocessor”>#include &lt;netinet/in.h&gt;</span></li> <li class=””><span class=”preprocessor”>#include &lt;netinet/ip.h&gt; /* superset of previous */</span></li> <li class=””><span class=”comment”>//#define INADDR_ANY  0</span></li> <li class=””><span class=”preprocessor”>#define ERR_EXIT(m)                    \</span></li> <li class=”alt”><span class=”keyword”>do</span>{                            \</li> <li class=””>                perror(m);             \</li> <li class=”alt”>                exit(EXIT_FAILURE);    \</li> <li class=””>        }<span class=”keyword”>while</span>(0)</li> <li class=”alt”><span class=”datatypes”>int</span> main(){</li> <li class=”alt”><span class=”datatypes”>int</span> listenfd;      <span class=”comment”>//socket返回值,类似于文件描述符,也成为套接字</span></li> <li class=””><span class=”keyword”>if</span>((listenfd = socket(AF_INET,  SOCK_STREAM,  IPPROTO_TCP)) &lt; 0)</li> <li class=”alt”>                ERR_EXIT(<span class=”string”>”SOCKET”</span>);</li> <li class=””><span class=”keyword”>struct</span>  sockaddr_in servaddr;                                <span class=”comment”>//inin IPv4</span></li> <li class=”alt”>        memset(&amp;servaddr,  0 , <span class=”keyword”>sizeof</span>(servaddr));                 <span class=”comment”>//inint memory</span></li> <li class=””>        servaddr.sin_family = AF_INET;</li> <li class=”alt”>        servaddr.sin_port   = htons(5188);</li> <li class=””>        servaddr.sin_addr.s_addr = htonl(INADDR_ANY);</li> <li class=”alt”><span class=”comment”>//      servaddr.sin_addr.s_addr = inet_addr(192.0.0.1);</span></li> <li class=””><span class=”comment”>//      inet_aton(“127.0.0.1″, &amp;servaddr.sin_addr);</span></li> <li class=””><span class=”keyword”>if</span>((bind(listenfd,  (<span class=”keyword”>struct</span> sockaddr*)&amp;servaddr,  <span class=”keyword”>sizeof</span>(servaddr))) &lt; 0 )     <span class=”comment”>//bind  serve and IPv4</span></li> <li class=”alt”>                ERR_EXIT(<span class=”string”>”bind”</span>);</li> <li class=””><span class=”keyword”>if</span> ((listen(listenfd, SOMAXCONN)) &lt; 0)                                 <span class=”comment”>//change  state (from initiative to passivity)</span></li> <li class=”alt”>                ERR_EXIT(<span class=”string”>”LISTEN”</span>);</li> <li class=”alt”><span class=”datatypes”>int</span> conn;                                                              <span class=”comment”>//accept’s  backvalue,is a connect socket</span></li> <li class=””><span class=”keyword”>struct</span> sockaddr_in peeraddr;</li> <li class=”alt”>        socklen_t peerlen = <span class=”keyword”>sizeof</span>(peeraddr);</li> <li class=””><span class=”keyword”>if</span>((conn = (accept(listenfd, (<span class=”keyword”>struct</span> sockaddr*)(&amp;peeraddr), &amp;peerlen))) &lt; 0)</li> <li class=”alt”>                ERR_EXIT(<span class=”string”>”accept”</span>);</li> <li class=””>        printf(<span class=”string”>”ip is %s,  port is %d\n”</span>, inet_ntoa(peeraddr.sin_addr), ntohs(peeraddr.sin_port));</li> <li class=”alt”><span class=”comment”>//      printf(“ip=%d\n”, ntohs(peeraddr.sin_port));</span></li> <li class=””><span class=”datatypes”>char</span> recvbuf[1024];</li> <li class=”alt”><span class=”keyword”>while</span>(1){</li> <li class=””>                memset(recvbuf, 0 , <span class=”keyword”>sizeof</span>(recvbuf));  <span class=”comment”>//inint  string</span></li> <li class=”alt”><span class=”datatypes”>int</span> ret = read(conn , recvbuf, <span class=”keyword”>sizeof</span>(recvbuf)); <span class=”comment”>//receive a string </span></li> <li class=””>                 printf(<span class=”string”>”服务端:%s”</span>, recvbuf);</li> <li class=”alt”><span class=”datatypes”>int</span> r = write(conn,  recvbuf, ret);</li> <li class=””>        }</li> <li class=”alt”>        close(conn);</li> <li class=””>        close(listenfd);</li> <li class=”alt”>}</li> </ol> </div> 客户端: <div class=”dp-highlighter bg_cpp”> <div class=”bar”> <div class=”tools”><b>

view plain copy

  1. #include <stdio.h>
  2. #include <sys/types.h>
  3. #include <sys/socket.h>
  4. #include <stdlib.h>
  5. #include <string.h>
  6. #include <arpa/inet.h>
  7. #include <netinet/in.h>
  8. #define ERR_EXIT(m)                    \
  9. do{                            \
  10.                 perror(m);             \
  11.                 exit(EXIT_FAILURE);    \
  12.         }while(0)
  13. int main(){
  14. int sock;      //socket返回值,类似于文件描述符,也成为套接字
  15. if((sock = socket(AF_INET,  SOCK_STREAM,  IPPROTO_TCP)) < 0)
  16.                 ERR_EXIT(“SOCKET”);
  17. struct  sockaddr_in servaddr;                                //inin IPv4
  18.         memset(&servaddr,  0 , sizeof(servaddr));                 //inint memory
  19.         servaddr.sin_family = AF_INET;
  20.         servaddr.sin_port  = htons(5188);
  21.         servaddr.sin_addr.s_addr  = inet_addr(“127.0.0.1”);
  22. //     inet_aton(“127.0.0.1”, &servaddr.sin_addr);
  23. if (connect(sock,  (struct sockaddr*)&servaddr, sizeof(servaddr)) < 0)
  24.                 ERR_EXIT(“CONNECT”);
  25. char sendrec[1024] = {0};
  26. char recerec[1024] = {0};
  27. while( fgets(sendrec  , sizeof(sendrec),  stdin) != NULL){
  28.                 write(sock , sendrec, strlen(sendrec));
  29.                 read(sock,   recerec, sizeof(recerec));
  30.                 printf(“客户端:  %s\n”, recerec);
  31.                 memset(sendrec , 0,  sizeof(sendrec));
  32.                 memset(recerec,  0,  sizeof(sendrec));
  33.         }
  34.         close(sock);
  35. }

1, 关于客户端还是服务端退出的先后顺序??

至于是服务器还是客户端是谁先启动的,这个应该比较确定,服务器首先启动,bind处于祯听状态(祯听连接的客户端的个数),accept接受来自客户端的数据请求,然后对数据进行处理,并把数据返回给客户端,倘使是客户端先启动的话,那么它发送的数据也就不能完全的保证服务端是不是打开,影响数据传输的准确性和安全性

UNIX网络编程(基本TCP套接字编程78页)给出了一个解释说的是:当我们关闭客户端后,客户端会发送一个数据(EOF,也就是-1),然后服务端通过read()函数收到这个数据,,知道了客户端已经退出,所以服务端也就推出了程序,并且调用相应的close操作。(个人理解)

我们来验证一下:

从上面可以看出来,完美的把数据发送到了服务端并把数据发送回来啦,

但是:如果我们先结束服务端呢??

从上图还可以看出:如果我们先结束了服务器(ctrl+c),那么客户端是不会立即退出的,可是在发一次数据便会自动退出,这是因为在正常通信中,服务器关闭了连接,那么客户端会正常接收到EOF,,如果对这个连接用epoll或者select进行监听,可以马上得知服务器关闭了连接。否则就定时向服务器发心跳探测,不然是不太可能得知服务器目前的状态的。之所以你现在不会立刻发现问题是因为服务器退出后,客户端需要靠下一次send才会触发问题,因为这时候连接已关闭,而客户端继续写,会产生SIGPIPE异常,而这个异常的默认动作是进程终止,所以你的客户端退出了。

如果:是我们的客户端先结束的呢??

同样的,从上图可以看出,当我们的客户端先结束后(ctrl + c),我们的服务器直接进入死循环,但是是为什么呢??

经过不断的查错:才发现是我们没有对服务端的while里面进行退出程序的处理,里面刚好有一个,printf打印的语句,所以会出现安一直循环的情况,我们把里面的语句改一下:

</b><a class=”ViewSource” title=”view plain” href=”http://blog.csdn.net/msdnwolaile/article/details/50743254#” target=”_blank”>view plain</a><span data-mod=”popu_168″><span data-mod=”popu_168″> <a class=”CopyToClipboard” title=”copy” href=”http://blog.csdn.net/msdnwolaile/article/details/50743254#” target=”_blank”>copy</a></span></span> <div><embed id=”ZeroClipboardMovie_3″ src=”http://static.blog.csdn.net/scripts/ZeroClipboard/ZeroClipboard.swf” type=”application/x-shockwave-flash” width=”18″ height=”18″ align=”middle” name=”ZeroClipboardMovie_3″></embed></div> </div> </div> <ol class=”dp-cpp” start=”1″> <li class=”alt”><span class=”keyword”>while</span>(1){</li> <li class=””>                 memset(recvbuf, 0 , <span class=”keyword”>sizeof</span>(recvbuf));</li> <li class=”alt”><span class=”datatypes”>int</span> ri = read(conn , recvbuf, <span class=”keyword”>sizeof</span>(recvbuf)); <span class=”comment”>//receive a stri</span></li> <li class=””><span class=”comment”>//              int ret = (sizeof(recvbuf));</span></li> <li class=”alt”><span class=”keyword”>if</span> ( ri == -1){</li> <li class=””>                              printf(<span class=”string”>”one client closed\n”</span>);</li> <li class=”alt”><span class=”keyword”>break</span>;</li> <li class=””>                        }</li> <li class=”alt”>                 printf(<span class=”string”>”服务端:%s,”</span>, recvbuf);</li> <li class=””><span class=”datatypes”>int</span> r = write(conn,  recvbuf, ri);</li> <li class=”alt”>                }</li> <li class=””>        }</li> </ol> </div> 嗯嗯,这回应该好啦(因为客户端结束后传回的是EOF,read是服务端接收客户端的消息,所以我们就让read等于-1)但是,但是,但是,不幸的是,这个语句还是没有起作用,就是说,当客户端结束后,服务端还是在死循环里面??这又是为什m,啊啊啊啊啊???(博主快爆炸了都!!!) 后来经过经过仔细的查资料,才发现这个:当客户端结束后,服务端read()函数返回的应该是0,而不是-1,, 所以我的程序有改了一改: <div class=”dp-highlighter bg_cpp”> <div class=”bar”> <div class=”tools”><b>

view plain copy

  1. while(1){
  2.                  memset(recvbuf, 0 , sizeof(recvbuf));
  3. int ri = read(conn , recvbuf, sizeof(recvbuf)); //receive a stri
  4. //              int ret = (sizeof(recvbuf));
  5. if ( ri == 0){
  6. break;
  7.                         }
  8.                  printf(“服务端:%s,”, recvbuf);
  9. int r = write(conn,  recvbuf, ri);
  10.                 }
  11.         }

嗯嗯,这样就好啦,可以对其进行处理了!!!!

当然,对于多个客户端的情况就是这样了:

  1. while(1){
  2. if((conn = (accept(listenfd, (struct sockaddr*)(&peeraddr), &peerlen))) < 0)
  3.                         ERR_EXIT(“accept”);
  4.                 printf(“ip is %s,  port is %d\n”, inet_ntoa(peeraddr.sin_addr), ntohs(peeraddr.sin_port));
  5. //              printf(“ip=%d\n”, ntohs(peeraddr.sin_port));
  6.                 pid = fork();
  7. if(pid == -1)
  8.                         ERR_EXIT(“fork”);
  9. else if(pid == 0){
  10.                         close(listenfd);
  11.                         do_service(conn);
  12.                         exit(1);
  13.                 }
  14. else
  15.                         close(conn);
  16.         }

我们上面程序里的do_service(conn)函数,其实就是之前提到的while,对数据进行具体的收发这里,为了完成多个客户端的访问情况,我们设置了进程(fork)

所以可以完全看到合理的结果,最左边的那个客户端退出了之后,服务端并没有退出,同样的,最右边的客户端还是可以收发数据的!!!

当然,一个客户端一个服务器的情况,同样的,对于多个客户端也是如此的,我们的某一个客户端退出并不会影响服务器的运行结果的,哈哈,对,就是这样!!!,举一个例子:我们好多人在同时访问百度服务器,但是,我们不能让某一个人退出这个页面,而导致其他的人的页面也退出啊!!!

2,  bind:address already in use一直存在,它就关不掉

首先,我们先声明:bind:address already in use的存在是合理的,在服务端终止之后,会有一个TIME_WAIT的状态,再次打开会出现:bind的

但是,服务器端可以尽可能的使用REUSEADDR(在绑定之前尽可能调用setsockopt来设置REUSEADDR)套接字选项,这样就可以使得不必等待TIME_WAIT状态就可以重启服务器了,也就是说:TIME_WAIT状态还是存在的,但是不影响我们重新启动服务器

 

下面讨论的情况还是一样:一个客户端,一个服务器,根据上面说的情况,还是服务端先退出,然后是客户端,但是为什么:bind:address  already  in  use 还是一直存在(即使我们等了好长时间),其实这个很简单,那只是因为我们在退出服务端或者客户端的时候,我们是用了 CTRL + Z,这个退出条件,跟CTRL+C搞混了!!!

CTRL+C:发送SIGINT信号给前台进程组中的所有进程。常用于终止正在运行的程序,强制中断程序的执行

CTRL+Z:发送SIGTSTP信号给前台进程组中的所有进程,常用于挂起一个进程,是将任务中断,但是此任务并没有结束,它仍然在进程中他只是维持挂起的状态,用户可以使用fg/bg操作继续前台或后台的任务,fg命令重新启动前台被中断的任务,bg命令把被中断的任务放在后台执行

通过我们上面所说的:可以使用这个命令查看状态

2,当我们用:CTRL+C结束时:

可以看到右下角:出现了TIME_WAIT

当我们想重新运行这两个程序时:就会出现(bind:address already in use)的情况(我们在两分钟以内运行)

但是,当我们等上个2-4分钟后,然后在运行,就又没有这种情况了,很好解释,那只是因为在一定的时间内这个端口还被占用着,没有来的及释放,但是2-4分钟后,端口释放完毕,所以可以正常的运行这个程序了

当我们用:CTRL+Z结束时:

 

同样的:我们可以看到右下角:出现的是ESTABLISHED,但是不一样的是,无论我们等多久,只要我们一运行这个服务端程序,必定会出现bind:address already in use,并且这个不会自动消失,除非我们杀死这个进程,或者我们进到程序里面改一下端口号

ESTABLISHED的意思是建立连接。表示两台机器正在通信

TIME_WAIT:我方主动调用close()断开连接,收到对方确认后状态变为TIME_WAIT。TCP协议规定TIME_WAIT状态会一直持续2MSL(即两倍的分 段最大生存期),以此来确保旧的连接状态不会对新连接产生影响。处于TIME_WAIT状态的连接占用的资源不会被内核释放,所以作为服务器,在可能的情 况下,尽量不要主动断开连接,以减少TIME_WAIT状态造成的资源浪费。目前有一种避免TIME_WAIT资源浪费的方法,就是关闭socket的LINGER选项。但这种做法是TCP协议不推荐使用的,在某些情况下这个操作可能会带来错误。

3,当我们用:setsockopt和SO_REUSEADDR时:充分的减少了等待时间,在一次的通讯完毕,可以直接再次的运行这个程序,这样就不会出现上面如:bind:address already in use

程序如下(在bind之前调用,提高端口的重用行):

运行结果:

可以看到我们可以直接运行,无压力,但是当我们用:netstat -an|grep TIME_WAIT时,还是显示TIME_WAIT,但这个并不影响我们的结果

2

MySQL JSON数据类型操作

概述

mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据时,还是比较别扭的。

创建一个JSON字段的表

首先先创建一个表,这个表包含一个json格式的字段:

CREATE TABLE table_name (
    id INT NOT NULL AUTO_INCREMENT, 
    json_col JSON,
    PRIMARY KEY(id)
);

上面的语句,主要注意json_col这个字段,指定的数据类型是JSON。

插入一条简单的JSON数据

INSERT INTO
    table_name (json_col) 
VALUES
    ('{"City": "Galle", "Description": "Best damn city in the world"}');

上面这个SQL语句,主要注意VALUES后面的部分,由于json格式的数据里,需要有双引号来标识字符串,所以,VALUES后面的内容需要用单引号包裹。

插入一条复杂的JSON数据

INSERT INTO table(col) 
VALUES('{"opening":"Sicilian","variations":["pelikan","dragon","najdorf"]}');

这地方,我们插入了一个json数组。主要还是注意单引号和双引号的问题。

修改JSON数据

之前的例子中,我们插入了几条JSON数据,但是如果我们想修改JSON数据里的某个内容,怎么实现了?比如我们向 variations 数组里增加一个元素,可以这样:

UPDATE myjson SET dict=JSON_ARRAY_APPEND(dict,'$.variations','scheveningen') WHERE id = 2;

这个SQL语句中,$符合代表JSON字段,通过.号索引到variations字段,然后通过JSON_ARRAY_APPEND函数增加一个元素。现在我们执行查询语句:

SELECT * FROM myjson

得到的结果是:

+----+-----------------------------------------------------------------------------------------+
| id | dict                                                                                    |
+---+-----------------------------------------------------------------------------------------+
| 2  | {"opening": "Sicilian", "variations": ["pelikan", "dragon", "najdorf", "scheveningen"]} |
+----+-----------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

关于MySQL中,JSON数据的获取方法,参照官方链接JSON Path Syntax

创建索引

MySQL的JSON格式数据不能直接创建索引,但是可以变通一下,把要搜索的数据单独拎出来,单独一个数据列,然后在这个字段上键一个索引。下面是官方的例子:

mysql> CREATE TABLE jemp (
    ->     c JSON,
    ->     g INT GENERATED ALWAYS AS (c->"$.id"),
    ->     INDEX i (g)
    -> );
Query OK, 0 rows affected (0.28 sec)

mysql> INSERT INTO jemp (c) VALUES
     >   ('{"id": "1", "name": "Fred"}'), ('{"id": "2", "name": "Wilma"}'),
     >   ('{"id": "3", "name": "Barney"}'), ('{"id": "4", "name": "Betty"}');
Query OK, 4 rows affected (0.04 sec)
Records: 4  Duplicates: 0  Warnings: 0

mysql> SELECT c->>"$.name" AS name
     >     FROM jemp WHERE g > 2;
+--------+
| name   |
+--------+
| Barney |
| Betty  |
+--------+
2 rows in set (0.00 sec)

mysql> EXPLAIN SELECT c->>"$.name" AS name
     >    FROM jemp WHERE g > 2\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: jemp
   partitions: NULL
         type: range
possible_keys: i
          key: i
      key_len: 5
          ref: NULL
         rows: 2
     filtered: 100.00
        Extra: Using where
1 row in set, 1 warning (0.00 sec)

mysql> SHOW WARNINGS\G
*************************** 1. row ***************************
  Level: Note
   Code: 1003
Message: /* select#1 */ select json_unquote(json_extract(`test`.`jemp`.`c`,'$.name'))
AS `name` from `test`.`jemp` where (`test`.`jemp`.`g` > 2)
1 row in set (0.00 sec)

这个例子很简单,就是把JSON字段里的id字段,单独拎出来成字段g,然后在字段g上做索引,查询条件也是在字段g上。

字符串转JSON格式

把json格式的字符串转换成MySQL的JSON类型:

SELECT CAST('[1,2,3]' as JSON) ;
SELECT CAST('{"opening":"Sicilian","variations":["pelikan","dragon","najdorf"]}' as JSON);

所有MYSQL JSON函数

Name Description
JSON_APPEND() Append data to JSON document
JSON_ARRAY() Create JSON array
JSON_ARRAY_APPEND() Append data to JSON document
JSON_ARRAY_INSERT() Insert into JSON array-> Return value from JSON column after evaluating path; equivalent to JSON_EXTRACT().
JSON_CONTAINS() Whether JSON document contains specific object at path
JSON_CONTAINS_PATH() Whether JSON document contains any data at path
JSON_DEPTH() Maximum depth of JSON document
JSON_EXTRACT() Return data from JSON document->> Return value from JSON column after evaluating path and unquoting the result; equivalent to JSON_UNQUOTE(JSON_EXTRACT()).
JSON_INSERT() Insert data into JSON document
JSON_KEYS() Array of keys from JSON document
JSON_LENGTH() Number of elements in JSON document
JSON_MERGE() Merge JSON documents, preserving duplicate keys. Deprecated synonym for JSON_MERGE_PRESERVE()
JSON_MERGE_PRESERVE() Merge JSON documents, preserving duplicate keys
JSON_OBJECT() Create JSON object
JSON_QUOTE() Quote JSON document
JSON_REMOVE() Remove data from JSON document
JSON_REPLACE() Replace values in JSON document
JSON_SEARCH() Path to value within JSON document
JSON_SET() Insert data into JSON document
JSON_TYPE() Type of JSON value
JSON_UNQUOTE() Unquote JSON value
JSON_VALID() Whether JSON value is valid

[抓]反击爬虫,前端工程师的脑洞可以有多大?

原文链接:https://juejin.im/entry/59deb55951882578c2084a63

1. 前言

对于一张网页,我们往往希望它是结构良好,内容清晰的,这样搜索引擎才能准确地认知它。
而反过来,又有一些情景,我们不希望内容能被轻易获取,比方说电商网站的交易额,教育网站的题目等。因为这些内容,往往是一个产品的生命线,必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。

2. 常见反爬虫策略

但是世界上没有一个网站,能做到完美地反爬虫。

如果页面希望能在用户面前正常展示,同时又不给爬虫机会,就必须要做到识别真人与机器人。因此工程师们做了各种尝试,这些策略大多采用于后端,也是目前比较常规单有效的手段,比如:

  • User-Agent + Referer检测
  • 账号及Cookie验证
  • 验证码
  • IP限制频次

而爬虫是可以无限逼近于真人的,比如:

  • chrome headless或phantomjs来模拟浏览器环境
  • tesseract识别验证码
  • 代理IP淘宝就能买到

所以我们说,100%的反爬虫策略?不存在的。
更多的是体力活,是个难易程度的问题。

不过作为前端工程师,我们可以增加一下游戏难度,设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。

3. 前端与反爬虫

3.1 font-face拼凑式

例子:猫眼电影

猫眼电影里,对于票房数据,展示的并不是纯粹的数字。
页面使用了font-face定义了字符集,并通过unicode去映射展示。也就是说,除去图像识别,必须同时爬取字符集,才能识别出数字。

并且,每次刷新页面,字符集的url都是有变化的,无疑更大难度地增加了爬取成本。

3.2 background拼凑式

例子:美团

与font的策略类似,美团里用到的是background拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。

并且不同页面,图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点,为何有重复字符就不是很懂。

页面A:

页面B:

3.3 字符穿插式

例子:微信公众号文章

某些微信公众号的文章里,穿插了各种迷之字符,并且通过样式把这些字符隐藏掉。
这种方式虽然令人震惊…但其实没有太大的识别与过滤难度,甚至可以做得更好,不过也算是一种脑洞吧。

对了,我的手机流量可以找谁报销吗?

3.4 伪元素隐藏式

例子:汽车之家

汽车之家里,把关键的厂商信息,做到了伪元素的content里。
这也是一种思路:爬取网页,必须得解析css,需要拿到伪元素的content,这就提升了爬虫的难度。

3.5 元素定位覆盖式

例子:去哪儿

还有热爱数学的去哪儿,对于一个4位数字的机票价格,先用四个i标签渲染,再用两个b标签去绝对定位偏移量,覆盖故意展示错误的i标签,最后在视觉上形成正确的价格…

这说明爬虫会解析css还不行,还得会做数学题。

3.6 iframe异步加载式

例子:网易云音乐

网易云音乐页面一打开,html源码里几乎只有一个iframe,并且它的src是空白的:about:blank。接着js开始运行,把整个页面的框架异步塞到了iframe里面…

不过这个方式带来的难度并不大,只是在异步与iframe处理上绕了个弯(或者有其他原因,不完全是基于反爬虫考虑),无论你是用selenium还是phantom,都有API可以拿到iframe里面的content信息。

3.7 字符分割式

例子:全网代理IP

在一些展示代理IP信息的页面,对于IP的保护也是大费周折。

他们会先把IP的数字与符号分割成dom节点,再在中间插入迷惑人的数字,如果爬虫不知道这个策略,还会以为自己成功拿到了数值;不过如果爬虫注意到,就很好解决了。

3.8 字符集替换式

例子:去哪儿移动侧

同样会欺骗爬虫的还有去哪儿的移动版。

html里明明写的3211,视觉上展示的却是1233。原来他们重新定义了字符集,3与1的顺序刚好调换得来的结果…