阿里云服务器建立LNMP环境小记

阿里云服务器建立LNMP环境小记
1添加账户work
useradd work
passwd work
2为work添加sudo权限
vim /etc/sudoers
添加 work ALL=(ALL) ALL
3 安装php环境

[转]PHP7 快速编译安装


4 安装nginx
sudo yum install nginx
5 配置nginx和php环境

[转]使用socket方式连接Nginx优化php-fpm性能


nginx 中 nginx.conf可以设置共存

    upstream php {
        server unix:/home/work/var/run/php.sock  weight=1 max_fails=2 fail_timeout=30s;
    }   

    upstream php7 {
        server unix:/home/work/var/run/php7.sock  weight=1 max_fails=2 fail_timeout=30s;
    }  

子配置的文件


server {
    listen 80;
    root /path/to;

    location @php {
        include fastcgi_params;
        fastcgi_param  SCRIPT_FILENAME "$document_root/index.php";
        fastcgi_pass php7;
    }   

    location ~ /robots\.(txt|php) {
        include fastcgi_params;
        fastcgi_param  SCRIPT_FILENAME "$document_root/robots.php";
        fastcgi_pass php;
    }   

    location ~ \.php$ {
        include fastcgi_params;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_pass php7;
        fastcgi_index index.php;
    }   


    location / { 
        try_files $uri @php;
    }   
}

php-fpm.conf

[www]
user = work
group = work
listen = /home/work/var/run/php7.sock

6安装mysql
sudo yum install -y mysql-server mysql mysql-deve
sudo service mysqld start
sudo chkconfig mysqld on
/usr/bin/mysqladmin -u root password ‘newpassword’
7安装redis和memcache

1CentOs安装redis和memcached扩展


因为是php7环境,用新的phpredis扩展
https://github.com/edtechd/phpredis

php中创建或读取文件中使用波浪号(~)的错误

PHP中fopen和mkdir等函数不能使用~。~是shell中获取用户根目录的简写,在使用fopen和mkdir()函数时,往往不识别~符号。所以应该采用getenv函数获取根目录。
fopen(“~/www/1.txt, “wb”); //失败

getenv(“HOME”);
详细信息
http://php.net/manual/zh/function.getenv.php
同时,全局变量有$_ENV,但是需要确认php.ini是否开启:

; This directive determines which super global arrays are registered when PHP
; starts up. G,P,C,E & S are abbreviations for the following respective super
; globals: GET, POST, COOKIE, ENV and SERVER. There is a performance penalty
; paid for the registration of these arrays and because ENV is not as commonly
; used as the others, ENV is not recommended on productions servers. You
; can still get access to the environment variables through getenv() should you
; need to.
; Default Value: "EGPCS"
; Development Value: "GPCS"
; Production Value: "GPCS";
; http://php.net/variables-order
variables_order = "GPCS"

如果有E则可以使用$_ENV,官方不推荐开启E,所以一般线上是使用不了$_ENV的。
另外:
php mkdir 创建目录也不能使用~,同样使用mkdir(getenv(“HOME”).”/xxx/xxx/”, 0777, true);就可以递归创建多级目录

[php]ORM

ORM:object relation mapping,即对象关系映射,简单的说就是对象模型和关系模型的一种映射。为什么要有这么一个映射?很简单,因为现在的开发语言基本都是oop的,但是传统的数据库却是关系型的。为了可以靠贴近面向对象开发,我们想要像操作对象一样操作数据库。
举个例子:获取一篇文章,传统的方式先要执行一个sql检索数据
select * from post where id = 1
然后输出标题和内容使用
echo $post[‘title’]; echo $post[‘content’];
上面的代码遇到面向对象强迫症者,他们会纠结死的。
所以他们想出了这个东西,在ORM里获取一篇文章可以这样:
$post = postTable::getInstance()->find(1);#会再内部执行select * from post where id = 1
然后输出:
echo $post->getTitle();
echo $post->getContent();
妈妈再也不用担心我的强迫症了^_^
高级点的应用,文章和分类是一对多关系、文章和标签是多对多关系
$cate = $post->getCategory(); //获取文章分类
echo $cate->getName(); //获取分类名
$tags = $post->getTags(); //获取一个文章的所有标签
是不是一个sql都没写就获取到我们需要的所有数据了?使用ORM可以完全不写sql而实现应用,这些ORM都替我们做了。
除此之外,orm还可以隔离底层数据库层,我们不需要关心我们使用的是mysql还是其他的关系型数据库。
我知道的orm: doctrine和propel
除了orm之外还有odm,即object document mapping,对象文档映射,使用文档数据库比如mongodb时使用

PHP内核探索:新垃圾回收机制说明

从一篇老博客中看到的,php5.3版本
原文地址:http://www.nowamagic.net/librarys/veda/detail/1582
在5.2及更早版本的PHP中,没有专门的垃圾回收器GC(Garbage Collection),引擎在判断一个变量空间是否能够被释放的时候是依据这个变量的zval的refcount的值,如果refcount为0,那么变量的空间可以被释放,否则就不释放,这是一种非常简单的GC实现。然而在这种简单的GC实现方案中,出现了意想不到的变量内存泄漏情况(Bug:http://bugs.php.net/bug.php?id=33595),引擎将无法回收这些内存,于是在PHP5.3中出现了新的GC,新的GC有专门的机制负责清理垃圾数据,防止内存泄漏。本文将详细的阐述PHP5.3中新的GC运行机制。
目前很少有详细的资料介绍新的GC,本文将是目前国内最为详细的从源码角度介绍PHP5.3中GC原理的文章。其中关于垃圾产生以及算法简介部分由笔者根据手册翻译而来,当然其中融入了本人的一些看法。手册中相关内容:Garbage Collection
什么算垃圾
首先我们需要定义一下“垃圾”的概念,新的GC负责清理的垃圾是指变量的容器zval还存在,但是又没有任何变量名指向此zval。因此GC判断是否为垃圾的一个重要标准是有没有变量名指向变量容器zval。
假设我们有一段PHP代码,使用了一个临时变量$tmp存储了一个字符串,在处理完字符串之后,就不需要这个$tmp变量了,$tmp变量对于我们来说可以算是一个“垃圾”了,但是对于GC来说,$tmp其实并不是一个垃圾,$tmp变量对我们没有意义,但是这个变量实际还存在,$tmp符号依然指向它所对应的zval,GC会认为PHP代码中可能还会使用到此变量,所以不会将其定义为垃圾。
那么如果我们在PHP代码中使用完$tmp后,调用unset删除这个变量,那么$tmp是不是就成为一个垃圾了呢。很可惜,GC仍然不认为$tmp是一个垃圾,因为$tmp在unset之后,refcount减少1变成了0(这里假设没有别的变量和$tmp指向相同的zval),这个时候GC会直接将$tmp对应的zval的内存空间释放,$tmp和其对应的zval就根本不存在了。此时的$tmp也不是新的GC所要对付的那种“垃圾”。那么新的GC究竟要对付什么样的垃圾呢,下面我们将生产一个这样的垃圾。
顽固垃圾的产生过程
如果读者已经阅读了变量内部存储相关的内容,想必对refcount和isref这些变量内部的信息有了一定的了解。这里我们将结合手册中的一个例子来介绍垃圾的产生过程:
1
在这么简单的一个代码中,$a变量内部存储信息为:a: (refcount=1, is_ref=0)=’new string’
当把$a赋值给另外一个变量的时候,$a对应的zval的refcount会加1。
1
此时$a和$b变量对应的内部存储信息为 a,b: (refcount=2, is_ref=0)=’new string’
当我们用unset删除$b变量的时候,$b对应的zval的refcount会减少1
1
对于普通的变量来说,这一切似乎很正常,但是在复合类型变量(数组和对象)中,会发生比较有意思的事情:
1 ‘life’, ‘number’ => 42);
3 ?>
a的内部存储信息为:
1 a: (refcount=1, is_ref=0)=array (
2 ‘meaning’ => (refcount=1, is_ref=0)=’life’,
3 ‘number’ => (refcount=1, is_ref=0)=42
4 )
数组变量本身($a)在引擎内部实际上是一个哈希表,这张表中有两个zval项 meaning和number,所以实际上那一行代码中一共生成了3个zval,这3个zval都遵循变量的引用和计数原则,用图来表示:

下面在$a中添加一个元素,并将现有的一个元素的值赋给新的元素:
1 ‘life’, ‘number’ => 42);
3 $a[‘life’] = $a[‘meaning’];
4 ?>
那么$a的内部存储为:
1 a: (refcount=1, is_ref=0)=array (
2 ‘meaning’ => (refcount=2, is_ref=0)=’life’,
3 ‘number’ => (refcount=1, is_ref=0)=42,
4 ‘life’ => (refcount=2, is_ref=0)=’life’
5 )
其中的meaning元素和life元素之指向同一个zval的:

现在,如果我们试一下,将数组的引用赋值给数组中的一个元素,有意思的事情就发生了:
1
这样$a数组就有两个元素,一个索引为0,值为字符one,另外一个索引为1,为$a自身的引用,内部存储如下:
1 a: (refcount=2, is_ref=1)=array (
2 0 => (refcount=1, is_ref=0)=’one’,
3 1 => (refcount=2, is_ref=1)=…
4 )
“…”表示1指向a自身,是一个环形引用:

这个时候我们对$a进行unset,那么$a会从符号表中删除,同时$a指向的zval的refcount减少1
1
那么问题也就产生了,$a已经不在符号表中了,用户无法再访问此变量,但是$a之前指向的zval的refcount变为1而不是0,因此不能被回收,这样产生了内存泄露:

这样,这么一个zval就成为了一个真是意义的垃圾了,新的GC要做的工作就是清理这种垃圾。
新的GC算法
为解决这种垃圾,产生了新的GC。
在PHP5.3版本中,使用了专门GC机制清理垃圾,在之前的版本中是没有专门的GC,那么垃圾产生的时候,没有办法清理,内存就白白浪费掉了。在PHP5.3源代码中多了以下文件:{PHPSRC}/Zend/zend_gc.h {PHPSRC}/Zend/zend_gc.c, 这里就是新的GC的实现,我们先简单的介绍一下算法思路,然后再从源码的角度详细介绍引擎中如何实现这个算法的。
在较新的PHP手册中有简单的介绍新的GC使用的垃圾清理算法,这个算法名为 Concurrent Cycle Collection in Reference Counted Systems , 这里不详细介绍此算法,根据手册中的内容来先简单的介绍一下思路:
首先我们有几个基本的准则:
1. 如果一个zval的refcount增加,那么此zval还在使用,不属于垃圾
2. 如果一个zval的refcount减少到0, 那么zval可以被释放掉,不属于垃圾
3. 如果一个zval的refcount减少之后大于0,那么此zval还不能被释放,此zval可能成为一个垃圾
只有在准则3下,GC才会把zval收集起来,然后通过新的算法来判断此zval是否为垃圾。那么如何判断这么一个变量是否为真正的垃圾呢?
简单的说,就是对此zval中的每个元素进行一次refcount减1操作,操作完成之后,如果zval的refcount=0,那么这个zval就是一个垃圾。这个原理咋看起来很简单,但是又不是那么容易理解,起初笔者也无法理解其含义,直到挖掘了源代码之后才算是了解。如果你现在不理解没有关系,后面会详细介绍,这里先把这算法的几个步骤描叙一下,首先引用手册中的一张图:

• A:为了避免每次变量的refcount减少的时候都调用GC的算法进行垃圾判断,此算法会先把所有前面准则3情况下的zval节点放入一个节点(root)缓冲区(root buffer),并且将这些zval节点标记成紫色,同时算法必须确保每一个zval节点在缓冲区中之出现一次。当缓冲区被节点塞满的时候,GC才开始开始对缓冲区中的zval节点进行垃圾判断。
• B:当缓冲区满了之后,算法以深度优先对每一个节点所包含的zval进行减1操作,为了确保不会对同一个zval的refcount重复执行减1操作,一旦zval的refcount减1之后会将zval标记成灰色。需要强调的是,这个步骤中,起初节点zval本身不做减1操作,但是如果节点zval中包含的zval又指向了节点zval(环形引用),那么这个时候需要对节点zval进行减1操作。
• C:算法再次以深度优先判断每一个节点包含的zval的值,如果zval的refcount等于0,那么将其标记成白色(代表垃圾),如果zval的refcount大于0,那么将对此zval以及其包含的zval进行refcount加1操作,这个是对非垃圾的还原操作,同时将这些zval的颜色变成黑色(zval的默认颜色属性)。
• D:遍历zval节点,将C中标记成白色的节点zval释放掉。
这ABCD四个过程是手册中对这个算法的介绍,这还不是那么容易理解其中的原理,这个算法到底是个什么意思呢?我自己的理解是这样的:
比如还是前面那个变成垃圾的数组$a对应的zval,命名为zval_a, 如果没有执行unset, zval_a的refcount为2,分别由$a和$a中的索引1指向这个zval。 用算法对这个数组中的所有元素(索引0和索引1)的zval的refcount进行减1操作,由于索引1对应的就是zval_a,所以这个时候zval_a的refcount应该变成了1,这样zval_a就不是一个垃圾。如果执行了unset操作,zval_a的refcount就是1,由zval_a中的索引1指向zval_a,用算法对数组中的所有元素(索引0和索引1)的zval的refcount进行减1操作,这样zval_a的refcount就会变成0,于是就发现zval_a是一个垃圾了。 算法就这样发现了顽固的垃圾数据。
举了这个例子,读者大概应该能够知道其中的端倪:
对于一个包含环形引用的数组,对数组中包含的每个元素的zval进行减1操作,之后如果发现数组自身的zval的refcount变成了0,那么可以判断这个数组是一个垃圾。
这个道理其实很简单,假设数组a的refcount等于m, a中有n个元素又指向a,如果m等于n,那么算法的结果是m减n,m-n=0,那么a就是垃圾,如果m>n,那么算法的结果m-n>0,所以a就不是垃圾了。
m=n代表什么? 代表a的refcount都来自数组a自身包含的zval元素,代表a之外没有任何变量指向它,代表用户代码空间中无法再访问到a所对应的zval,代表a是泄漏的内存,因此GC将a这个垃圾回收了。
在PHP中,GC默认是开启的,你可以通过ini文件中的 zend.enable_gc 项来开启或则关闭GC。当GC开启的时候,垃圾分析算法将在节点缓冲区(roots buffer)满了之后启动。缓冲区默认可以放10,000个节点,当然你也可以通过修改Zend/zend_gc.c中的GC_ROOT_BUFFER_MAX_ENTRIES 来改变这个数值,需要重新编译链接PHP。当GC关闭的时候,垃圾分析算法就不会运行,但是相关节点还会被放入节点缓冲区,这个时候如果缓冲区节点已经放满,那么新的节点就不会被记录下来,这些没有被记录下来的节点就永远也不会被垃圾分析算法分析。如果这些节点中有循环引用,那么有可能产生内存泄漏。之所以在GC关闭的时候还要记录这些节点,是因为简单的记录这些节点比在每次产生节点的时候判断GC是否开启更快,另外GC是可以在脚本运行中开启的,所以记录下这些节点,在代码运行的某个时候如果又开启了GC,这些节点就能被分析算法分析。当然垃圾分析算法是一个比较耗时的操作。
在PHP代码中我们可以通过gc_enable()和gc_disable()函数来开启和关闭GC,也可以通过调用gc_collect_cycles()在节点缓冲区未满的情况下强制执行垃圾分析算法。这样用户就可以在程序的某些部分关闭或则开启GC,也可强制进行垃圾分析算法。
新的GC算法的性能
1. 防止泄漏节省内存
新的GC算法的目的就是为了防止循环引用的变量引起的内存泄漏问题,在PHP中GC算法,当节点缓冲区满了之后,垃圾分析算法会启动,并且会释放掉发现的垃圾,从而回收内存,在PHP手册上给了一段代码和内存使用状况图:
01 self = $a;
13 if ( $i % 500 === 0 )
14 {
15 echo sprintf( ‘%8d: ‘, $i ), memory_get_usage() – $baseMemory,”/n”;
16 }
17 }
18 ?>

这段代码的循环体中,新建了一个对象变量,并且用对象的一个成员指向了自己,这样就形成了一个循环引用,当进入下一次循环的时候,又一次给对象变量重新赋值,这样会导致之前的对象变量内存泄漏,在这个例子里面有两个变量泄漏了,一个是对象本身,另外一个是对象中的成员self,但是这两个变量只有对象会作为垃圾收集器的节点被放入缓冲区(因为重新赋值相当于对它进行了unset操作,满足前面的准则3)。在这里我们进行了100,000次循环,而GC在缓冲区中有10,000节点的时候会启动垃圾分析算法,所以这里一共会进行10次的垃圾分析算法。从图中可以清晰的看到,在5.3版本PHP中,每次GC的垃圾分析算法被触发后,内存会有一个明显的减少。而在5.2版本的PHP中,内存使用量会一直增加。
2. 运行效率影响
启用了新的GC后,垃圾分析算法将是一个比较耗时的操作,手册中给了一段测试代码:
01 self = $a;
11 }
12
13 echo memory_get_peak_usage(), “/n”;
14 ?>
然后分别在GC开启和关闭的情况下执行这段代码:
1 time php -dzend.enable_gc=0 -dmemory_limit=-1 -n example2.php
2 # and
3 time php -dzend.enable_gc=1 -dmemory_limit=-1 -n example2.php
最终在该机器上,第一次执行大概使用10.7秒,第二次执行大概使用11.4秒,性能大约降低7%,不过内存的使用量降低了98%,从931M降低到了10M。当然这并不是一个比较科学的测试方法,但是也能说明一定的问题。这种代码测试的是一种极端恶劣条件,实际代码中,特别是在WEB的应用中,很难出现大量循环引用,GC的分析算法的启动不会这么频繁,小规模的代码中甚至很少有机会启动GC分析算法。
总结:
当GC的垃圾分析算法执行的时候,PHP脚本的效率会受到一定的影响,但是小规模的代码一般不会有这个机会运行这个算法。如果一旦脚本中GC分析算法开始运行了,那么将花费少量的时间节省出来了大量的内存,是一件非常划算的事情。新的GC对一些长期运行的PHP脚本效果更好,比如PHP的DAEMON守护进程,或则PHP-GTK进程等等。

[php] 解决curl_multi_exec死循环

之前用curl_multi_exec发现了死循环,用gdb和phptrace发现代码

1453203650.447791                  curl_multi_exec(resource(curl_multi)#1159, 1) at [/home/work/www/OpenSyncModel.php:1460]
1453203650.447858                  curl_multi_exec  =>  0   wt: 0.000067 ct: 0.000000
1453203650.447873                  curl_multi_exec(resource(curl_multi)#1159, 1) at [/home/work/www /OpenSyncModel.php:1457]
1453203650.447881                  curl_multi_exec  =>  0   wt: 0.000008 ct: 0.000000
1453203650.447886                  curl_multi_select(resource(curl_multi)#1159) at [/home/work/www /OpenSyncModel.php:1458]
1453203651.448945                  curl_multi_select  =>  0   wt: 1.001059 ct: 0.000000
do {            
curl_multi_exec($mh, $active);
        } while ($active > 0);

死循环在这里。发现$active 一直为1
查了下php.net推荐这样用

        
        
        do{
            $mrc = curl_multi_exec($mh, $active);
        }while($mrc == CURLM_CALL_MULTI_PERFORM);
             
        while ($active && $mrc == CURLM_OK){
            // add this line to avoid dead loop
            while (curl_multi_exec($mh, $active) === CURLM_CALL_MULTI_PERFORM);      
            if (curl_multi_select($mh) != -1) {
                do{
                    $mrc = curl_multi_exec($mh, $active);
                }while($mrc == CURLM_CALL_MULTI_PERFORM);
            }
        }

也是参考了博客http://blog.marchtea.com/archives/109,添加了一行
while (curl_multi_exec($mh, $active) === CURLM_CALL_MULTI_PERFORM);
博客的大概内容为:
原因探究
原来在10.8.5的时候,代码是能运行的,而且在linux中运行也很正常,因此,结果之后可能是php或者是相应依赖随着系统变化引起的问题.观察命名也能知道curl_multi_select其背后是基于libcurl进行实现的.而两个系统的libcurl版本也确实不同.
通过查看curl_multi_exec,有个用户的回复引起了注意.
Alex Palmer 10 months ago
On php 5.3.18+ be aware that curl_multi_select() may return -1 forever until you call curl_multi_exec(). See https://bugs.php.net/bug.php?id=63411 for more information.
查看bug列表,发现了原作者的回答:
[2012-11-03 03:42 UTC] pierrick@php.net
I’m not sure we really want to wait 1 second for nothing in this specific case. Furthermore, as mentioned in my commit message, when libcurlreturns -1 in max_fd after calling curl_multi_fdset, it is because libcurl currently does something that isn’t possible for your application to monitor with a socket and unfortunately you can then not know exactly when the current action is completed using select().
I would personally keep the current behaviour.
所以显然是curl_multi_select一直返回了-1,导致了程序进入了死循环,卡死掉了.而这个是进入了php5.3.8以后,做出的改变.

改了之后发现还是在死循环中,看到php.net有一种简单可靠的方法

do {
            curl_multi_exec($mh, $active);
            curl_multi_select($mh);
        } while ($active > 0);

执行了一下,貌似问题解决了。
TODO:
1, 究竟是什么原因倒是死循环一直没查到
2, Gdb使用方法

后记:
curl_init时要设置
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 2);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
否则会一直连接
具体默认值请看:http://php.net/manual/zh/function.curl-setopt.php

STOMP协议介绍

STOMP,Streaming Text Orientated Message Protocol,是流文本定向消息协议,是一种为MOM(Message Oriented Middleware,面向消息的中间件)设计的简单文本协议。

它提供了一个可互操作的连接格式,允许STOMP客户端与任意STOMP消息代理(Broker)进行交互,类似于OpenWire(一种二进制协议)。

由于其设计简单,很容易开发客户端,因此在多种语言和多种平台上得到广泛应用。其中最流行的STOMP消息代理是Apache ActiveMQ。

STOMP协议工作于TCP协议之上,使用了下列命令:

* SEND 发送
* SUBSCRIBE 订阅
* UNSUBSCRIBE 退订
* BEGIN 开始
* COMMIT 提交
* ABORT 取消
* ACK 确认
* DISCONNECT 断开
php安装了stomp.so扩展后就可以建立连接了。
具体扩展函数可参考http://php.net/manual/zh/book.stomp.php

[nodejs]基础知识

Node能做什么和它的优势
  Node核心思想:  1.非阻塞;  2.单线程;  3.事件驱动。
  在目前的web应用中,客户端和服务器端之间有些交互可以认为是基于事件的,那么AJAX就是页面及时响应的关键。每次发送一个请求时(不管请求的数据多么小),都会在网络里走一个来回。服务器必须针对这个请求作出响应,通常是开辟一个新的进程。那么越多用户访问这个页面,所发起的请求个数就会越来越多,就会出现内存溢出、逻辑交错带来的冲突、网络瘫痪、系统崩溃这些问题。
  Node的目标是提供一种构建可伸缩的网络应用的方案,在hello world例子中,服务器可以同时处理很多客户端连接。
  Node和操作系统有一种约定,如果创建了新的链接,操作系统就将通知Node,然后进入休眠。如果有人创建了新的链接,那么它(Node)执行一个回调,每一个链接只占用了非常小的(内存)堆栈开销。   
  举一个简单的异步调用的例子,把test.js和myMydule.js准备好了,^_^。把以下代码拷贝到test.js中并执行:

  var fs = require(‘fs’);
  fs.readFile(‘./myModule.js’, function (err, data) {
    if (err) throw err;
    console.log(‘successfully’);
  });
  console.log(‘async’);

  所谓的异步,大家应该都能想得到运行时会先打先显示”async”,再显示”successfully”。
  Node是无阻塞的,新请求到达服务器时,不需要为这个请求单独作什么事情。Node仅仅是在那里等待请求的发生,有请求就处理请求。
  Node更擅长处理体积小的请求以及基于事件的I/O。
  Node不仅仅是做一个Web服务的框架,它可以做更多,比如它可以做Socket服务,可以做比方说基于文件的,然后基于像一些比方说可以有子进程,然后内部的,它是一个很完整的事件机制,包括一些异步非注射的解决方案,而不仅仅局限在网络一层。同时它可能,即使作为一个Web服务来说,它也提供了更多可以深入这个服务内核、核心的一些功能,比方说Node使用的Http Agent,这块就是它可以更深入这个服务内核来去做一些功能。

Node事件流概念
  因为Node 采用的是事件驱动的模式,其中的很多模块都会产生各种不同的事件,可由模块来添加事件处理方法,所有能够产生事件的对象都是事件模块中的 EventEmitter 类的实例。代码是全世界通用的语言,所以我们还是用代码说话:

  var events = require(“events”);
  var emitter = new events.EventEmitter();
  emitter.on(“myEvent”, function(msg) {
    console.log(msg);
  });
  emitter.emit(“myEvent”, “Hello World.”);

  简单的分析这段:
   1. 使用require()方法添加了events模块并把返回值赋给了一个变量
   2. new events.EventEmitter()这句创建了一个事件触发器,也就是所谓的事件模块中的 EventEmitter 类的实例
   3. on(event, listener)用来为某个事件 event 添加事件处理方法监听器
   4. emit(event, [arg1], [arg2], […]) 方法用来产生事件。以提供的参数作为监听器函数的参数,顺序执行监听器列表中的每个监听器函数。

  EventEmitter 类中的方法都与事件的产生和处理相关:
   1. addListener(event, listener) 和 on(event, listener) 这两个方法都是将一个监听器添加到指定事件的监听器数组的末尾
   2. once(event, listener) 这个方法为事件为添加一次性的监听器。该监听器在事件第一次触发时执行,过后将被移除
   3. removeListener(event, listener) 该方法用来将监听器从指定事件的监听器数组中移除出去
   4. emit(event, [arg1], [arg2], […]) 刚刚提到过了。
  在Node中,存在各式各样不同的数据流,Stream(流)是一个由不同对象实现的抽象接口。例如请求HTTP服务器的request是一个流,类似于stdout(标准输出);包括文件系统、HTTP 请求和响应、以及 TCP/UDP 连接等。流可以是可读的,可写的,或者既可读又可写。所有流都是EventEmitter的实例,因此可以产生各种不同的事件。
  可读流主要会产生以下事件:
• data 当读取到流中的数据时,此事件被触发
• end 当流中没有数据可读时,此事件被触发
• error 当读取数据出现错误时,此事件被触发
• close 当流被关闭时,,此事件被触发,可是并不是所有流都会触发这个事件。(例如,一个连接进入的HTTP request流就不会触发’close’事件。)
  还有一种比较特殊的 fd 事件,当在流中接收到一个文件描述符时触发此事件。只有UNIX流支持这个功能,其他类型的流均不会触发此事件。
  相关详细文档:http://cnodejs.org/cman/all.html#events_

强大的File System 文件系统模块
  Node 中的 fs 模块用来对本地文件系统进行操作。文件的I/O是由标准POSIX函数封装而成。需要使用require(‘fs’)访问这个模块。所有的方法都提供了异步和同步两种方式。
  fs 模块中提供的方法可以用来执行基本的文件操作,包括读、写、重命名、创建和删除目录以及获取文件元数据等。每个操作文件的方法都有同步和异步两个版本。
  异步操作的版本都会使用一个回调方法作为最后一个参数。当操作完成的时候,该回调方法会被调用。而回调方法的第一个参数总是保留为操作时可能出现的异常。如果操作正确成功,则第一个参数的值是 null 或 undefined 。
  同步操作的版本的方法名称则是在对应的异步方法之后加上一个 Sync 作为后缀。比如异步的 rename() 方法的同步版本是 renameSync() 。下面列出来了 fs 模块中的一些常用方法,都只介绍异步操作的版本。
  test.js和myModule.js文件准备好了木?把下面这段代码copy到test.js中执行一次
  var fs = require(‘fs’);
  fs.unlink(‘./myModule.js’, function (err) {
    if (err) throw err;
    console.log(‘successfully deleted myModule.js’);
  });
  如果没有报error,那么myModule.js就被删除了,就是这么简单

[转] PHP7与Swoole

原文链接:http://rango.swoole.com/archives/440
在过去PHP一直以开发效率快著称,而语言本身的性能较差(当然比Python,Ruby还是要快一些的)。普通的Web网站都是IO密集型的程序,瓶颈在MySQL上,所以体现不出PHP的性能劣势。但在密集计算方面比C/C++、Java等静态编译语言差几十倍甚至上百倍。另外使用设计非常复杂的开发框架,如Symfony、Laravel等,程序性能也会明显下降。
现在随着PHP越来越流行,像Facebook、新浪微博这样超大型规模的网站都在使用PHP。PHP语言性能问题就越来越严重了。Facebook有几十万台服务器,如果现有的PHP程序可以提升一部分性能,将会节约大量的服务器资源。所以就有了HHVM、Hack。Hack为PHP增加了类型,HHVM是一个重新设计的PHP引擎,实际项目中使用HHVM可以提近70%的性能。实际项目70%性能提升这是一个什么概念?腾讯QQ农场最初使用PHP开发,后因为性能问题使用C语言重构,完成后性能提升了100%。
PHP官方也注意到了这个问题,所以就有了PHP7的开发计划。最新公布的PHP7-alpha在WordPress项目中测试的表现已经超越了HHVM。未来PHP将会同时具备极高的开发效率和极高的性能,再结合Swoole做异步编程,PHP势必会更加流行。
本文简单介绍一下PHP7做了哪些优化,可以提升如此多性能。
一 zval使用栈内存
在Zend引擎和扩展中,经常要创建一个PHP的变量,底层就是一个zval指针。之前的版本都是通过MAKE_STD_ZVAL动态的从堆上分配一个zval内存。而PHP7可以直接使用栈内存。PHP代码中创建的变量也进行了优化,PHP7直接在栈内存上预分配zval。这样节约了大量内存分配和内存管理的操作。
PHP5
zval *val; MAKE_STD_ZVAL(val);
PHP7
zval val;
二 zend_string存储hash值,array查询不再需要重复计算hash
PHP7为字符串单独创建了新类型叫做zend_string,除了char *指针和长度之外,增加了一个hash字段,用于保存字符串的hash值。PHP中array是核心数据结构,PHP程序中往往都有大量的$array[$key]操作,虽然hashtable查找的时间复杂度是O(1),但$key要转为hash值是要经过计算的。不仅仅是array操作,实际上PHP底层对于类属性、类方法、函数,访问时都要先通过hashtable查找到对应的指针,再执行对应的操作。PHP7之前Zend引擎会有大量的CPU时间用于计算hash值。
实际上PHP程序运行起来之后,大部分情况下$key的值都是不变的。PHP7干脆将这个hash值保存起来,下次直接使用,这样就节省了大量的hash计算操作,PHP的hashtable与C数组的性能一致。

从实际项目进行callgrind性能分析,会发现alloc和hash 2项操作就占用了相当大比例的CPU时间。PHP7优化之后这2项操作占用的CPU时间降低了非常多。(注:zend_hash仍然占12%,因为整体CPU降低了,所以总的耗时降低了不少)

三 hashtable桶内直接存数据
PHP5的hashtable每个元素都是一个 Bucket *,而PHP7直接存Bucket,减少了内存申请次数,提升了Cache命中率和内存访问速度。
四 zend_parse_parameters改为宏实现
PHP的C扩展函数与PHP中的变量进行参数输入时,要使用zend_parse_parameters()函数,这个函数根据一个字符串参数找到对应PHP的zval指针,然后进行赋值。 这个函数实际上有一定的性能消耗。PHP7直接使用宏替换了zend_parse_parameters函数,C扩展中不再需要使用zend_parse_parameters进行逐个参数的查找,宏展开后自动会实现参数赋值。仅此一项就提升了5%的性能。
五 新增加4种OPCODE
很多PHP程序中会大量使用call_user_function, is_int/string/array, strlen , defined 函数。PHP5 都是以扩展函数的方式提供,PHP7中这4类函数改成ZendVM的OPCODE指令,执行更快。
六 其他更多优化
除了上面5个主要优化点之外,PHP7还有其他更多的细节性能优化。如基础类型int、float、bool等改为直接进行值拷贝,排序算法改进,PCRE with JIT,execute_data和opline使用全局寄存器等等。PHP7对性能的优化会继续进行下去。
PHP7-alpha相比PHP5.6性能提升了近3倍。下面是WordPress在PHP7上的表现:

PHP7的新特性
除了性能优化外,PHP7新增加了2项重要的新特性。
1. 变量类型
PHP7版本函数的参数和返回值增加了类型限定。为什么PHP要加入类型,实际上此项特性是为了PHP7.1版本的JIT特性做准备,增加类型后PHP JIT可以准确判断变量类型,生成最佳的机器指令。
function test(int $a, string $b, array $c) : int {
//code
}
2. 错误异常
PHP程序出错后过去Zend引擎会发生致命错误并终止程序运行,PHP7可以使用try/catch捕获错误。底层使用Exeception代替了Fatal Error。这个特性表示PHP语言正在向一个更加规范的方向发展。应用层与底层在错误抛出的方式全部统一为异常。
try {
non_exists_func();
} catch (EngineException $e) {
echo “Exception: {$e->getMessage()}\n”;
}
3. 匿名类
$test = new class(“Hello World”) {
public function __construct($greeting) {
$this->greeting = $greeting;
}
};
PHP7与JIT
最初PHP7性能优化的方向并不是以上所讲的,而是JIT。JIT是just in time的缩写,表示运行时将指令转为二进制机器码。Java语言的JVM引擎底层就是使用JIT将Java字节码编译为二进制机器码执行。PHP7开发过程中有一个中间版本是基于JIT,后来开发组发现使用JIT后,对于实际项目并没有有太大的性能提升,所以PHP7最终放弃了JIT方案,PHP7.0-final版本不会携带JIT特性。
但如果是密集计算类程序就不同了,使用JIT将PHP OpCode编译为机器码,运算的性能会大幅提升。PHP官方开发组在2014年底重启了JIT的开发工作。
PHP的异步网络通信扩展Swoole
PHP在大部分程序员印象中都是用来做Web网站的。PHP没有像Python的Twisted、Tornado,Java的Netty、Mina,JavaScript的Node.js等框架,无法实现异步网络通信程序。PHP的Swoole扩展就是为了弥补此项缺陷而诞生的开源项目。Swoole是一个标准的PHP扩展,为PHP提供了一系列异步IO、事件驱动、并行数据结构功能。
Swoole与Node.js非常相似,不同之处是Swoole在并行提供了底层支持。Node.js是一个单进程单线程的程序,在多核服务器上无法发挥全部CPU核的计算能力。需要程序员自行使用child_process/cluster扩展或者启动多实例,使程序能够利用到多核优势。而Swoole在底层就支持了多线程/多进程,程序启动后就会创建好多个IO线程和多个Worker进程。程序员仅需配置线程/进程数量即可。
使用Swoole开发的TCP服务器程序:
$serv = new swoole_server(“127.0.0.1”, 9501);

$serv->on(‘connect’, function ($serv, $fd){
echo “Client:Connect.\n”;
});

$serv->on(‘receive’, function ($serv, $fd, $from_id, $data) {
$serv->send($fd, $data);
});

$serv->on(‘close’, function ($serv, $fd) {
echo “Client: Close.\n”;
});

$serv->start();
Swoole同样也内置了http_server和WebSocket服务器的支持。swoole_http_server与传统的php-fpm不同,它是在PHP内进行事件循环的,基于swoole_http_server完全可以开发出类似Java应用服务器一样,可以控制完整对象生命周期的程序。swoole_http_server天然支持异步IO,可以很方便的实现支持大量TCP连接的Comet服务。swoole_websocket_server可以用来实现支持Web实时推送的程序。
使用Swoole的Web服务器程序:

$http = new swoole_http_server(“0.0.0.0”, 9501);

$http->on(‘request’, function ($request, $response) {
$response->header(“Content-Type”, “text/html; charset=utf-8″);
$response->end(”

Hello Swoole. #”.rand(1000, 9999).”

“);
});

$http->start();
PHP的未来
可以预见PHP语言未来会在性能方面有明显的提升,越来越接近C/C++、Java等静态编译语言。再加上Swoole扩展,PHP的使用范围可以扩展到移动通信、云计算、网络游戏、物联网、车联网、智能家居等领域。
PHP虽然未必是最好的编程语言,但PHP在向着这个方向在发展。

关于php7的cow bug

论坛上有报php7中仍然存在cow问题的bug

        $a = array(1,2,3);
        $b = array(1,2,3);
          
        $a[1] = "Long";
        $b[1] = "time";
          
        $x =& $b[1]; // 引用$b的一个元素,如果是直接引用$b 不会出错
          
        $c = $b; // 还是赋值。但是,这回真的还是按值拷贝吗?
          
        $c[1] = "no";
          
          
        print '$a='; print_r($a);
        print '$b='; print_r($b);    // bug
        print '$c='; print_r($c);
          
        unset($x); // 不再引用数组元素。
        unset($b); // 删除$b,减少一个引用。
          
        $d = $c; // 还是赋值。现在又是怎么拷贝呢?
          
        $d[1] = "see";
          
        print '$c='; print_r($c);    // $c和$d不影响。
        print '$d='; print_r($d);    //正常的拷贝

试了一下,还真存在问题。有兴趣的同学可以打印结果看下

[转]XSS攻击及防御

XSS又称CSS,全称Cross SiteScript,跨站脚本攻击,是Web程序中常见的漏洞,XSS属于被动式且用于客户端的攻击方式,所以容易被忽略其危害性。其原理是攻击者向有XSS漏洞的网站中输入(传入)恶意的HTML代码,当其它用户浏览该网站时,这段HTML代码会自动执行,从而达到攻击的目的。如,盗取用户Cookie、破坏页面结构、重定向到其它网站等。
XSS攻击
XSS攻击类似于SQL注入攻击,攻击之前,我们先找到一个存在XSS漏洞的网站,XSS漏洞分为两种,一种是DOM Based XSS漏洞,另一种是Stored XSS漏洞。理论上,所有可输入的地方没有对输入数据进行处理的话,都会存在XSS漏洞,漏洞的危害取决于攻击代码的威力,攻击代码也不局限于script。
DOM Based XSS
DOM Based XSS是一种基于网页DOM结构的攻击,该攻击特点是中招的人是少数人。
场景一:
当我登录a.com后,我发现它的页面某些内容是根据url中的一个叫content参数直接显示的,猜测它测页面处理可能是这样,其它语言类似:
<%@ page language="java"contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%>



XSS测试


页面内容:<%=request.getParameter("content")%>


我知道了Tom也注册了该网站,并且知道了他的邮箱(或者其它能接收信息的联系方式),我做一个超链接发给他,超链接地址为:http://www.a.com?content=,当Tom点击这个链接的时候(假设他已经登录a.com),浏览器就会直接打开b.com,并且把Tom在a.com中的cookie信息发送到b.com,b.com是我搭建的网站,当我的网站接收到该信息时,我就盗取了Tom在a.com的cookie信息,cookie信息中可能存有登录密码,攻击成功!这个过程中,受害者只有Tom自己。那当我在浏览器输入a.com?content=,浏览器展示页面内容的过程中,就会执行我的脚本,页面输出xss字样,这是攻击了我自己,那我如何攻击别人并且获利呢?
Stored XSS
Stored XSS是存储式XSS漏洞,由于其攻击代码已经存储到服务器上或者数据库中,所以受害者是很多人。
场景二:
a.com可以发文章,我登录后在a.com中发布了一篇文章,文章中包含了恶意代码,,保存文章。这时Tom和Jack看到了我发布的文章,当在查看我的文章时就都中招了,他们的cookie信息都发送到了我的服务器上,攻击成功!这个过程中,受害者是多个人。
Stored XSS漏洞危害性更大,危害面更广。
XSS防御
我们是在一个矛盾的世界中,有矛就有盾。只要我们的代码中不存在漏洞,攻击者就无从下手,我们要做一个没有缝的蛋。XSS防御有如下方式。
完善的过滤体系
永远不相信用户的输入。需要对用户的输入进行处理,只允许输入合法的值,其它值一概过滤掉。
Html encode
假如某些情况下,我们不能对用户数据进行严格的过滤,那我们也需要对标签进行转换。
less-than character (<) < greater-than character (>) >
ampersand character (&) &
double-quote character (“) "
space character( )  
Any ASCII code character whose code is greater-than or equal to 0x80 &#, where is the ASCII character value.
比如用户输入:,保存后最终存储的会是:<script>window.location.href="http://www.baidu.com"</script>在展现时浏览器会对这些字符转换成文本内容显示,而不是一段可执行的代码。
其它
下面提供两种Html encode的方法。
• 使用Apache的commons-lang.jar
StringEscapeUtils.escapeHtml(str);// 汉字会转换成对应的ASCII码,空格不转换
• 自己实现转换,只转换部分字符
private static String htmlEncode(char c) {
switch(c) {
case ‘&’:
return”&”;
case ‘<': return"<"; case '>‘:
return”>”;
case ‘”‘:
return”"”;
case ‘ ‘:
return” “;
default:
return c +””;
}
}

/** 对传入的字符串str进行Html encode转换 */
public static String htmlEncode(String str) {
if(str ==null || str.trim().equals(“”)) return str;
StringBuilder encodeStrBuilder = new StringBuilder();
for (int i = 0, len = str.length(); i < len; i++) { encodeStrBuilder.append(htmlEncode(str.charAt(i))); } return encodeStrBuilder.toString(); }