Yaron's Blog » PHP高级应用 http://yaron.org.cn About PHP MYSQL JS WEB FreeBSD etc. Sat, 31 Jul 2010 13:54:50 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 Askeet教程所遇问题备忘 http://yaron.org.cn/archives/128 http://yaron.org.cn/archives/128#comments Sun, 26 Apr 2009 14:35:41 +0000 Yaron http://yaron.org.cn/archives/128 Read the Rest...
]]>       在根据Askeet教程学习Symfony时，有遇到这样一个问题：Unable to find path for class "francoisPeer"，笔者经过仔细研究，终于发现问题所在。

错误代码：

D:\workspace\askeet\batch>php load_data.php
PHP Fatal error:  Uncaught exception ’sfException’ with message ‘Unable to find path for class "francoisPeer".’ in D:\workspace\askeet\lib\vender\symfony\lib\ad on\propel\sfPropelData.class.php:206
Stack trace:
#0 D:\workspace\askeet\lib\vender\symfony\lib\addon\propel\sfPropelData.class.ph
p(46): sfPropelData->doDeleteCurrentData(Array)
#1 D:\workspace\askeet\batch\load_data.php(24): sfPropelData->loadData(‘D:\works
pace\as…’)
#2 {main}
  thrown in D:\workspace\askeet\lib\vender\symfony\lib\addon\propel\sfPropelData
.class.php on line 206

Fatal error: Uncaught exception ’sfException’ with message ‘Unable to find path
for class "francoisPeer".’ in D:\workspace\askeet\lib\vender\symfony\lib\addon\p
ropel\sfPropelData.class.php:206
Stack trace:
#0 D:\workspace\askeet\lib\vender\symfony\lib\addon\propel\sfPropelData.class.ph
p(46): sfPropelData->doDeleteCurrentData(Array)
#1 D:\workspace\askeet\batch\load_data.php(24): sfPropelData->loadData(‘D:\works
pace\as…’)
#2 {main}   thrown in D:\workspace\askeet\lib\vender\symfony\lib\addon\propel\sfPropelData .class.php on line 206

这个错误是test_data.yml文件格式书写错误导致的。因为直接拷贝网页上给出的yaml代码会有多余的空格，而yaml文件正是有空格控制格式的，所以要严格按照规范书写。

]]> http://yaron.org.cn/archives/128/feed 1 PHP软件开发测试简介 http://yaron.org.cn/archives/83 http://yaron.org.cn/archives/83#comments Mon, 09 Mar 2009 07:38:30 +0000 Yaron http://yaron.org.cn/archives/83 Read the Rest...
]]>       笔者发现国内的PHP开发，对测试这一块儿不是特别重视，要不就是秘书兼职测试(功能测试)，要不就是程序员自己测试自己的程序，要不就是把开发效率低、水平不怎么样的程序员发配去做测试。笔者表示无奈和担忧，本文就从测试的目的、原则、方法、以及内容上，简单介绍一下PHP软件测试。


1. 测试目的

      从用户角度看，软件测试就是及早发现软件中隐藏的错误和缺陷。
      而开发者角度看，就是为了确认软件不存在错误，满足用户的需求。

2. 测试原则

      2.1 尽早而且不断地进行测试，开发阶段就应该有测试人员参与。
      2.2 测试用例设计应该由测试输入数据和对应的测试输出结果组成。
      2.3 程序员避免测试自己的程序。
      2.4 测试用例的设计中，包含合理的输入以及不合理的输入。
      2.5 检查程序功能的完备性，还应该检查程序的多余性（副作用）。
      2.6 业务流程和接口内容的测试十分重要。
      2.7 注意测试中群集现象（即残存错误的数目与已经发现的数目成正比）。
      2.8 严格执行测试计划。
      2.9 对测试结果进行全面的检查。
      2.10 要妥善保存测试计划、测试用例、出错统计、最终分析报告，以便查阅及重复利用。
      2.11 性能测试与功能测试同等重要。

3. 测试方法

      3.1 动态测试。可控地运行待测程序，多角度观察程序内部运行。发现错误的效率与测试用例的设计(典型方法有黑/白盒测试)相关。
      3.2 静态测试。人工评审文档和程序。
      3.3 正确性测试。证明程序符合要求。常用归纳断言法，尚处于理论研究阶段。

4. 测试内容

      4.1 单元测试
      单元测试是程序模块正确性的检验。具体包括模块接口内容测试、局部数据结构测试、路径测试、错误处理测试、边界值测试。
      4.2 集成测试
      集成测试是对各模块集成运行的正确性检验。方法有自顶向下、自底向上，应用中一般将两种方法混合使用。
      4.3 确认测试
      确认测试检查软件是否按照合同要求进行工作，是否完成软件需求说明书中的确认目标。包括确认标准、配置复审、α/β测试。
      4.4 系统测试
      充分运行系统的各个部分，对其可恢复性、安全性、承受强度、性能等方法进行测试。

5. 总结

      以上是笔者根据自己的经验以及软件测试相关知识整理而来。在实际工作中不是都要应用，WEB系统开发周期短，以及系统规模、开发进度、项目投资等要素的不同，相应取舍调整、灵活应用。
      笔者推荐一篇相关的经典文章：php教程:软件测试之Web测试经典总结 注重实际的应用，值得收藏。

]]> http://yaron.org.cn/archives/83/feed 0 抓取并处理WEB页面数据（CURL/DOM） http://yaron.org.cn/archives/77 http://yaron.org.cn/archives/77#comments Fri, 06 Mar 2009 03:12:18 +0000 Yaron http://yaron.org.cn/archives/77 Read the Rest...
]]>       昨天面试，让写一个小脚本，抓取http://www.newegg.com.cn相关产品的数据。以下是笔者的实现思路。

笔者要从以下两方面入手分析：

1. 如何提交数据
      首先是接受数据表单所在的页面，一般都是首页。其次，分析表单是通过POST还是GET提交数据，新蛋使用的是GET提交数据。最后，如果使用的是GET方法，那么需要找到参数所附的URL是什么，新蛋的是http://www.newegg.com.cn/Product/ProductSearchAdvanced.aspx。

2. 返回数据的结构
      根据查看返回的源代码，笔者认为，新蛋返回的数据结构比较清晰。比如，产品列表块儿就有id标识，而产品标题使用h3标识，这些都方便了DOM解析。

      经过笔者简单分析，用不到POST传递参数，那么FOPEN()/cURL/SOCKET均可实现数据抓取(三者区别笔者会在后续的博文中详述)，这里采用cURL技术；而数据的处理，可以使用正则表达式和DOM类来实现，由于数据结构清晰，使用DOM类足够，正则表达式同样可以做到，但是效率不高(关于正则表达式的使用，笔者会在后续的博文中详述)，这里不采用。

编码实现

1. 功能实现用到的函数
Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

 
/**
 * 抓取web数据，并以UTF-8格式返回结果
 */
function catchWebPage($url){
$curl	= curl_init($url);
curl_setopt($curl, CURLOPT_FAILONERROR,1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION,1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER,1);
curl_setopt($curl, CURLOPT_TIMEOUT,10);
curl_setopt($curl, CURLOPT_BINARYTRANSFER,1);
$r		= curl_exec($curl);
curl_close($curl);
 
$r	= iconv('gb2312','utf-8',$r);
//$r	= mb_convert_encoding($r, 'utf-8','gb2312');
$r	= str_replace('<meta http-equiv="Content-Type" content="text/html; charset=gb2312">','',$r);
$r	= str_replace('<head>','</head><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8">',$r);
return $r;
}
 
/**
 * 统计出页面数量
 */
function catchProductPages($r) {
$dom	= new DOMDocument();
@$dom->loadHTML($r);
$pages	= $dom->getElementsByTagName('em');
foreach($pages as $page) {
	$pageNo	= $page->nodeValue;
}
$pageNo	= substr($pageNo,1);
return $pageNo;
$dom->saveHTML();
}
 
/**
 * 使用DOM树方式处理并展示抓取结果
 */
function displayProduct($r) {
$dom	= new DOMDocument();
@$dom->loadHTML($r);
$pages	= $dom->getElementsByTagName('em');
foreach($pages as $page) {
	$pageNo	= $page->nodeValue;
}
$pageNo	= substr($pageNo,1);
$products	= $dom->getElementById('products');
$productlist	= $products->getElementsByTagName('dl');
foreach($productlist as $product){
	$productName	= $product->getElementsByTagName('dd')->item(1)->getElementsByTagName('h3')->item(0)->nodeValue;
	$productInfos	= $product->getElementsByTagName('dd')->item(1)->getElementsByTagName('ul')->item(0)->getElementsByTagName('li');
	$productImage	= $product->getElementsByTagName('dd')->item(0)->getElementsByTagName('img')->item(0)->getAttribute('src');
	$productPrice	= $product->getElementsByTagName('dd')->item(1)->getElementsByTagName('ul')->item(1)->getElementsByTagName('li')->item(1)->nodeValue;
	echo "<p style='clear:both;border-bottom:1px #ccc solid;height:100px;'>",'<span style="float:right;margin-left:20px;">',$productPrice,"</span>","<img src="$productImage" style="float:left;"/>";	
	echo $productName,'<br /><br />';
	foreach($productInfos as $productInfo) {
		echo '<span style="margin:auto 10px;">',$productInfo->nodeValue,'</span>';
	}
	echo '</p>';
}
$dom->saveHTML();
}
</meta></head></meta>

2. 数据提交表单

Code:

1
2
3
4
5
6
7
8
9
10
11

<form method="post" action="&lt;?=strip_tags($_SERVER['PHP_SELF']) ?&gt;">
<select name="brand">
<option value="sony">Sony</option>
<option value="canon">Canon</option>
</select>
<select name="product">
	<option value="数码相机">数码相机</option>
	<option value="笔记本">笔记本</option>
</select>
<input type="submit" value="submit" />
</form>

3. 函数调用

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

 
$brand	= $_POST['brand'];
$proName= $_POST['product'];
 
$keyWord	= urlencode(iconv('utf-8','gb2312',$proName));
$keyWord	= $brand.'+'.$keyWord;
$url	= "http://www.newegg.com.cn/Product/ProductSearchAdvanced.aspx?keyWord={$keyWord}";
 
$r	= catchWebPage($url);
displayProduct($r);
$pageAll	= catchProductPages($r);
for($i=2; $i< =$pageAll; $i++) {
	$urlTemp	= $url.'&pageIndex='.$i;
	$r		= catchWebPage($urlTemp);
	displayProduct($r);
}

      在使用DOM类时需要注意编码问题。新蛋网页是GB2312，cURL抓取后同样是GB2312，而DOM类默认只处理UTF-8格式编码。所以，使用cURL抓取后要转码。这部分可以参考Fwolf’s Blog《DOMDocument->loadHTML()处理中文的一点问题》，有很好解决方案。

      另外一个问题就是，curl默认只抓取当前页返回的数据，要想抓取所有数据，就需要获得页数，循环抓取每个分页的数据。具体可以参考第三部分代码。

]]> http://yaron.org.cn/archives/77/feed 2 ＰＨＰ漏洞ＸＳＳ的介绍和预防策略 http://yaron.org.cn/archives/62 http://yaron.org.cn/archives/62#comments Wed, 04 Mar 2009 14:00:41 +0000 Yaron http://yaron.org.cn/archives/62 Read the Rest...
]]>       XSS，第一次听说是在博彦面试的时候，后来查询才知道这是PHP编程的一个漏洞。用户可以利用此漏洞执行自己的JS代码，获得网站重要数据。

      XSS英文全称：Cross Site Scripting。它是和$_SERVER['PHP_SELF'](不多讲查手册)相关的一个漏洞。主要出现在表单提交数据到本身脚本这一应用上。

      先看一下应用代码：

1
2
3
4

// 将尖括号更换正常状态
<form method="post" action="&lt;?=$_SERVER['PHP_SELF']; ?&gt;">
<input type="submit" value="submit"/>
</form>

      我们看到代码是想通过$_SERVER['PHP_SELF']的值，确定表单数据提交的位置，也就是脚本本身。比如该脚本名字index.php，当然在地址栏中输入index.php是没有任何问题的，但是如果在地址栏中给index.php脚本加上参数，会是怎样的结果？

1
2
3
4
5
6
7
8
9
10
11

<!--将尖括号更换正常状态-->
<!--地址栏输入
http://localhost/eg/stu/XSS/index.php/&lt;script&gt;alert('xss')&lt;/script&gt;--> 
<!--回车打开页面，此时会有窗口弹出，确定后查看页面源码如下：-->
 
<form method="post" action="
/eg/stu/XSS/index.php/&lt;script&gt;alert('xss')&lt;/script&gt;">
<input type="submit" value="submit" />
</form>
 
<!-- 此时单击Submit按钮，同样有JS代码执行 -->

      如果参数是一段js脚本又会怎样？这有更多的测试代码http://ha.ckers.org/xss.html

      是不是js代码执行了？这个到底有多恐怖，大家可以参考fwolf的博文，那里更为详细的阐述了XSS的危害。

      这里笔者给出解决XSS攻击的思路：

      对$_SERVER['PHP_SELF']进行转义。过滤其携带的可执行代码。涉及到的函数有htmlentities、strip_tags，以及正则表达式等。

当然，表单的action默认为空就安全了吗？同样不安全！问题如上。

]]> http://yaron.org.cn/archives/62/feed 0