概述
动机:
很偶然的,由于工作关系,我把一些用VC6.0开发的代码用BCB6.0所带的编译器重新
编译了一下.一个意外的结果就是竟然得到了效率差别极大的目标代码.虽然以前也看到过一些关于两者效率的言论,但是当你亲自目睹这样的结果仍然是具有震撼力的.在我的这项工作中,效率不是我所关心的,但是也并非毫无优化的价值.由于这些代码大量使用了stl,因此也就萌生了对不同编译器的stl性能加以比较的念头.我的目标不仅仅是要得到一个定性的概念,而是希望能够有一个定量的结论.即使这些数据精确度不高,从定性到定量,仍然是一个质的飞跃.
在BCB6.0当中的STL已经是采用STLPort了，也就是说源自SGI的STL。这被大家认为是最优秀的STL实现，也许有人会因此认为这样的比较有失公允。不过，我只是比较两个完整的产品，并不关心它利用了何人的成果。如果有人乐意把VC的STL也替换成STLPort再比较，那自然也是很有意义的工作。
指导思想:
为了评价效率问题,通常我会将要测试的内容独立出来,得出若干细节上的效率比较数据,从而,我们可以根据这些测试数据,组合出在实际代码中的可能结果.但是,我并不采取将测试目标完全孤立的办法.我测试的结果不是为做代码优化的程序员提供标准,而是为通常的程序开发提供一个效率方面的参考,提供一个作出某种选择的依据.既然是为通常的编码行为提供参考，我的测试代码也就要体现一般性的使用方法。例如：我不会为了排除跳转语句的干扰而展开代码；不会因为函数调用的开销而避免函数调用；也较少的考虑cache的影响。
除了BCB和VC之间的比较之外,也会做很多同一个编译器内部的比较,例如vector和list之间的比较.
测试数据的筛选：
和以前见过的很多测试不同的是，我对测试结果没有采用取平均值的办法。我的测
试是在Windows2000下做的，不能不考虑多任务环境带来的干扰，例如线程调度。由于每个测试持续的时间很短，如果测试期间恰好发生上下文切换，那么结果就会产生很大的偏差，对于这种偶发性的干扰因素，必须排除。而且，我认为不会因为某种意外因素会降低测试用例的运行时间。所以我采取的筛选方法是做多次测试，选取最快的一个结果。正确的方法是应该剔除明显不合格的测试数据，求平均值及其方差。从我试验的结果来看，选取最小值的办法和求平均值的办法比起来误差<1%，简便起见，选择最小值作为测试结果。
测试方法的一些解释：
做性能测试，首先需要一个定时器。在这里要感谢从csdn的waterflier(水行鸟)那里
学到的的方法http://expert.csdn.net/Expert/topic/1637/1637581.xml?temp=.5418665
采用这个方法，可以精确到一项测试所使用的CPU时钟数，但是大多数情况我没有这么做。我的做法是将一个测试循环若干次（一个较大的次数），得出总的时间。这么做的缺点是引入了循环，可能降低了CPU的效率，也可能影响cache。我对汇编代码优化的知识还停留在8086的水平，前面所谓的缺点也仅仅是猜测。事实上，我没办法测试过于短小的语句，不是因为计时器不够灵敏，而是和并发、cache有关。我在p4 1.8a的机器上做过一个测试，执行i = i + 1;这样的语句，当我逐渐增加语句时，花费的时钟周期是以4个为单位增加的而不是1个，当我每增加5条语句时，花费的时钟周期就增加4。由于所知知识的限制，我选择了不那么精确的方法，但是我认为这对测试目标并没有本质的影响。
测试用例：
本来只是想就常用的容器、迭代器和部分算法做一个测试，但发现这样做存在一些问题，过于粗糙。所以，之前要做一些铺垫性的测试，主要目的是对new，delete这样的测试。因为这两个操作对我的测试影响非常大，所以把它提出来，那么在其他的测试中可以估计这两个操作的影响，有利于分析测试结果。
整个测试是按照铺垫性的测试，容器、迭代器测试，算法测试这样的顺序。不过，很多测试并不能这样简单的划分，所以也有部分混合的现象。所有的测试很少涉及到I/O，基本上都是内存中的操作。目前也没并发环境下的测试计划，但是我想这个测试结果对并发环境也有参考价值。
测试环境：
我的测试机器如下：
OS：Windows2000 Server，sp3 CPU：Intel P4 1.8A （实际频率约为1.73）
内存：768M，DDR266 硬盘：wd 800JB
主板：技嘉 GA-8IRX
VC6.0的编译器版本信息如下：
Microsoft (R) 32-bit C/C++ Optimizing Compiler Version 12.00.8804 for 80x86
Copyright (C) Microsoft Corp 1984-1998. All rights reserved.
BCB6.0的编译器版本信息如下
Borland C++ 5.6 for Win32 Copyright (c) 1993, 2002 Borland：
测试的代码尚未完成，还在断断续续的写着。如果有人需要的话，可以随意索取。我的Email：[email protected]
本文地址：http://com.8s8s.com/it/it29269.htm