写了n年程序,近来在字符串上栽了。:( 认真的研究了一些关于字符串的文章,在此记下。
许多关于字符串的问题,在文章最后的参考文章中,相信有更加深入和精确的描述。不过关于中文的处理,我想先补充一些自己的看法。
背景:WIN32 console程序,使用printf输出字符串。相信许多人都有使用过。
平台:VisualStudio.NET 2003(MFC 7.1)。
MBCS UNICODE 蔡 b2 cc 21 85 A 41 00 41 00程序段1:使用std::string
#include <string>
{
// NOTE: use s1._Bx._Buf to see the memory
std::string s1 ("蔡"); // b2 cc 00
}
{
std::wstring s1(L"蔡"); // b2 00 cc 00 00 00
}
以上代码,不管使用MBCS还是_UNICODE编译,得到的结果都是一样的。因为string (实际上是basic_string)不会自动进行从MBCS到UNICODE的转换。所以使用printf或者wprintf输出即可。前提当然是你的系统需要支持中文。
让我们把代码修改一下,希望可以输出字符串的内容:
{
std::string s1 ("蔡"); // b2 cc 00
OutputDebugStringA(s1.c_str());
printf(s1.c_str());
}
{
std::wstring s1(L"蔡"); // b2 00 cc 00 00 00
OutputDebugStringW(s1.c_str());
wprintf(s1.c_str());
}
OutputDebugString实际上就是ATLTRACE()最后调用的函数,该函数向VisualStudio的Output窗口输出,而printf和wprintf向console窗口输出。最后的结果如何?OutputDebugStringW输出的是怪字符!!WHY?? s1.c_str()传递给OutputDebugStringW和wprintf不是都是内容相同的LPCWSTR吗?
1)因为OutputDebugStringW的字符串必须是真正UNICODE编码的字符串,而不是所有的const wchar_t*(即LPCWSTR)都可以得到正确结果。在这里s1虽然使用wchar_t类型,但是实际的内容却是MBCS编码。
2)反之亦然:CRT的wprintf只支持MBCS编码的字符串,而不能是UNICODE编码的字符串。在程序段2我们可以看到真正的UNICODE编码的字符串。
这是我多年来的一个误区:wchar_t类型的字符串就是UNICODE字符串。实际应该理解为UNICODE是16位的字符集,可以使用wchar_t类型进行存储。
程序段2:使用CString
请看程序后面的说明。
1. ////////////////// START: compile with _UNICODE ///////////////////
2. {
3. CString s1 ("A"); // 41 00 00 00
4. }
5. {
6. CString s1 (L"A"); // 41 00 00 00
7. }
8. {
9. CString s1 (_T("A")); // 41 00 00 00
10. }
11. {
12. CString s1 ("蔡"); // 21 85 00 00
13. }
14. {
15. CString s1 (L"蔡"); // b2 00 cc 00 00 00
16. }
17. {
18. CString s1 (_T("蔡")); // b2 00 cc 00 00 00
19. }
20. ////////////////// END: compile with _UNICODE ///////////////////
21. ////////////////// START: compile with _MBCS ///////////////////
22. {
23. CString s1 ("A"); // 41 00
24. }
25. {
26. CString s1 (L"A"); // 41 00
27. }
28. {
29. CString s1 (_T("A")); // 41 00
30. }
31. {
32. CString s1 ("蔡"); // b2 cc 00
33. }
34. {
35. CString s1 (L"蔡"); // 32 a8 ac 00
36. }
37. {
38. CString s1 (_T("蔡")); // b2 cc 00
39. }
40. ////////////////// END: compile with _MBCS ///////////////////
1)对于英文字母‘A’,MBCS和UNICODE的结果都是一样的
2)Line 15.
CString s1 (L"蔡"); // b2 00 cc 00 00 00
得到的还是MBCS的字符串,只是增加了0作为trail byte。而不是我理解的UNICODE字符串!这是我多年来的另外一个误区:_T在_UNICODE下转换为L,而L后面的字符串是UNICODE编码。在参考资料MSDN的“TCHAR.H 中的一般文本映射”中(以及MSDN的许多地方),可以看到类似的说明:
一般文本数据类型映射
一般文本数据类型名 未定义 _UNICODE 或 _MBCS 已定义实际上L"xxx"只是通知编译器,我们需要的是wchar_t类型的字符串,而不能影响编码。
真正的UNICODE字符串在哪里?
3)Line 12:
等同于 CStringW s1 ("蔡"); // 21 85 00 00
我们看到,得到了真正的UNICODE 字符串。因为CString(在MFC 7.1中,不存在MFC的CString,实际上由ATL::CStringT通过typedef定义而得)的构造函数,在这里实际上是CStringW的构造函数,根据输入的参数是char类型字符串,会自动调用MultiByteToWideChar转换MBCS字符串为UNICODE字符串。
4)相应Line 12,那么Line 35得到的结果32 a8 ac 00是什么?和Line 12类似:
CString构造函数,在这里实际上是CStringA的构造函数,根据输入的参数是wchar_t类型字符串,会自动调用WideCharToMultiByte转换UNICODE字符串为MBCS字符串。但是根据2),我们知道,输入的参数不是UNICODE字符串,只是MBCS的wchar_t类型字符串,所以得到的是错误的编码。
总结以上,可知:
1)CRT不能生成和处理UNICODE类型字符串,对于wchar_t类型字符串,只能处理MBCS编码;
2)VC RunTime中带W后缀的函数,和所有的COM函数,对于wchar_t类型字符串,只能处理UNICODE编码;
3)如果不考虑输出,只是进行拷贝、比较等操作,只要注意_T的含义和字符串的字符类型长度就可以了;但是如果需要输出,必须注意字符串的编码转换。
4)使用UNICODE或者MBCS的编译选项,只是影响字符串的字符类型(自动识别_T,CString等,自动把函数转换为xxxxA()或者xxxxW()),不影响字符串的编码。下表的代码结果不受编译选项影响(这也是编译器处理_T,CString等后的结果):
疑问:我认为对于CW2W是由系统编码决定,可以直接得到UNICODE吗?
关于CW2A,如果后面的字符串的确是UNICODE编码,则可以得到正确的相应MBCS编码字符串。实际上,这也是我们要输出UNICODE的方法:
CStringW s = "蔡"; // s 现在是UNICODE编码
// wprintf(s)不正确
CW2A psz(s); // psz现在是s相应的正确的MBCS编码!
printf(psz); // 正确
// All is OK, a little more to say
CA2W wsz(psz); // wsz现在是psz的错误的UNICODE编码,即32 a8 ac 00
推荐参考资料
The Complete Guide to C++ Strings:个人认为很好和很全面的文章The Complete Guide to C++ Strings, Part I - Win32 Character Encodings
http://www.codeproject.com/string/CPPStringGuide1.asp
The Complete Guide to C++ Strings, Part I - Win32 Character Encodings
http://www.codeproject.com/string/cppstringguide2.asp
本文地址:http://com.8s8s.com/it/it24638.htm