這幾天有在用simple_html_dom抓一些文章。不同網(wǎng)站的編碼在國內(nèi)基本上是gbk gb2312 utf-8。而以gb2312和utf-8居多。
我這一版的simple_html_dom有一個(gè)方法 convert_text 是這個(gè)樣子的。
復(fù)制代碼 代碼如下:
// PaperG - Function to convert the text from one character set to another if the two sets are not the same.
function convert_text($text)
{
global $debug_object;
if (is_object($debug_object)) {$debug_object->debug_log_entry(1);}
$converted_text = $text;
$sourceCharset = "";
$targetCharset = "";
if ($this->dom)
{
$sourceCharset = strtoupper($this->dom->_charset);
$targetCharset = strtoupper($this->dom->_target_charset);
}
if (is_object($debug_object)) {$debug_object->debug_log(3, "source charset: " . $sourceCharset . " target charaset: " . $targetCharset);}
if (!empty($sourceCharset) && !empty($targetCharset) && (strcasecmp($sourceCharset, $targetCharset) != 0))
{
// Check if the reported encoding could have been incorrect and the text is actually already UTF-8
if ((strcasecmp($targetCharset, 'UTF-8') == 0) && ($this->is_utf8($text)))
{
$converted_text = $text;
}
else
{
$converted_text = iconv($sourceCharset, $targetCharset, $text);
}
}
// Lets make sure that we don't have that silly BOM issue with any of the utf-8 text we output.
if ($targetCharset == 'UTF-8')
{
if (substr($converted_text, 0, 3) == "\xef\xbb\xbf")
{
$converted_text = substr($converted_text, 3);
}
if (substr($converted_text, -3) == "\xef\xbb\xbf")
{
$converted_text = substr($converted_text, 0, -3);
}
}
return $converted_text;
}
來看這一行：
復(fù)制代碼 代碼如下:
$converted_text = iconv($sourceCharset, $targetCharset, $text);
會(huì)引起轉(zhuǎn)碼不正確。比如會(huì)把gb2312的文字轉(zhuǎn)成：
復(fù)制代碼 代碼如下:
4月26日在<span style="color:#C03">鏈濋槼</span>公園馬術(shù)場舉行的2014浪琴國際馬聯(lián)場地障礙世界杯中國聯(lián)賽資格賽上，24歲的韓壯壯不僅拿到零罰分的成績 ...第7個(gè)出場的<span style="color:#C03">鍖椾含</span>奧運(yùn)騎手趙志文第一個(gè)收獲零罰分，用時(shí)77秒07 ...
既成的事實(shí)了，證明里頭的轉(zhuǎn)碼功能沒有處理好。由于我使用這個(gè)simple_html_dom只是想要用來構(gòu)建dom。我并沒有打算花時(shí)間去很好地處理這個(gè)bug。而是簡單地把
復(fù)制代碼 代碼如下:
$converted_text = iconv($sourceCharset, $targetCharset, $text);
改成
復(fù)制代碼 代碼如下:
$converted_text = $text;
就行了。思路就是取消它的轉(zhuǎn)碼。好吧工作不必糾結(jié)，可以繼續(xù)了。
