本文實例講述了mysql Java服務端對emoji的支持與問題解決方法。分享給大家供大家參考,具體如下:
問題描述
將底層抓取的微博數據存入mysql,有些數據存入失敗,查看Tomcat后,核心錯誤信息如下:
// 拋出字符集不支持的異常
sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x97\xF0\x9F...' for column 'CONTENT' at row 1
原因分析
- MYSQL 5.5 之前, utf8 編碼只支持1~3個字節,即BMP這部分的unicode編碼區(基本就是0000~FFFF這一區)。
- Emoji表情是4個字節,而mysql的utf8編碼最多3個字節,所以導致數據插不進去
- 5.5之后,mysql加入utf8mb4編碼,可支持4個字節,即一個字符最多能有4字符,因此utf8mb4編碼可支持更多的字符集。
- 因此,如果項目要存儲移動產品的用戶文本,必須將DB字符集從UTF8/GBK等傳統字符集升級到utf8mb4
【注】
- utf8mb4兼容utf8,且比utf8能表示更多的字符。所以將DB字符集從UTF8或GBK等傳統字符集升級到utf8mb4時不用擔心字符的兼容性問題
解決方法
過濾特殊的表情符
1
|
content = content.replaceAll( "[\\x{10000}-\\x{10FFFF}]" , "" ); // 簡單粗暴,不人性化 |
升級數據庫字符集
1、utf8mb4支持的mysql版本為5.5.3+,若mysql低于該版本請先升級
2、修改database、table和column字符集
3、修改mysql配置文件my.cnf(windows為my.ini),my.cnf一般在etc/mysql/目錄下,找到后在以下三部分里添加如下內容:
1
|
[client] default-character- set = utf8mb4 |
1
|
[mysql] default-character- set = utf8mb4 |
1
2
3
4
5
|
[mysqld] character- set -client-handshake = FALSE character- set -server = utf8mb4 collation-server = utf8mb4_unicode_ci init_connect= 'SET NAMES utf8mb4' |
4、重啟mysql并查看字符集
在mysql命令行輸入:
1
|
SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%' ; |
重啟之前的字符集
重啟之后的字符集
【注】
-
必須保證以下字段為utf8mb4
- character_set_client
- character_set_connection
- character_set_database
- character_set_results
- character_set_server
以上4步完成后,利用mysql客戶端navicat在表中手動加入Emoji表情,若能保存成功說明數據庫已升級成功。
這些字符集配置的具體區別參考 深入Mysql字符集設置
5、檢查服務器端db配置文件
1
2
3
4
|
// 配置spring時使用的鏈接如下: url= "jdbc:mysql://localhost:3306/gzhou?allowMultiQueries=true&useUnicode=true&zeroDateTimeBehavior=convertToNull&transformedBitIsBoolean=true&autoReconnect=true&autoReconnectForPools=true&failOverReadOnly=false&maxReconnects=10" // 若characterEncoding=utf8mb4,插入數據時報錯Caused by: java.sql.SQLException: Unsupported character encoding 'utf8mb4' // 去掉characterEncoding或characterEncoding=utf8 |
Emoji表情
android系統中,搜狗、百度輸入法自帶Emoji表情。
【注】
如果系統之間Emoji表情符號不兼容,只能看到方塊;
希望本文所述對大家MySQL數據庫計有所幫助。
原文鏈接:https://blog.csdn.net/xuexuan_050848/article/details/53378220