MongoDB 是一款 NoSQL 數據,通常用來存儲非結構化數據,我們的產品中也有用到,例如:一些文件存儲在 MongoDB 的 GridFS 中。
MongoDB 有三種方式來實現高可用:
- 副本集:副本集是 MongoDB 官方推薦的高可用解決方案。它通過在多個節點上復制數據來實現數據冗余和故障轉移。副本集通常包括一個主節點和多個從節點,如果主節點發生故障,從節點可以自動選舉出一個新的主節點,從而實現自動故障轉移。
- 分片集群:分片集群是一種橫向擴展的解決方案,可以將數據分散到多個節點上,從而提高讀寫性能和可伸縮性。分片集群通常由多個分片節點、多個配置節點和多個代理節點組成,其中分片節點負責存儲數據,配置節點負責管理元數據,代理節點負責將客戶端請求路由到正確的分片節點上。
- 復制集群:復制集群是一種基于副本集的解決方案,可以將多個副本集組合在一起,從而實現更高的可用性和可擴展性。復制集群通常由多個副本集節點和多個代理節點組成,其中代理節點負責將客戶端請求路由到正確的副本集節點上。
本文中選擇 MongoDB 的副本集的方式來進行演示,副本集相對簡單,也能達到高可用的目的,架構圖如下:
為了方便,在一臺服務器上使用多個容器的方式來進行部署,真實場景下只需要把三個容器分別部署到三臺服務器上即可,具體步驟如下:
1、準備一臺 CentOS 服務器,安裝好 Docker 和 docker-compose 。
2、在 /home 目錄創建 mongodb 目錄,進入 mongodb 目錄創建 data 目錄,data 目錄中分別創建 mongo1、mongo2、mongo3 用來存放三個節點的數據。
3、使用命令 chmod -R 777 data 給 data 目錄設置權限。
4、在 mongodb 目錄中創建文件 docker-compose.yml ,用來構建容器,內容如下:
version: '3'
services:
mongo1:
image: mongo:5.0
container_name: mongo1
restart: always
ports:
- "27017:27017"
volumes:
- ./data/mongo1:/data/db
command: mongod --replSet rs0 --bind_ip_all --port 27017
mongo2:
image: mongo:5.0
container_name: mongo2
restart: always
ports:
- "27018:27017"
volumes:
- ./data/mongo2:/data/db
command: mongod --replSet rs0 --bind_ip_all --port 27017
mongo3:
image: mongo:5.0
container_name: mongo3
restart: always
ports:
- "27019:27017"
volumes:
- ./data/mongo3:/data/db
command: mongod --replSet rs0 --bind_ip_all --port 27017
- ports:27017、27018、27019 分別為三個節點對外的端口
- volumes:將步驟 2 中創建的目錄和容器內的數據目錄進行映射
- --replSet rs0:指定副本集的名稱為 rs0
- --bind_ip_all:可以讓 MongoDB 實例能夠通過所有網絡接口進行連接,包括本地主機、局域網和互聯網。這通常用于在多個計算機之間共享 MongoDB 數據庫,或在具有可用公共 IP 地址的環境中使用。
5、在 mongodb 目錄下執行 docker-compose up -d 進行容器的構建,成功后如下圖:
6、隨便進入一個 MongoDB 容器,下面命令為進入容器名 mongo1 的容器內部。
docker exec -it mongo1 bash
7、進入容器內部后,輸入 mongo 命令進入 MongoDB 的命令行模式,在該模式執行下面的命令進行副本集的初始化:
rs.initiate({_id: "rs0", members: [
{_id: 0, host: "10.211.55.3:27017"},
{_id: 1, host: "10.211.55.3:27017"},
{_id: 2, host: "10.211.55.3:27017"}
]})
- 該命令初始化一個名為 rs0 的副本集,并將三個 MongoDB 容器添加為成員。
- 注意:host 中指定的 IP 為服務器的 IP,當然如果使用的是容器 IP 或者容器名稱,副本集和能正常啟動和運行,但程序連接的時候就會出錯 。
8、繼續在 MongoDB 的命令行模式執行 rs.status() ,這個命令可以查看副本集的狀態信息,包括成員、主節點和副本集配置。
- Mongo1 被指定為了主(Primary),其余兩個容器為副本(Secondary)。
9、在 Navicat 中配置連接副本集,如下圖:
10、到這里,MongoDB 在 Docker 中部署副本集就已經完成,接下來可以通過一些場景測試下是否能故障自動轉移,我驗證的場景如下:
- 重啟虛擬機后檢查 MongoDB 服務是否正常。
- 使用命令 systemctl restart docker 將 docker 重啟,檢查 MongoDB 服務是否正常。
- 使用命令 docker stop mongo1 將副本集中的主節點停掉,檢查剩下的兩個從節點是否能重現選舉新的主節點。
- 使用命令 docker start mongo1 將之前的主節點啟動,檢查是否能自動切換為從節點。
- 將 mongo2、mongo3 這兩個從節點都停掉,檢查 MongoDB 服務還是否可用,正常情況下應該是不可用,主節點 mongo1 會降級為從,變為只讀,直連 mongo1 可以連接進行數據讀取,集群無法連接。
- 上面每一步操作后,除了看狀態之外,還需要用程序進行連接驗證服務是否正常。
11、使用 .NET Core 程序進行驗證,創建一個 .NET 6 的控制臺程序,引用 NuGet 包 MongoDB.Driver 。
12、Program 類的代碼如下:
using MongoDB.Bson;
using MongoDB.Driver;
var mongoConnectionString = "mongodb://10.211.55.3:27017,10.211.55.3:27018,10.211.55.3:27019/test?replicaSet=rs0&readPreference=primary";
var mongoClient = new MongoClient(mongoConnectionString);
var database = mongoClient.GetDatabase("test");
var collection = database.GetCollection<BsonDocument>("test");
// 插入一條文檔
var document = new BsonDocument { { "name", "oec2003" }, { "age", 30 } };
collection.InsertOne(document);
var documents = await collection.Find(Builders<BsonDocument>.Filter.Empty).ToListAsync();
foreach (var doc in documents)
{
Console.WriteLine(doc);
}
- 連接字符串中的 replicaSet = rs0 用來指定副本集的名稱。
- readPreference=primary ,將讀取偏好設置為主節點,表示只從主節點讀取數據,這也是默認模式,除了 primary 外,還有一些其他的配置選項,說明如下:
- readPreference=primaryPreferred:查詢將首選主節點,但如果主節點不可用,則可以從其他節點讀取數據。
- readPreference=secondary:查詢將只從副本集的次要節點讀取數據。如果沒有次要節點可用,則查詢將失敗。
- readPreference=secondaryPreferred:查詢將優先從次要節點讀取數據,但如果沒有次要節點可用,則可以從主節點讀取數據。
- readPreference=nearest:查詢將從網絡延遲最低的節點讀取數據。這個選項不考慮節點的角色(主節點或次要節點),而是選擇網絡最近的節點。
在高可用部署中,一定要結合實際情況進行權衡后,采取既能解決問題,又駕輕就熟的方案,否則,出現問題,如果不能及時解決,效果還不如單機。