Facebook tiết lộ lý do gián đoạn dịch vụ: Cấu hình router kết nối các data center bị thay đổi

P.W
5/10/2021 9:31Phản hồi: 31
Facebook tiết lộ lý do gián đoạn dịch vụ: Cấu hình router kết nối các data center bị thay đổi
Sự cố khiến nhiều dịch vụ nhắn tin và mạng xã hội của tập đoàn Facebook, Inc. bị gián đoạn trong khoảng 6 giờ đồng hồ vào đêm qua và rạng sáng nay theo giờ Việt Nam đã được đưa ra lý do. Trong bài viết blog mới nhất, Facebook loại trừ khả năng máy chủ của họ bị hacker tấn công hoặc bị phá hoại. Thay vào đó, MXH “mất sóng” đơn giản vì hệ thống router kết nối các hệ thống trung tâm dữ liệu của họ với nhau đã bị thay đổi:

“Nhóm kỹ sư của chúng tôi đã phát hiện ra những thay đổi trong cấu hình của hệ thống router quan trọng, đóng vai trò xương sống trong quá trình điều phối traffic dữ liệu giữa các trung tâm dữ liệu của chúng tôi, từ đó dẫn tới những vấn đề khiến dịch vụ bị gián đoạn. Traffic dữ liệu hệ thống bị gián đoạn đã tạo ra hiệu ứng tác động nghiêm trọng tới cách các trung tâm dữ liệu tương tác với nhau. Kết quả là những dịch vụ của chúng tôi bị dừng hoàn toàn trong nhiều giờ đồng hồ.”

Facebook xác nhận toàn bộ hệ thống của họ đã vận hành ổn định trở lại, nhưng đưa ra lý do vì sao dịch vụ MXH này mất tới 6 giờ đồng hồ để sửa lỗi vì nguyên nhân kể trên “cũng ảnh hưởng tới nhiều công cụ nội bộ và những hệ thống kỹ thuật viên Facebook đang sử dụng hàng ngày, dẫn tới việc sửa chữa trở nên vô cùng phức tạp.”

Vài nguồn tin nói, vì sự cố này, kết hợp với những sự kiện xảy đến với Facebook ngày hôm qua đã khiến giá trị vốn hóa của Facebook bị quét bay gần 50 tỷ USD trên sàn chứng khoán, và trong vòng 6 giờ đồng hồ kể trên, Facebook đã mất khoảng 79 triệu USD doanh thu từ quảng cáo.

Theo Digital Trends
31 bình luận
Chia sẻ

Xu hướng

nonliving
ĐẠI BÀNG
3 năm
Ha ha không biết số phận "nhóm kỹ sư" này ra xiaaaaao
shibaaa-
ĐẠI BÀNG
3 năm
@nonliving Qua Twitter làm thui =))
Khiemauto
TÍCH CỰC
3 năm
@nonliving Chắc ép việc nhiều quá. Làm phát cuối giúp đối thủ.
Chả có lẽ không miễn phí cho khách quảng cáo 1 tuần, miễn phí dịch vụ cho khách doanh nghiệp 1 tháng nhờ
Ngầu đấy
GhostRiley
TÍCH CỰC
3 năm
Nghe mấy lều báo giật tít là do anh kỹ sư nào đó sửa code làm mình cười ị 😆
@GhostRiley có thể chứ b, code ở đây là code cấu hình thiết bị ấy, m chuyên mấy cái đó nè.
Twitter khịa nhẹ cái ah
Screenshot_20211005-220159~2.png
junkey
TÍCH CỰC
3 năm
thằng config network hôm qua chắc đột quỵ =)) ko ngờ bug lớn thế
Benz Long
ĐẠI BÀNG
3 năm
Tôi lại tưởng có con chó nào đi ngang ngửi ngửi rồi đái vào server như bk.jav làm chứ.
christian08
ĐẠI BÀNG
3 năm
Giờ kỹ sư ông Mark lại còn đòi cạnh tranh với đệ a Quảng quê tôi à
Cười vô mặt
Lúc thì đổ tại BGP
Lúc đổ tại gián đoạn traffic
Bao nhiêu server, data center mà sập diện rộng, khó thế cũng làm được.
Khiemauto
TÍCH CỰC
3 năm
@kirakun277 Hệ thống lởm. Tận 6h mới sửa xong, bay vài chục tỷ đô là đúng.
@Khiemauto Fb che giấu gì đấy thôi bác, không thể dễ dàng sập lâu thế được.
hung1047
ĐẠI BÀNG
3 năm
@kirakun277 các ông chưa làm thì k nên phán 😃 Tui chỉ nói sơ thế này, thế giới có 5 châu lục, tệ lắm FB cũng phải setup 5 cụm sever khác nhau. Mỗi cụm lại có nhiều máy chủ trong 1 cụm, các config router bị xoá hết thì ngồi config lại đống đó thôi cũng là cả 1 vấn đề chứ đừng nói quy mô cỡ như nó.
@hung1047 Xoá thế nào được 5 vùng một lúc? Bạn có làm network không mà phán thế?
hung1047
ĐẠI BÀNG
3 năm
@kirakun277 thời đại cloud rồi 😁 1 đoạn code Terraform sập cả hệ thống chứ ở đó đùa :D
Hôm qua bao nhiêu người tưởng bị hack nick Facebook, bao nhiêu người restart modem, router. Bao nhiêu người vuốt vuốt kéo kéo app Facebook mà nó trơ trơ
quangvu313
TÍCH CỰC
3 năm
Database nó phân bổ khắp thế giới
Hệ thống nó đồ sộ mỗi 1 lệnh tinh chỉnh nhỏ đều phải qua nhiều lớp, chứ đừng nói chuyện on - off một cái tắt cả hệ thống như film
Cho cháy rụi cả 1 cái trung tâm dữ liệu còn chưa sập đc toàn TG
1 chiếc lý do thiệt là ngớ ngẫn
@quangvu313 Cũng có khả năng như FB nói chứ b, cháy 1 datacenter thì hệ thống có thể thực hiện failover qua những center khác, nhưng vài dòng lệnh sai (lúc update hệ thống) có thể khiến hệ thống ko failover được. Mà troubleshoot cấu hình đau đầu lắm, mất 5-6h là bt.
@quangvu313 Cấu hình sai router điều phối ở mức datacenter nên không chỉ dịch vụ cho end-user chết mà cả trang nội bộ của fb cũng bay màu theo luôn. Nên nó mới khó khăn hơn https://twitter.com/wongmjane/status/1445058298034614278?s=21
có gì đâu, nhầm lẫn nhỏ ấy mà, khi cấu hình các router quan trọng thì lệnh cuối thay vì gõ “ no shut” thì các ông ấy gõ nhầm là “ shut” rồi về đi ngủ, thế là sập. và họ mất 5 tiếng 55 phút để các kỹ sư ca trước đến công ty khi đang ngủ bị gọi dậy, mất 4 phút mở máy, 55 giây show cấu hình, 5s chèn thêm chữ “ no”, trị giá 7 tỷ đô.
japanvn
ĐẠI BÀNG
3 năm
FB mất cả chục tỷ USD còn doanh thu các nhà mạng di động đêm qua tăng cả chục tỷ. vì nhiều đứa đập model mạng. quấy rối tổng đài chán chê sau đó đăng ký 4g 5g vì ảo tưởng mạng nhà mình bị đột tử... và thế là các nhà mạng được hưởng lợi nhất.
Khiem Lee
ĐẠI BÀNG
3 năm
@japanvn haha em cười ẻ, 10h bé em hỏi: "mạng wifi bị gì nữa kìa"
Chán chả muốn trả lời
MrNghiaIT
TÍCH CỰC
3 năm
Thế bị hack router ah?
chả biết sửa kiểu gì mất 6 tiếng, ko có backup ko có thằng nào biết config lại ư
bà mẹ Tưởng đơn giản ông nào phê rượu rút dây nguồn, đọc xong bài này thì lú quá, không hiểu gì luôn. hihihi
Gioan Dinh
ĐẠI BÀNG
3 năm
6h thôi mà bay ~ 80 triệu đô
Con số khủng khiếp thật...mình làm 8h/ngày kiếm có được vài trăm k =))
hay da, các kỹ sư chắc là buồn ngủ lắm nè, hoặc là giao cho ai đó thích thể hiện khi chưa biết rành
boozyer
CAO CẤP
3 năm
chém gió thế thôi, nguyên nhân thật ai dám show ra

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019