Khi hệ giám sát hạt ngừng chạy: mất điện, mất mạng và khoảng trống dữ liệu

Mọi hệ giám sát hạt liên tục đều có lúc ngừng chạy. Mất điện, đứt mạng, treo phần mềm, hỏng cảm biến, tắc đường lấy mẫu — danh sách này không tránh được, chỉ có thể chuẩn bị trước. Vấn đề là phần lớn nhà máy coi đây là sự cố kỹ thuật của bộ phận IT hoặc bảo trì, trong khi với một dây chuyền vô trùng thì đó là sự kiện chất lượng: có một quãng thời gian sản xuất diễn ra mà không có dữ liệu môi trường đi kèm. Bài viết phân loại sáu kiểu gián đoạn, chỉ ra kiểu nguy hiểm nhất không phải kiểu làm mất dữ liệu, và dựng bộ hồ sơ tối thiểu cùng quy trình khôi phục.

Vì sao gián đoạn là sự kiện chất lượng

Phụ lục 1 GMP EU bản 2022 nói rất rõ về tính liên tục của phép giám sát hạt ở vùng tới hạn. Mục 9.16 quy định rằng với cấp A, việc giám sát hạt phải được thực hiện trong toàn bộ thời gian của quá trình chế biến tới hạn, bao gồm cả khâu lắp ráp thiết bị. Mục 9.17 đi xa hơn: vùng cấp A phải được giám sát liên tục đối với hạt ≥0,5 µm và ≥5 µm, với lưu lượng mẫu phù hợp — ít nhất 28 lít (1 ft³) mỗi phút — sao cho mọi can thiệp, mọi sự kiện thoáng qua và mọi dấu hiệu suy giảm của hệ thống đều được ghi nhận.

Hai chữ cần đọc kỹ trong câu trên là “toàn bộ” và “mọi”. Chúng biến việc mất dữ liệu trong lúc đang chế biến từ một phiền toái kỹ thuật thành một khoảng trống trong bằng chứng. Nếu một can thiệp bất lợi xảy ra đúng trong quãng hệ thống ngừng ghi, không có cách nào chứng minh sau đó rằng nó đã không xảy ra.

Mục 9.17 còn yêu cầu hệ thống phải đối chiếu từng kết quả mẫu riêng lẻ với mức cảnh báo và giới hạn hành động ở tần suất đủ để phát hiện và phản ứng kịp thời với sai lệch tiềm tàng, và phải kích hoạt báo động khi vượt mức cảnh báo. Một hệ đang ngừng chạy thì không đối chiếu được và cũng không báo động được — kể cả khi tình trạng phòng thực sự đang xấu đi.

Với cấp B, mục 9.18 khuyến nghị dùng hệ thống tương tự dù tần suất lấy mẫu có thể giảm, sao cho chương trình vẫn nắm bắt được mọi gia tăng mức nhiễm bẩn và dấu hiệu suy giảm hệ thống. Với cấp C và D, yêu cầu lỏng hơn, nhưng nguyên tắc lập luận thì không đổi: chương trình giám sát tồn tại để phát hiện thay đổi, và một chương trình có lỗ hổng không phát hiện được thay đổi rơi vào đúng lỗ hổng đó.

Sáu kiểu gián đoạn và kiểu nguy hiểm nhất

Sáu kiểu dưới đây khác nhau ở một điểm quan trọng: kiểu nào để lại khoảng trống nhìn thấy được và kiểu nào để lại dữ liệu vẫn chảy nhưng đã mất ý nghĩa.

Hai dòng cuối là trọng tâm của bài này. Chúng nguy hiểm hơn hẳn bốn dòng trên vì hệ thống không hề báo lỗi, biểu đồ vẫn liền mạch, và xu hướng số đếm thậm chí đi xuống — thứ mà người đọc dữ liệu dễ diễn giải thành tin tốt. Một khoảng trống nhìn thấy được sẽ buộc ai đó phải hành động; một dòng dữ liệu sai lặng lẽ sẽ được đưa vào báo cáo tháng và ký duyệt.

Đây là lý do một hệ giám sát nghiêm túc phải theo dõi tình trạng của chính phép đo, không chỉ theo dõi kết quả đo. Tối thiểu: giám sát lưu lượng thực tế của từng điểm, cảnh báo khi lưu lượng lệch khỏi dải cho phép, và ghi lại trạng thái này cùng chuỗi dữ liệu đếm hạt. Bốn điểm chết trên chuỗi lấy mẫu được phân tích riêng trong bài bốn điểm chết của chuỗi lấy mẫu trong hệ giám sát hạt liên tục.

Một kiểu thứ bảy ít được nhắc: lệch đồng hồ

Khi máy chủ và cảm biến không dùng chung một nguồn thời gian, dữ liệu vẫn đầy đủ nhưng dấu thời gian sai. Hậu quả chỉ lộ ra khi cần ghép dữ liệu đếm hạt với nhật ký sản xuất để điều tra một sai lệch — đúng lúc mà độ chính xác thời gian quan trọng nhất. Đồng bộ thời gian nên là hạng mục kiểm định kỳ, không phải việc cấu hình một lần rồi quên.

Ba mức phản ứng theo độ dài gián đoạn

Không phải gián đoạn nào cũng cần cùng một mức xử lý. Phân tầng theo thời gian giúp đội vận hành phản ứng nhanh mà không tạo gánh nặng hồ sơ vô ích. Bảng dưới đây là khung đề xuất của Techmaster; ngưỡng thời gian cụ thể phải do từng nhà máy tự đặt trên cơ sở đánh giá rủi ro và ghi vào quy trình, vì không có con số quy định chung.

Điểm mấu chốt của bảng này không phải các con số mà là quyết định phân mức phải nằm trong tay người vận hành ngay tại thời điểm xảy ra, dựa trên tiêu chí viết sẵn. Nếu việc phân mức phải chờ họp, thì tới lúc họp xong khoảng trống đã thành sự đã rồi và mọi phương án đo bù đều đã hết cửa.

Đo dự phòng bằng máy xách tay và giới hạn của nó

Phương án dự phòng phổ biến nhất là dùng máy đếm hạt xách tay đặt tại vị trí của cảm biến bị mất. Phương án này hợp lý nhưng có bốn giới hạn phải biết trước, nếu không nó tạo ra một tập dữ liệu mà sau này không ghép được với chuỗi chính.

Giới hạn thứ ba đáng được nhấn mạnh. Con người là nguồn phát sinh hạt lớn nhất trong phòng sạch, nên việc đưa người vào để đo bù có thể tự tạo ra chính hiện tượng đang muốn theo dõi. Điều này không làm phương án dự phòng vô giá trị, nhưng buộc phải ghi lại đủ ngữ cảnh để sau này diễn giải đúng — nếu không, dữ liệu đo bù sẽ trông xấu hơn dữ liệu thường quy và tạo ra một cuộc điều tra không cần thiết.

Với các phòng có sẵn máy xách tay dùng cho phân loại định kỳ, đây gần như là phương án miễn phí về mặt đầu tư — chỉ cần bổ sung quy trình. Đặc tính lưu lượng của các lớp máy khác nhau được đối chiếu trong bài lưu lượng 28,3 / 50 / 100 LPM và thời gian lấy mẫu.

Hồ sơ khoảng trống dữ liệu: tám trường tối thiểu

Bộ trường dưới đây là đề xuất thực hành của Techmaster, xây dựng theo nguyên tắc: hồ sơ phải đủ để một người không có mặt lúc đó, đọc lại sau hai năm, vẫn dựng lại được chuyện gì đã xảy ra và vì sao kết luận như vậy.

1. Thời điểm bắt đầu và kết thúc gián đoạn — theo nguồn thời gian nào, và nguồn đó có được đồng bộ không.
2. Phạm vi — những điểm đo nào bị ảnh hưởng, những điểm nào không.
3. Trạng thái sản xuất trong quãng đó — đang chế biến tới hạn, đang vệ sinh, hay phòng trống. Đây là trường quyết định mức độ nghiêm trọng.
4. Nguyên nhân trực tiếp — kèm bằng chứng: nhật ký hệ thống, mã lỗi, ảnh chụp hiện trạng.
5. Biện pháp đo bù đã áp dụng — thiết bị nào, đặt ở đâu, ai thực hiện, kết quả ra sao.
6. Bằng chứng thay thế — chênh áp, nhiệt độ và độ ẩm, dữ liệu giám sát vi sinh, nhật ký ra vào phòng, dữ liệu của các điểm lân cận không bị ảnh hưởng.
7. Đánh giá tác động — kết luận về lô hoặc về giai đoạn sản xuất, do ai ký.
8. Hành động khắc phục và phòng ngừa — kèm thời hạn và người chịu trách nhiệm.

Trường số 6 là trường cứu vãn tình thế và cũng là trường bị bỏ quên nhiều nhất. Một phòng sạch không chỉ được theo dõi bằng số đếm hạt. Nếu trong quãng mất dữ liệu, chênh áp giữa các cấp vẫn ổn định, nhiệt độ và độ ẩm không biến động, không có người ra vào bất thường, và các điểm đo lân cận vẫn bình thường, thì tập hợp các dữ kiện đó tạo thành một lập luận có sức nặng. Ngược lại, nếu không có bất cứ dữ liệu nào khác được lưu, khoảng trống sẽ đúng nghĩa là khoảng trống.

Khôi phục: bốn phép kiểm trước khi tin lại dữ liệu

Sau khi sự cố được khắc phục, hệ thống chạy lại và biểu đồ tiếp tục. Câu hỏi chưa được trả lời là: dữ liệu mới có tin được không? Bốn phép kiểm sau nên chạy trước khi đóng hồ sơ, và nên chạy theo đúng thứ tự này.

1. Nền đếm với phin lọc ở đầu vào

Lắp phin lọc vào đầu hút và để máy chạy. Kết quả phải về gần không theo đúng đặc tính công bố của thiết bị. Phép này bắt được hỏng hóc quang học và nhiễu điện — hai thứ có thể phát sinh sau một sự cố nguồn điện.

2. Lưu lượng thực tế

Đo bằng phương tiện độc lập, không tin con số hiển thị trên chính máy. Đây là phép bắt được hai kiểu gián đoạn nguy hiểm nhất trong bảng ở trên — mất chân không và rò đường ống — kể cả khi chúng chưa đủ nặng để hệ báo lỗi.

3. Tính toàn vẹn của chuỗi dữ liệu

Kiểm xem dữ liệu đệm trong cảm biến đã được đẩy lên đủ chưa, có bản ghi nào trùng dấu thời gian hay bị ghi đè không, và ranh giới hai bên khoảng trống có khớp không. Với hệ có đệm nội bộ, đây chính là bước có thể thu hẹp đáng kể khoảng trống — đôi khi từ vài giờ xuống vài phút.

4. Đối chứng tại một vị trí quen thuộc

Đặt một máy xách tay đã hiệu chuẩn cạnh đầu hút cố định và đo song song. So hai kết quả sau khi quy về cùng đơn vị nồng độ. Không kỳ vọng hai con số bằng nhau — kỳ vọng chúng cùng bậc và nhất quán với dữ liệu lịch sử của vị trí đó.

Chỉ khi bốn phép này đạt thì mới nên đóng hồ sơ và tuyên bố hệ đã trở lại trạng thái tin cậy. Nếu bỏ qua và chỉ dựa vào việc “biểu đồ trông bình thường trở lại”, bạn có thể đang tin vào một hệ đã hỏng theo cách không tạo ra dấu hiệu.

Thiết kế để gián đoạn ít đi và ngắn lại

Phần lớn thời gian ngừng có thể rút ngắn bằng các quyết định ở giai đoạn thiết kế, chi phí thấp hơn nhiều so với xử lý hậu quả.

Dòng cuối cùng trong nhóm cảnh báo đáng được nhắc lại: rất nhiều hệ thống được cấu hình để la lên khi số đếm vượt ngưỡng, nhưng im lặng tuyệt đối khi không còn số đếm nào cả. Cấu hình một cảnh báo cho tình trạng “không có dữ liệu mới sau N phút” là việc làm một lần, tốn vài phút, và nó biến kiểu gián đoạn nguy hiểm nhất về mặt phát hiện muộn thành kiểu dễ phát hiện nhất.

Lộ trình bốn tuần

Tuần 4 là tuần quan trọng nhất và cũng hay bị cắt nhất. Một quy trình ứng phó chưa từng được diễn tập là một tài liệu, không phải một năng lực. Diễn tập nên thực hiện ngoài giờ sản xuất, có thông báo trước cho bộ phận chất lượng, và có mục tiêu đo được: bao nhiêu phút từ lúc sự cố xảy ra tới lúc có người biết, và bao nhiêu phút tới lúc phương án đo bù bắt đầu chạy.

Tóm lại

Ba điều đáng nhớ. Thứ nhất, kiểu gián đoạn nguy hiểm nhất không phải kiểu làm mất dữ liệu mà là kiểu để dữ liệu tiếp tục chảy sau khi phép đo đã hỏng — nghĩa là hệ phải giám sát cả tình trạng của chính phép đo, trước hết là lưu lượng. Thứ hai, khoảng trống phải được để nguyên và giải thích bằng bằng chứng thay thế, không được lấp. Thứ ba, hầu hết giá trị thu được đến từ ba việc rẻ tiền: cảnh báo vắng dữ liệu, cảnh báo lưu lượng, và một buổi diễn tập.

Về mặt thiết bị, khả năng đệm dữ liệu tại chỗ và báo trạng thái của cảm biến là tiêu chí nên đưa vào bảng đánh giá ngay từ khi chọn mua, chứ không phải phát hiện thiếu sau sự cố đầu tiên. Các dòng cảm biến cố định như PMS Airnet II 310-4 và cảm biến từ xa PMS IsoAir Pro-E được chọn cho các hệ giám sát liên tục chính vì lý do này, và phần quản lý cảnh báo cùng lưu vết thao tác nằm ở lớp phần mềm như phần mềm phòng sạch PMS FacilityPro.