1. Đặt vấn đề:

Hiện nay Việt Nam có khoảng 486.000 người còn sống sau đột quỵ, trong đó có 20% đến 45% là liệt toàn thân và không thể nói được.

Theo các tài liệu trước đây, định nghĩa về bệnh nhân sống thực vật có ghi “ Sống thực vật là một tình trạng mãn tính khi cơ thể vẫn còn duy trì được huyết áp, nhịp thở và các chức năng tim mạch nhưng khả năng nhận thức thì đã không còn.” Tuy nhiên, theo tài liệu nghiên cứu từ năm 2005, Tiến sĩ Adrian Owen (Viện Não bộ và Lý trí, Đại học Western Ontario, Canada) đã chứng minh được rằng người sống thực vật vẫn nhận thức được các sự kiện bên ngoài, tuy nhiên không thể ra hiệu hay giao tiếp với người bên cạnh được.

Ngoài ra, còn có các hội chứng như ALS (Xơ cứng teo cơ một bên) cũng bị liệt hoàn toàn và rất muốn giao tiếp nhưng không thể.

Trong quá trình nghiên cứu, cho thấy một bệnh nhân khi gặp phải các trường hợp trên sẽ chết dần các tế bào não vì không được sử dụng.

Từ những trường hợp nêu trên, có thể thấy nhu cầu giao tiếp là rất cần thiết giữa bệnh nhân và người nhà, người chăm sóc bệnh nhân. Ứng dụng công nghệ Thị giác máy tính đang phát triển ngày nay, tôi đã nghiên cứu thành công dự án “Hệ thống hỗ trợ giao tiếp bằng mắt cho bệnh nhân mắc hội chứng Lock In Syndrome”. 

2. Nội dung thực hiện

- Giải pháp được thực hiện cùng với khoa “Y học cổ truyền” – Bệnh viện Gò Vấp (đường Quang Trung), từ tháng 8/2019 đến nay gồm các nội dung thực hiện như sau

• Nghiên cứu bệnh nhân vừa bị liệt vừa bị mất giọng nói tại bệnh Viện Gò Vấp

• Nghiên cứu đối tượng mắc các hội chứng bị liệt, mất giọng nói

• Ứng dụng công nghệ Thị giác máy tính để điều khiển chuột máy tính bằng mắt

• Sử dụng ngôn ngữ Python, lập trình hệ thống nhúng trên Raspberry

• Thiết kế hệ thống giúp người liệt, mất giọng nói có thể giao tiếp cơ bản với người bên ngoài bằng mắt

• Thử nghiệm trên bệnh nhân cụ thể tại bệnh viện Gò Vấp

• Theo dõi, đánh giá kết quả và phát triển sản phẩm

3. Kết quả thu được:

• Đưa ra thuật toán điều khiển chuột máy tính bằng mắt, từ đó xây dựng 1 phần mềm điều khiển và một phần mềm giao diện, chạy song song nhau và kết nối được với phần cứng.

• Thiết kế thành công hệ thống giúp bệnh nhân có thể giao tiếp cơ bản với người nhà bệnh nhân như: trả lời các câu hỏi có/không; yêu cầu đi vệ sinh (nặng/nhẹ); nóng/lạnh; đánh vần các câu đơn giản; gọi cảnh báo

• Giúp hạn chế chết tế bào não và giúp bệnh nhân nhanh hồi phục hơn.

4. Sản phẩm cụ thể

4.1. Tổng quát toàn bộ hệ thống:

Một màn hình sẽ được lắp đặt phía trước mặt bệnh nhân, cùng với đó là camera ghi lại chuyển động mắt và gửi về Raspberry để chuyển thành tín hiệu điều khiển chuột máy tính. Từ đây, Raspberry sẽ đưa tín hiệu cảnh báo tới chân I/O khi cần.

Trong đó, Raspberry sẽ thực hiện cùng lúc hai phần mềm là phần mềm điều khiển chuột bằng mắt và phần mềm hiển thị giao diện. Việc tách 2 phần mềm chạy song song sẽ giúp giảm delay trong mỗi quá trình lặp.

4.2. Phần mềm điều khiển chuột bằng mắt

Phần mềm có chức năng lấy tín hiệu từ camera, tím kiếm khuôn mặt, từ đó bóc tách để nhận diện mắt trái và phải, từ đó sử dụng mỗi tín hiệu từ mỗi mắt để thực hiện mỗi chức năng riêng (xem hình 4.3)

Một số thư viện được sử dụng trong phần mềm này là:

• OpenCV: Dùng để tìm kiếm khuôn mặt, mắt. Tìm kiếm đường tròn,...

• Numpy (as np): Dùng để tính toán các tọa độ

• Pyautogui: Dùng để điều khiển chuột

• Math: Tính toán khoảng cách giữa các tọa độ

Từ đây, ta sử dụng mỗi mắt để thực hiện một công việc riêng:

• Mắt trái dùng để điều khiển vị trí chuột

• Mắt phải dùng để kick chuột

•  Khi cả hai mắt cùng đóng, thiết bị sẽ nằm ở vị trí chờ sẵn

• Khi cả hai mắt cùng mở, thiết bị sẽ theo dõi chuyển động của mắt

• Khi mắt trái mở, mắt phải đóng, thiết bị sẽ thực hiện động tác kick chuột

4.3. Phần mềm hiển thị giao diện

Hình 4.5: Tổng quát phần mềm giao diện

Phần mềm giao diện có nhiệm vụ nhận phản hồi từ mắt, sau đó đưa tín hiệu ra loa và chân output của Raspberry (xem hình 4.5)

 4.4. Thiết kế giao diện của hệ thống

 Đề tài nghiên cứu ra một dạng giao diện mới, được gọi là giao diện hướng tâm. Giao diện này giúp cho người dùng có thể điều khiển phần mềm nhanh hơn gấp 2 lần so với giao diện thông thường.

- Phần nút nhấn nhanh:

• Trả lời câu hỏi có/ không

• Yêu cầu đi vệ sinh (nặng/nhẹ)

- Phần đánh vần là bàn phím được đơn giản hóa

- Phần nút khẩn cấp để báo động

- Phần hiển thị hình ảnh người thân

4.5. Phần cứng

- Sơ đồ hệ thống phần cứng

Bộ xử lý chính của hệ thống là Raspberry, ở đây sẽ nhận tính hiệu từ Camera và xuất tính hiệu ra Màn hình, còi báo, loa.

Camera có thể kết nối với Raspberry qua USB hoặc qua wifi, tuy nhiên sử dụng kết nối USB sẽ ổn định hơn so với Camera.

Màn hình sẽ được kết nối với Raspberry qua cổng HDMI, Loa sẽ được kết nối từ cổng Audio và Còi báo sẽ được lắp với chân Pin OUT.

- Thiết kế khung

Phần khung sẽ có tác dụng giữ màn hình trước bệnh nhân, bao gồm phần chân đỡ, cột đỡ và phần cánh tay giữ màn hình (hình 4.9)

5. Đánh giá kết quả sử dụng

- Giao diện phần mềm được thiết kế đơn giản, do đó người dùng thao tác cũng đơn giản hơn. Thời gian ngắn nhất cho việc chọn 2 lệnh liên tiếp là gần bằng 4 giây. Tốc độ này vẫn có thể nhanh hơn bằng cách cài đặt ở phần mềm điều khiển tuy nhiên hệ thống vẫn giữ tốc độ này để giúp bệnh nhân có thể kiểm soát dễ dàng hơn.

- Sử dụng chuột máy tính để kiểm tra tốc độ phản ứng từ giao diện đến một đèn Led trên phần cứng, cho thấy độ trễ của phản hồi sau mỗi lần kick chuột trên giao diện từ chân I/O là 0,5 giây. Sử dụng mắt để điều khiển bật tắt chuông báo cũng cho ra kết quả tương tự. Khoảng thời gian trễ này liên quan đến thư viện được sử dụng.

- Sau nhiều quá trình thực nghiệm, bệnh nhân khi sử dụng hệ thống dễ dàng điều khiển các thiết bị, người nhà có thể hiểu được người thân của mình đang có nhu cầu đi vệ sinh, hiểu được người thân đồng ý hay không đồng ý câu hỏi của mình. Tuy nhiên, có khá ít trường hợp bệnh nhân muốn sử dụng chức năng báo động (gọi khẩn cấp người thân đến), tuy nhiên hệ thống vẫn giữ một nút báo động trên giao diện để đề phòng trong trường hợp khẩn cấp.

- Hệ thống ngoài việc hỗ trợ người bệnh giao tiếp và hỗ trợ người nhà chăm sóc, còn có thể đẩy nhanh quá trình hồi phục nhận thức.

6. Hướng phát triển hệ thống

Từ thành công ban đầu, hệ thống sẽ tiếp tục được phát triển các chức năng như:

- Đánh vần các từ đơn giản

- Kiểm soát thông số môi trường tại giường bệnh

- Hỗ trợ theo dõi bệnh nhân từ xa

- Áp dụng trí tuệ nhân tạo để đưa ra thông số về tình trạng sức khỏe bệnh nhân

- Thiết kế thiết bị có thể di động được cho bệnh nhân ngồi xe lăn  

Thông tin

 Tên tác giả: TRẦN ĐĂNG KHOA

Địa chỉ: 06 Lê Lợi, P. 4, Q. Gò Vấp, TP. HCM

Điện thoại: 0355 092 646