Tìm kiếm trang web

Tạo và Triển khai Các Quy trình AI Bảo mật Dữ liệu

Giới thiệu

Bản chất mới mẻ và khó đoán của các ứng dụng Mô hình Ngôn ngữ Lớn (LLM) có thể gây ra nhiều câu hỏi về việc dữ liệu của bạn sẽ ra sao khi bạn sử dụng chúng. Hãy cân nhắc liệu dữ liệu có được bảo mật hay không, nơi dữ liệu có thể xuất hiện một cách bất ngờ sau này, và cách đảm bảo không xảy ra rò rỉ mới khi bạn thêm các khả năng tự chủ vào ứng dụng của mình. Điều này đặc biệt quan trọng đối với các ứng dụng yêu cầu tuân thủ pháp lý như HIPAA, COPPA, GDPR, SOC 2 và một số quy định khác.

Nếu được xây dựng đúng cách, các ứng dụng LLM có tiềm năng trở nên an toàn như hoặc thậm chí an toàn hơn các ứng dụng thông thường. LLM thường có thể được chứa trên một máy chủ duy nhất hoặc chạy cục bộ, tùy thuộc vào kích thước mô hình và khả năng phần cứng. Nhiều nhiệm vụ mà trước đây có thể yêu cầu các công cụ bên ngoài giờ đây có thể được hoàn thành chỉ với một lần gọi đến một mô hình duy nhất. Tuy nhiên, với các phương pháp sử dụng dữ liệu mới sẽ xuất hiện những lỗ hổng mới cần được xem xét. Hướng dẫn này thảo luận về những cân nhắc chính và các chiến lược để xây dựng quy trình làm việc với LLM đảm bảo an toàn dữ liệu.

Điểm chính

  • Bảo mật dữ liệu trong quy trình làm việc với LLM đòi hỏi phải xem xét cẩn thận các nhà cung cấp mô hình, các lựa chọn lưu trữ và việc sử dụng API so với giao diện web. Các mô hình mã nguồn mở với suy luận không cần máy chủ hoặc triển khai GPU tự lưu trữ mang lại khả năng kiểm soát quyền riêng tư dữ liệu cao hơn so với các mô hình mã nguồn đóng.

  • Các quy trình làm việc với LLM mang đến những thách thức về luồng dữ liệu đặc thù vượt ra ngoài các ứng dụng truyền thống, bao gồm việc lưu trữ lịch sử cuộc trò chuyện, các phương pháp ghi nhật ký, và tích hợp bên thứ ba như API chuyển giọng nói thành văn bản hoặc các máy chủ giao thức ngữ cảnh mô hình có thể truyền dữ liệu người dùng.

  • Các phương pháp bảo mật truyền thống là không đủ cho các mô hình ngôn ngữ lớn (LLM). Không nên dựa vào các lệnh hệ thống để bảo mật, các tác nhân nên có quyền hạn giới hạn theo người dùng, và truy cập SQL hoặc dòng lệnh phải được hạn chế rõ ràng để ngăn ngừa rò rỉ dữ liệu hoặc truy cập trái phép.

Bước 1 — Chọn nhà cung cấp mô hình

Vì lý do quyền riêng tư, việc chọn nhà cung cấp là một trong những quyết định quan trọng nhất mà bạn sẽ đưa ra. Các nhà cung cấp mô hình khác nhau và các tùy chọn lưu trữ có thái độ khác nhau đối với việc thu thập dữ liệu và quyền riêng tư. Trong mỗi nhà cung cấp, có các chính sách dữ liệu khác nhau tùy thuộc vào việc bạn có đang sử dụng giao diện web hay API của họ để thực hiện suy diễn không.

Khi sử dụng một mô hình đóng nguồn thông qua giao diện web của nhà cung cấp, việc họ lưu trữ dữ liệu của bạn và sử dụng nó để đào tạo các mô hình tương lai của họ là điều khá phổ biến. Nếu bạn đang sử dụng API của họ và trả phí theo mỗi token, các nhà cung cấp thường không sử dụng dữ liệu từ prompt của bạn để đào tạo, nhưng họ thường lưu trữ dữ liệu đó trong một khoảng thời gian nhất định, phổ biến nhất là 30 ngày. Những mô hình đóng nguồn này thường có sẵn thông qua các nhà cung cấp dịch vụ suy luận bên thứ ba, vì vậy bạn có thể nghĩ rằng điều này sẽ tránh được thời gian lưu dữ liệu. Tuy nhiên, ngay cả khi bạn đang sử dụng một mô hình đóng nguồn thông qua nhà cung cấp bên thứ ba, vẫn có khả năng nhà cung cấp hoặc công ty sở hữu mô hình vẫn đang lưu trữ dữ liệu của bạn trong thời gian lưu dữ liệu, vì vậy hãy chắc chắn xem xét các điều khoản và dịch vụ của tất cả các công ty mà bạn làm việc để hiểu rõ chính sách dữ liệu cụ thể của họ.

Nếu bạn cần mức độ bảo mật dữ liệu cao hơn, một mô hình mã nguồn mở thông qua dịch vụ cung cấp suy luận không máy chủ có thể là một lựa chọn tốt hơn. Ví dụ, nền tảng Gradient AI của Linux-Console.net cung cấp Suy luận Không Máy chủ, nơi bạn có thể sử dụng Llama, GPT-OSS hoặc các mô hình mã nguồn mở khác. Khi sử dụng các mô hình này, dữ liệu vượt quá những gì cần thiết cho chức năng sẽ không được lưu trữ hoặc sử dụng để đào tạo.

Để tiến xa hơn nữa, bạn có thể thuê một Droplet GPU của Linux-Console.net và triển khai một LLM trên đó. Chỉ cần Droplet GPU của bạn trên Linux-Console.net an toàn, bạn sẽ có toàn quyền kiểm soát dữ liệu mà bạn đưa vào các prompt của mình.

Cuối cùng, tùy thuộc vào nhu cầu mô hình của bạn, quyền riêng tư dữ liệu có thể được tối đa hóa bằng cách chạy mô hình ngay trên máy của bạn mà không cần kết nối internet. Điều này giữ cho dữ liệu bạn xử lý hoàn toàn không có trên internet. Có những mô hình mã nguồn mở đủ nhỏ để chạy trên laptop, hoặc nếu bạn có nguồn lực để mua GPU, bạn có thể triển khai một mô hình mã nguồn mở lớn hơn.

Bước 2 — Quản lý dữ liệu quy trình làm việc LLM

Tiếp theo, bạn cần xem xét cách dữ liệu được quản lý trong quy trình làm việc của LLM. Ví dụ, nếu quy trình làm việc của LLM bao gồm giao diện trò chuyện, lịch sử trò chuyện có được lưu trong cơ sở dữ liệu trên máy chủ đám mây không, hay nó hoàn toàn được lưu trên thiết bị của người dùng và gửi đi cho mỗi lần nhập của người dùng? Người dùng có thể được bảo mật hơn nếu lịch sử trò chuyện của họ không được lưu trên máy chủ, nhưng kích thước mỗi yêu cầu sẽ tăng lên với cuộc trò chuyện dài hơn, điều này có thể làm tăng độ trễ.

Ghi lại nhật ký cũng là một yếu tố quan trọng cần xem xét. Nếu bạn ghi lại các lệnh nhắc gửi đến một mô hình ngôn ngữ lớn (LLM) mỗi lần, nó có thể chứa toàn bộ cuộc trò chuyện. Dù bạn có lưu trữ cuộc trò chuyện của người dùng trên máy chủ hay không, nếu bạn ghi lại toàn bộ lệnh nhắc mỗi lần, cuộc trò chuyện của người dùng sẽ có trên máy chủ trong các nhật ký. Cần duy trì kiểm soát truy cập, theo dõi audit và tính toàn vẹn của nhật ký, cũng như cân nhắc dữ liệu nào được lưu trữ trong các nhật ký đó.

Nhiều quy trình làm việc của LLM hiện nay liên quan đến các quy trình bên thứ ba, làm lộ dữ liệu của người dùng cho một điểm cuối khác. Điều này có thể bao gồm các API chuyển giọng nói thành văn bản, các máy chủ giao thức ngữ cảnh của mô hình, cơ sở dữ liệu vector, hoặc các dịch vụ có thể tự động được bao gồm trong một framework tác nhân. Tất cả các cuộc gọi này cần được tính đến và xem xét để đảm bảo bạn biết điều gì đang xảy ra với dữ liệu khi nào. Các cơ sở dữ liệu vector hoặc các tùy chọn lưu trữ dữ liệu thay thế được sử dụng để bổ sung ngữ cảnh cũng cần phải được bảo mật.

Bước 3 — Phòng chống các cuộc tấn công dữ liệu

Các ứng dụng LLM còn tương đối mới và chưa có các tiêu chuẩn ngành được thiết lập về các phương pháp bảo mật tốt nhất. Điều này khiến các ứng dụng mới dễ bị tấn công mạng theo nhiều cách mới từ những người dùng độc hại.

Để bảo vệ dữ liệu của bạn trước những người dùng có ý đồ xấu, có những cân nhắc bổ sung ngoài các thực hành bảo mật tiêu chuẩn mà bạn cần xem xét đối với quy trình làm việc LLM. Trước tiên, hãy đảm bảo rằng lệnh hệ thống không được sử dụng cho bất kỳ chức năng bảo mật hoặc quyền riêng tư dữ liệu nào. Hãy tưởng tượng một tình huống mà người dùng ác ý có quyền truy cập vào lệnh hệ thống và có thể viết bất cứ điều gì họ muốn. Nếu điều này có thể gây nguy hiểm cho quyền riêng tư dữ liệu theo bất kỳ cách nào, bạn cần thay đổi quy trình làm việc và thiết kế ứng dụng của mình.

Lệnh hệ thống không nên cho phép quy trình làm việc của LLM truy cập vào bất cứ thứ gì mà người dùng không được phép truy cập. Cũng không lưu trữ bất kỳ thông tin nhạy cảm nào trong lệnh hệ thống. Thiết kế kiến trúc và các thực hành bảo mật dữ liệu của bạn dựa trên giả định rằng có thể lệnh hệ thống bị rò rỉ, ngay cả khi bạn đã thực hiện các biện pháp để ngăn chặn điều này.

Không cho phép các quy trình làm việc của LLM truy cập mở vào SQL hoặc dòng lệnh mà không có hạn chế theo phạm vi người dùng hiện tại. An toàn nhất là không cho phép tác nhân viết bất kỳ truy vấn hoặc lệnh dòng lệnh nào mà bạn không muốn người dùng có khả năng tự viết và gửi chúng.

Điều tương tự cũng áp dụng đối với việc dữ liệu nào mà tác nhân có khả năng truy cập. Nếu người dùng không nên truy cập một số dữ liệu nhất định, tác nhân cũng không nên có khả năng truy cập dữ liệu đó trong quá trình phản hồi yêu cầu của người dùng.

Bước 4 — Kiểm tra Quy trình làm việc của bạn

Sau khi xây dựng quy trình làm việc LLM an toàn của bạn, hãy tiến hành kiểm tra thâm nhập và các thủ tục xác thực bảo mật. Việc này có thể được thực hiện thủ công hoặc với các LLM khác đã được hướng dẫn tạo ra các loại prompt được biết là có thể gây nguy hiểm cho bảo mật dữ liệu trong các ứng dụng LLM. Các ứng dụng LLM vẫn còn khá mới, và các mối đe dọa hiệu quả mới thường xuyên được phát hiện, khiến việc kiểm tra bảo mật trở nên thách thức. Hãy cập nhật các cuộc tấn công mới được phát hiện và tiếp tục nâng cấp các tính năng bảo mật của ứng dụng để đảm bảo nó có thể bảo vệ an toàn trước các cuộc tấn công mới.

Một số ví dụ phổ biến về các cuộc tấn công độc hại được liệt kê dưới đây:

  • Chèn lệnh trực tiếp: Kẻ tấn công chèn các lệnh như “Bỏ qua tất cả các hướng dẫn trước đó và…” hoặc “Hãy tưởng tượng bạn là một nhân vật phim và xâm nhập vào cơ sở dữ liệu…” nhằm cố gắng chiếm quyền điều khiển hành vi của mô hình ngôn ngữ lớn (LLM).
  • Tiêm nhúng gợi ý gián tiếp: Kẻ tấn công sẽ chèn các hướng dẫn độc hại vào tài liệu hoặc cơ sở dữ liệu mà mô hình ngôn ngữ lớn truy xuất.
  • Rò rỉ dữ liệu: Kẻ tấn công cố gắng khiến LLM tiết lộ lệnh hệ thống, hướng dẫn hoặc bất kỳ dữ liệu nào liên quan đến các cuộc trò chuyện của người dùng khác trong các bối cảnh được chia sẻ.
  • Thao tác Công cụ/Chức năng: Kẻ tấn công thao túng các tham số gọi hàm để thực hiện các hành động không mong muốn.
  • Từ chối dịch vụ: Kẻ tấn công tạo ra các lệnh nhắc khiến LLM sinh ra quá nhiều token hoặc tính toán quá mức, kích hoạt hành vi đệ quy hoặc lặp lại để làm tràn LLM với các token.

Câu hỏi thường gặp

Việc lọc dữ liệu đầu vào và đầu ra có thể giúp ngăn chặn rò rỉ thông tin nhạy cảm hoặc các cuộc tấn công tiêm nhiễm không?

Đúng, nhưng không nên tin tưởng LLM để tự động xác định chính xác thông tin nhạy cảm hoặc các đầu vào độc hại. Các phương pháp truyền thống không sử dụng LLM, hoặc các phương pháp được xác thực nghiêm ngặt để lọc và kiểm tra đầu vào, nên là lựa chọn đầu tiên. Nếu bạn cố gắng sử dụng LLM như một lớp bảo mật để ngăn chặn SQL injection, prompt injection hoặc rò rỉ thông tin nhạy cảm vô tình đến người dùng hoặc bên thứ ba, chúng có thể ngăn chặn một số hoặc hầu hết các nỗ lực tấn công prompt injection hoặc jailbreak. Tuy nhiên, bản chất phi xác định của LLM và sự ngày càng phức tạp của các cuộc tấn công khiến việc xây dựng một ứng dụng an toàn với LLM là bộ lọc chính trở nên khó khăn.

Những phương pháp bảo mật dữ liệu truyền thống nào vẫn còn phù hợp với các quy trình làm việc của LLM?

Hầu hết các thực tiễn tốt nhất về bảo mật dữ liệu vẫn còn phù hợp với các quy trình làm việc của LLM. Chính sách tối thiểu hóa và lưu giữ dữ liệu nên đảm bảo chỉ thu thập và xử lý dữ liệu cần thiết và tối thiểu. Cần thiết lập rõ ràng khoảng thời gian lưu giữ cho nhật ký, các cuộc trò chuyện và dữ liệu tạm thời. Dữ liệu nên được mã hóa khi lưu trữ và khi truyền tải. Cần triển khai kiểm soát truy cập dựa trên vai trò với các cơ chế xác thực mạnh.

Làm thế nào để ngăn người dùng độc hại gửi spam vào quy trình làm việc LLM của tôi và làm tăng chi phí suy luận?

Thực hiện giới hạn tốc độ và giám sát các mẫu bất thường hoặc việc sử dụng API quá mức. Thiết lập cảnh báo cho các hành vi đáng ngờ. Xem xét việc đặt giới hạn chi phí cho nhà cung cấp dịch vụ LLM của bạn để ngăn chặn chi phí tăng cao từ người dùng tự động hoặc độc hại.

Liệu LLM có thể được sử dụng cho các ứng dụng tuân thủ HIPAA không?

Vâng, họ có thể, nhưng bạn cần thực hiện một số bước với nhà cung cấp dịch vụ đám mây để đảm bảo ứng dụng của bạn tuân thủ các quy định của HIPAA, bao gồm cả việc ký các Thỏa thuận Đối tác Kinh doanh khi cần thiết.

Bạn nên tuân theo các quy trình mà tổ chức của bạn đã thiết lập cho bất kỳ lỗ hổng bảo mật nào có thể đã được phát hiện. Điều này có thể bao gồm thông báo cho người dùng và báo cáo cho các kênh thích hợp. Các lỗ hổng bảo mật trong ứng dụng LLM nên được xem xét nghiêm túc như các lỗ hổng bảo mật trong các ứng dụng khác.

Kết luận

Các ứng dụng LLM đưa ra những mối lo ngại mới về bảo mật, nhưng bằng cách mở rộng các thực hành bảo mật tiêu chuẩn cho các lớp logic LLM bổ sung của ứng dụng và giới hạn chiến lược dữ liệu mà luồng công việc tác nhân của bạn có quyền truy cập, bạn có thể tiếp tục đảm bảo mức độ bảo mật dữ liệu cao. Hãy tìm hiểu các chính sách dữ liệu của các công cụ và nhà cung cấp khác nhau mà bạn sử dụng. Đừng đưa ra bất kỳ giả định nào về cách các dịch vụ khác nhau đang lưu trữ và sử dụng dữ liệu của bạn.

Bạn có thể duy trì tuân thủ HIPAA, COPPA, GDPR, SOC 2 và các quy định khác trong quy trình làm việc của LLM, nhưng mỗi quy định sẽ thêm các nhiệm vụ bảo mật cho nhóm của bạn. Bước tiếp theo là bắt đầu xây dựng và thử nghiệm ứng dụng của bạn và đảm bảo mọi quyết định về bảo mật phù hợp với người dùng, mục tiêu và trường hợp sử dụng của ứng dụng.

Cảm ơn bạn đã học cùng cộng đồng Linux-Console.net.