Bỏ qua điều hướng

Ghi chép kỹ thuật

Blog OpenVie

Các bài viết đi vào những chỗ khó của một hệ RAG tự lưu trữ: hợp nhất kết quả truy hồi, từ chối khi thiếu bằng chứng, tách OLTP khỏi OLAP, quy trình phê duyệt, và bảo mật theo tầng. Mỗi bài dẫn nguồn đọc được để bạn tự kiểm chứng.

Bài mới nhất

Bài mới nhất
Mô hình cục bộTiếng ViệtOllama

Stack tiếng Việt cục bộ: BGE-M3 và VyLinh 3B trong OpenVie

Một stack RAG chạy tại chỗ cần hai mô hình làm hai việc khác nhau: một embedder để truy hồi, một mô hình sinh để viết câu trả lời. OpenVie mặc định dùng BGE-M3 và VyLinh 3B qua Ollama, và bài này giải thích cả lựa chọn lẫn giới hạn của nó.

Các phần trong bài
  1. Hai bài toán khác nhau, hai mô hình khác nhau — vì sao truy hồi và sinh văn bản phải tách
  2. BGE-M3: ba chế độ truy hồi trong một lần mã hoá
  3. Vì sao vector 1024 chiều với 8192 token ngữ cảnh lại quan trọng với văn bản hành chính
  4. VyLinh 3B: một mô hình nhỏ cho tiếng Việt
  5. Giới hạn mà chính model card thừa nhận
  6. Nạp mô hình vào Ollama

11 phút đọc13 phần

Đọc bài

Tất cả bài viết

Nguồn tham khảo ở cuối mỗi bài