Lý luận của GPT-4 giống con người hơn! Viện Hàn lâm Khoa học Trung Quốc đề xuất "giao tiếp tư duy", tư duy tương tự hoàn toàn đánh bại CoT, plug and play

Nguồn gốc: Xinzhiyuan

Nguồn hình ảnh: Được tạo bởi AI không giới hạn

Ngày nay, các mô hình mạng lưới thần kinh khổng lồ như GPT-4 và PaLM đã xuất hiện và chứng tỏ khả năng học tập ít mẫu đáng kinh ngạc.

Với những gợi ý đơn giản, trẻ có thể suy luận về văn bản, viết truyện, trả lời câu hỏi, lập trình…

Tuy nhiên, LLM thường thua con người trong các nhiệm vụ suy luận phức tạp, nhiều bước và đấu tranh vô ích.

Về vấn đề này, các nhà nghiên cứu từ Viện Hàn lâm Khoa học Trung Quốc và Đại học Yale đã đề xuất một khuôn khổ “Truyền bá tư duy” mới có thể nâng cao khả năng lập luận của LLM thông qua “tư duy tương tự”.

Địa chỉ giấy:

“Truyền bá tư duy” được lấy cảm hứng từ nhận thức của con người, đó là khi gặp một vấn đề mới, chúng ta thường so sánh nó với những vấn đề tương tự mà chúng ta đã giải quyết để rút ra chiến lược.

Vì vậy, cốt lõi của phương pháp này là để LLM khám phá các vấn đề “tương tự” liên quan đến đầu vào trước khi giải quyết vấn đề đầu vào.

Cuối cùng, các giải pháp của họ có thể được sử dụng ngay lập tức hoặc rút ra những hiểu biết sâu sắc để lập kế hoạch hữu ích.

Có thể thấy trước rằng “giao tiếp tư duy” đang đề xuất những ý tưởng mới cho những hạn chế cố hữu về khả năng logic của LLM, cho phép các mô hình lớn sử dụng “sự tương tự” để giải quyết vấn đề giống như con người.

LLM lý luận nhiều bước, bị con người đánh bại

Rõ ràng là LLM giỏi suy luận cơ bản dựa trên lời nhắc, nhưng nó vẫn gặp khó khăn khi xử lý các vấn đề phức tạp gồm nhiều bước, chẳng hạn như tối ưu hóa và lập kế hoạch.

Mặt khác, con người dựa vào trực giác từ những trải nghiệm tương tự để giải quyết các vấn đề mới.

Các mô hình lớn không thể làm được điều này do những hạn chế cố hữu của chúng.

Bởi vì kiến thức về LLM hoàn toàn xuất phát từ các mẫu trong dữ liệu huấn luyện nên nó không thể thực sự hiểu được ngôn ngữ hoặc khái niệm. Vì vậy, với tư cách là các mô hình thống kê, chúng rất khó thực hiện các phép tổng quát hóa tổ hợp phức tạp.

Điều quan trọng nhất là LLM thiếu khả năng suy luận có hệ thống và không thể suy luận từng bước như con người để giải quyết các vấn đề khó khăn.

Ngoài ra, việc suy luận của các mô hình lớn mang tính cục bộ và “thiển cận” nên LLM khó có thể tìm ra giải pháp tốt nhất và duy trì tính nhất quán của lý luận trong thời gian dài.

Tóm lại, những hạn chế của các mô hình lớn trong chứng minh toán học, hoạch định chiến lược và suy luận logic chủ yếu xuất phát từ hai vấn đề cốt lõi:

**- Không có khả năng sử dụng lại những hiểu biết sâu sắc từ kinh nghiệm trước đó. **

Con người tích lũy kiến thức và trực giác có thể tái sử dụng từ thực tiễn giúp giải quyết các vấn đề mới. Ngược lại, LLM tiếp cận từng vấn đề “từ đầu” và không vay mượn từ các giải pháp trước đó.

**- Lỗi phức hợp trong lập luận nhiều bước. **

Con người giám sát chuỗi lý luận của riêng mình và sửa đổi các bước ban đầu khi cần thiết. Nhưng những sai lầm mà LLM mắc phải trong giai đoạn đầu của quá trình lập luận sẽ càng trầm trọng hơn vì chúng dẫn đến những lý luận tiếp theo đi theo con đường sai lầm.

Những điểm yếu trên cản trở nghiêm trọng việc ứng dụng LLM trong việc giải quyết những thách thức phức tạp đòi hỏi phải tối ưu hóa toàn cầu hoặc lập kế hoạch dài hạn.

Về vấn đề này, các nhà nghiên cứu đã đề xuất một phương pháp truyền thông tư duy giải pháp hoàn toàn mới.

Khung TP

Thông qua tư duy tương tự, LLM có thể suy luận giống con người hơn.

Theo các nhà nghiên cứu, việc suy luận từ đầu không thể sử dụng lại những hiểu biết sâu sắc khi giải các bài toán tương tự và sai sót sẽ tích lũy ở các giai đoạn suy luận trung gian.

“Truyền bá tư duy” có thể khám phá những vấn đề tương tự liên quan đến bài toán đầu vào và lấy cảm hứng từ lời giải của những bài toán tương tự.

Hình dưới đây so sánh giữa “Tuyên truyền tư duy” (TP) và các công nghệ tiêu biểu khác. Đối với bài toán đầu vào p, IO, CoT và ToT sẽ suy luận từ đầu để đi đến giải pháp s.

Cụ thể TP bao gồm 3 giai đoạn:

**1. Đặt các câu hỏi tương tự: **LLM tạo ra một tập hợp các câu hỏi tương tự có điểm tương đồng với câu hỏi đầu vào thông qua lời nhắc. Điều này sẽ hướng dẫn mô hình truy xuất những trải nghiệm có liên quan trước đó.

**2. Giải quyết các vấn đề tương tự: ** Hãy để LLM giải quyết từng vấn đề tương tự thông qua công nghệ nhắc nhở hiện có, chẳng hạn như CoT.

**3. Tóm tắt giải pháp: **Có 2 cách tiếp cận khác nhau - trực tiếp suy ra giải pháp mới cho bài toán đầu vào dựa trên các giải pháp tương tự; xây dựng kế hoạch hoặc chiến lược cấp cao bằng cách so sánh các giải pháp tương tự với bài toán đầu vào.

Điều này cho phép các mô hình lớn sử dụng lại kinh nghiệm và phương pháp phỏng đoán trước đó, đồng thời kiểm tra chéo lý do ban đầu của chúng bằng các giải pháp tương tự để tinh chỉnh các giải pháp đó.

Điều đáng nói là việc “truyền bá tư tưởng” không liên quan gì đến mô hình và có thể thực hiện một bước giải quyết vấn đề duy nhất dựa trên bất kỳ phương pháp nhắc nhở nào.

Điểm mới lạ chính của phương pháp này là kích thích tư duy tương tự LLM để hướng dẫn các quá trình lý luận phức tạp.

Liệu “giao tiếp tư duy” có thể khiến LLM giống con người hơn hay không còn phụ thuộc vào kết quả thực tế.

Các nhà nghiên cứu của Viện Hàn lâm Khoa học Trung Quốc và Yale đã tiến hành đánh giá với 3 nhiệm vụ:

**- Suy luận đường đi ngắn nhất: **Nhu cầu tìm đường đi tốt nhất giữa các nút trong biểu đồ đòi hỏi phải lập kế hoạch và tìm kiếm toàn cầu. Ngay cả trên các đồ thị đơn giản, các kỹ thuật tiêu chuẩn cũng thất bại.

**- Viết sáng tạo: ** Tạo ra những câu chuyện sáng tạo, mạch lạc là một thử thách không có giới hạn. Khi được đưa ra lời nhắc về phác thảo cấp cao, LLM thường mất tính nhất quán hoặc logic.

- Lập kế hoạch đại lý LLM: Các đại lý LLM tương tác với môi trường văn bản gặp khó khăn với các chiến lược dài hạn. Kế hoạch của họ thường “trôi dạt” hoặc mắc kẹt trong vòng luẩn quẩn.

Lý luận đường đi ngắn nhất

Trong nhiệm vụ suy luận đường dẫn ngắn nhất, các vấn đề gặp phải bằng các phương pháp hiện tại không thể giải quyết được.

Mặc dù đồ thị trong (a) rất đơn giản nhưng vì suy luận bắt đầu từ 0 nên các phương pháp này chỉ cho phép LLM tìm các giải pháp dưới mức tối ưu (b, c) hoặc thậm chí truy cập nhiều lần vào nút trung gian (d).

Sau đây là ví dụ về việc kết hợp TP và ToT.

ToT(b) không giải được bài toán ở (a) do tích tụ sai số ở các bước suy luận trung gian. Dựa trên lời giải của các bài toán tương tự, TP © tinh chỉnh lời giải dưới mức tối ưu ban đầu và cuối cùng tìm ra lời giải tối ưu.

Bằng cách so sánh với đường cơ sở, hiệu suất của TP trong việc xử lý tác vụ đường đi ngắn nhất được cải thiện đáng kể 12%, tạo ra các đường đi ngắn nhất tối ưu và hiệu quả.

Ngoài ra, do OLR thấp nhất nên đường dẫn hiệu quả do TP tạo ra gần nhất với đường dẫn tối ưu so với đường cơ sở.

Đồng thời, các nhà nghiên cứu đã nghiên cứu sâu hơn về tác động của số lượng lớp TP đến độ phức tạp và hiệu suất của nhiệm vụ đường đi ngắn nhất.

Trong các cài đặt khác nhau, chi phí mã thông báo của TP lớp 1 tương tự như ToT. Tuy nhiên, TP lớp 1 đã đạt được hiệu suất rất cạnh tranh trong việc tìm ra con đường ngắn nhất tối ưu.

Ngoài ra, hiệu suất đạt được của TP lớp 1 cũng rất đáng kể so với TP lớp 0 (IO). Hình 5(a) cho thấy mức tăng chi phí mã thông báo cho TP lớp 2.

Văn bản sáng tạo

Bảng 2 bên dưới cho thấy hiệu suất của TP và đường cơ sở trong GPT-3.5 và GPT-4. Về tính nhất quán, TP vượt quá đường cơ sở. Ngoài ra, trong các nghiên cứu về người dùng, TP đã tăng mức độ ưa thích của con người trong việc viết sáng tạo lên 13%.

Lập kế hoạch đại lý LLM

Trong lần đánh giá nhiệm vụ thứ ba, các nhà nghiên cứu đã sử dụng bộ trò chơi ALFWorld để khởi tạo nhiệm vụ lập kế hoạch tác nhân LLM trong 134 môi trường.

TP tăng tỷ lệ hoàn thành nhiệm vụ lên 15% trong việc lập kế hoạch đại lý LLM. Điều này chứng tỏ tính ưu việt của TP phản ánh trong việc lập kế hoạch thành công khi hoàn thành các nhiệm vụ tương tự.

Các kết quả thực nghiệm trên cho thấy “truyền bá tư duy” có thể khái quát hóa cho nhiều nhiệm vụ suy luận khác nhau và thực hiện tốt tất cả các nhiệm vụ này.

Chìa khóa để suy luận LLM nâng cao

Mô hình “truyền bá suy nghĩ” cung cấp một công nghệ mới cho lý luận LLM phức tạp.

Tư duy tương tự là đặc điểm nổi bật của khả năng giải quyết vấn đề của con người và có thể dẫn đến một loạt lợi ích mang tính hệ thống, chẳng hạn như tìm kiếm và sửa lỗi hiệu quả hơn.

Tương tự, LLM cũng có thể khắc phục tốt hơn những điểm yếu của chính mình, chẳng hạn như thiếu kiến thức có thể tái sử dụng và các lỗi cục bộ xếp tầng, bằng cách thúc đẩy tư duy loại suy.

Tuy nhiên, có một số hạn chế đối với những phát hiện này.

Việc tạo ra các câu hỏi tương tự hữu ích một cách hiệu quả không phải là điều dễ dàng và các chuỗi lý luận tương tự dài hơn có thể trở nên khó sử dụng. Đồng thời, việc kiểm soát và điều phối chuỗi suy luận nhiều bước còn khó khăn.

Tuy nhiên, “truyền bá tư duy” vẫn cung cấp cho chúng ta một phương pháp thú vị bằng cách giải quyết một cách sáng tạo những sai sót về lập luận của LLM.

Với sự phát triển hơn nữa, tư duy loại suy có thể làm cho lý luận của LLM trở nên mạnh mẽ hơn. Và điều này cũng chỉ ra cách đạt được khả năng suy luận giống con người hơn trong các mô hình ngôn ngữ lớn.

Giới thiệu về tác giả

Ran He

Ông là giáo sư tại Phòng thí nghiệm trọng điểm thực nghiệm quốc gia về nhận dạng mẫu của Viện Tự động hóa, Viện Hàn lâm Khoa học Trung Quốc và Đại học Viện Hàn lâm Khoa học Trung Quốc, thành viên IAPR và thành viên cấp cao của IEEE.

Trước đó, ông đã nhận bằng cử nhân và thạc sĩ tại Đại học Công nghệ Đại Liên và bằng Tiến sĩ tại Viện Tự động hóa, Viện Hàn lâm Khoa học Trung Quốc vào năm 2009.

Mối quan tâm nghiên cứu của ông là các thuật toán sinh trắc học (nhận dạng và tổng hợp khuôn mặt, nhận dạng mống mắt, nhận dạng lại người), học đại diện (mạng đào tạo trước sử dụng phương pháp học tập yếu/tự giám sát hoặc chuyển giao), học tập tổng quát (mô hình tổng quát, tạo hình ảnh, dịch thuật hình ảnh). ).

Ông đã xuất bản hơn 200 bài báo trên các tạp chí và hội nghị quốc tế, bao gồm các tạp chí quốc tế nổi tiếng như IEEE TPAMI, IEEE TIP, IEEE TIFS, IEEE TNN và IEEE TCSVT, cũng như các hội nghị quốc tế hàng đầu như CVPR, ICCV, ECCV, và Thần kinhIPS.

Ông là thành viên ban biên tập của IEEE TIP, IEEE TBIOM và Nhận dạng mẫu, đồng thời từng là chủ tịch khu vực của các hội nghị quốc tế như CVPR, ECCV, NeurIPS, ICML, ICPR và IJCAI.

Junchi Yu（俞UN驰)

Yu Junchi là nghiên cứu sinh tiến sĩ năm thứ tư tại Viện Tự động hóa, Viện Hàn lâm Khoa học Trung Quốc và người hướng dẫn của anh là Giáo sư Heran.

Trước đây, anh thực tập tại Phòng thí nghiệm Trí tuệ Nhân tạo Tencent và làm việc với Tiến sĩ Tingyang Xu, Tiến sĩ Yu Rong, Tiến sĩ Yatao Bian và Giáo sư Junzhou Huang. Hiện tại, anh là sinh viên trao đổi tại Khoa Khoa học Máy tính của Đại học Yale, theo học với Giáo sư Rex Ying.

Mục tiêu của anh là phát triển các phương pháp Học đồ thị đáng tin cậy (TwGL) với khả năng diễn giải và tính di động tốt, đồng thời khám phá các ứng dụng của chúng trong hóa sinh.

Người giới thiệu: