OmniTools 10月4日消息,LMSYS团队近日发布开源对话模型Vicuna-13B。该模型基于LLaMA架构,使用约7万条ShareGPT用户共享对话数据进行微调,训练成本约为300美元。模型代码、权重及在线演示已按非商业许可公开。
初步评估采用GPT-4作为评判基准,结果显示Vicuna-13B在整体质量上达到ChatGPT和Bard的90%以上水平,在45%的测试问题中表现不逊于ChatGPT。
团队同步提出一种基于GPT-4的自动评测框架,但明确说明该方法尚不具备严谨性,仅用于初步参考。