https://github.com/huggingface/peft

Slide

Hitachi_AI_HCI

Hitachi_HCI

HCI

新科技速遞| 開源Llama後發先至微調版本衝擊AI生態

Meta開源Llama 3大模型；包括兩個 80 億（8B）和 700 億（70B）參數版本，已供下載。4000 億參數（400B）版本正在開發，較不少閉源大模型，Llama 3性能有過之無不及，不少評分拋離對手。Meta行政總裁扎克伯格（Mark Zuckerberg）透露，400B在數學（GSM-8K）、編程（Human-Eval）、多任務語言理解（MMLU）基準，超越了GPT4。 Continue reading “新科技速遞| 開源Llama後發先至微調版本衝擊AI生態”

Hitachi Vantara|LLM|人工智能| 生成式AI的儲存需求

[人工智能] [LLM]

生成式AI技術帶來巨大衝擊，ChatGPT、BLOOM、Claude、Bard等服務的預訓練大型語言模型（LLM），能理解人類的語言。許多科幻小說情節，馬上成為了現實。

LLM大型語言模型通過網上數以百億語言和圖片訓練而成，LLM亦稱為「基礎模型」（Foundation Model），因為可發展出其他用途；從撰寫博客文章、生成圖像、解決數學問題、對話聊天、基於文本回答特定問題，未來更可取代人手工作，不少職位勢將消失。 Continue reading “Hitachi Vantara|LLM|人工智能| 生成式AI的儲存需求”