这是本文档旧的修订版!
1-paddle模型相关的api和操作
打印paddle模型的基本结构信息
import paddle
state = paddle.load("/home/ctbots/llm/paddle/7b/model_state.pdparams")
for k, v in state.items():
print(
f"{k:60s} | "
f"dtype={v.dtype} | "
f"shape={list(v.shape)} | "
f"numel={v.numel()}"
)
使用命令行的方式上传模型
# 请确认已经安装git-lfs (https://git-lfs.com)
git lfs install
# 首先使用git克隆远程仓库到本地,需要填写Access Token(位置在我的工作台--令牌获取)和repo_id(模型详情页面中)
git clone https://@git.aistudio.baidu.com/learncat/internlm2_7b_raw.git
# 进入本地的git仓库目录,如 cd ERNIE-X1/
cd internlm2_7b_raw/
# 添加修改过的文件到暂存区,如 git add README.md 添加指定的README.md文件,或 git add . 添加所有修改文件
git add "已修改的文件"
# 将暂存区的修改文件提交到本地仓库,并附带一条简短的提交说明,如 git commit -m "添加README.md文件"
git commit -m "修改描述"
# 推送到远程仓库
git push
<code>
===== 通过程序api的方式上传模型 =====
sdasd
<code shell upload.sh>
# 首先请先安装aistudio-sdk库
# pip install --upgrade aistudio-sdk
import os
# 需要填写aistudio-access-token, 位置在我的工作台--令牌获取
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""
from aistudio_sdk.hub import upload
res = upload(
# 填写模型详情页面中的repo_id
repo_id='learncat/internlm2_7b_raw',
# 填写要上传的文件在本地的路径,如'./ERNIE-X1/README.md'
path_or_fileobj='./ERNIE-X1/README.md',
# 填写上传至repo后的文件路径及文件名,如填写"README.md",则会在master分支的根目录内,上传README.md
path_in_repo='README.md',
# 填写commit信息,非必填
commit_message='upload model file to repo'
)
print(res)
评论