ctbots's wiki

本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== 1-paddle模型相关的api和操作 ======

===== 打印paddle模型的基本结构信息 =====

<code python print.py>
import paddle

state = paddle.load("/home/ctbots/llm/paddle/7b/model_state.pdparams")

for k, v in state.items():
    print(
        f"{k:60s} | "
        f"dtype={v.dtype} | "
        f"shape={list(v.shape)} | "
        f"numel={v.numel()}"
    )

</code>

===== 使用命令行的方式上传模型 =====

<code shell push.sh>
# 请确认已经安装git-lfs (https://git-lfs.com)
git lfs install

# 首先使用git克隆远程仓库到本地，需要填写Access Token（位置在我的工作台--令牌获取）和repo_id（模型详情页面中）
git clone https://@git.aistudio.baidu.com/learncat/internlm2_7b_raw.git

# 进入本地的git仓库目录,如 cd ERNIE-X1/
cd internlm2_7b_raw/
# 添加修改过的文件到暂存区，如 git add README.md 添加指定的README.md文件，或 git add . 添加所有修改文件
git add "已修改的文件"
# 将暂存区的修改文件提交到本地仓库，并附带一条简短的提交说明，如 git commit -m "添加README.md文件"
git commit -m "修改描述"
# 推送到远程仓库
git push
</code>


===== 通过程序api的方式上传模型 =====



<code shell upload.sh>
# 首先请先安装aistudio-sdk库
# pip install --upgrade aistudio-sdk

import os
# 需要填写aistudio-access-token, 位置在我的工作台--令牌获取
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""

from aistudio_sdk.hub import upload
res = upload(
    # 填写模型详情页面中的repo_id
    repo_id='learncat/internlm2_7b_raw',
    # 填写要上传的文件在本地的路径，如'./ERNIE-X1/README.md'
    path_or_fileobj='./ERNIE-X1/README.md',
    # 填写上传至repo后的文件路径及文件名，如填写"README.md"，则会在master分支的根目录内，上传README.md
    path_in_repo='README.md',
    # 填写commit信息，非必填
    commit_message='upload model file to repo'
)
print(res)
</code>