如何白嫖和使用GitHub models的LLM（gpt4o和Llama-3.1-405b）

刚刚通过了申请，然后马上去玩了一下GitHub提供LLM，总的来说，Llama-3.1-405b每天可以用50次，gpt4o 150次！

你需要先申请，然后等着通过。

通过之后，根据你的使用方法来填写url

• nextchat、oneapi
  • https://models.inference.ai.azure.com/chat/completions#
  • 注：后面的井号不可省略
• lobechat
  • https://models.inference.ai.azure.com

token的话就是你的GitHub token。没有token的看这里

模型看这里

GitHub models模型

https://github.com/marketplace/models

你可以点进去看每个模型的详细，在右边有显示现在的速率是高还是低

之后你可以通过这里查看对应的限制速率。

GitHub models速率限制

https://docs.github.com/zh/github-models/prototyping-with-ai-models#rate-limits

总的来说，Llama-3.1-405b每天可以用50次，gpt4o 150次！