ChatGPT开源平替：OpenAssistant OASST1微调版Pythia-12B

ChatGPT最令人兴奋的开源聊天机器人替代品之一——由Graphcore（拟未） IPU驱动的OpenAssistant的OASST1微调版Pythia-12B现在可以在Paperspace上免费运行。作为真正的开源模型，可以不受限制地商用。

http://ipu.dev/y86FIU

oasst-sft-4-pythia12b是EleutherAI的Pythia模型系列的一个变体，使用开放助理对话（OASST1）数据集进行微调（fine tune），这是一个众包的“人类生成的、人类注释的助理式对话语料”。

OASST1数据集由35种不同语言的161,443条信息组成，注释了461,292个质量等级，形成了超过10,000个完全注释的对话树。

OpenAssistant的OASST1微调版Pythia可以通过Paperspace Gradient notebook在Graphcore IPU上轻松运行。新用户可以通过Paperspace的六小时免费试用，在IPU-POD₄上尝试Pythia。对于更高的性能实现，你可以扩展到IPU-POD₁₆。

该notebook指导你创建和配置一个推理传递途径，并运行该传递途径以建立一个逐次的对话。

因为OpenAssistant模型使用与Dolly相同的Pythia-12B底层模型，所以我们使用Dolly传递途径来运行它。

http://ipu.dev/y86FIU

from utils.setup import dolly_config_setup

config_name = "dolly_pod4" if number_of_ipus == 4 else "dolly_pod16"

config, *_ = dolly_config_setup("config/inference.yml", "release", config_name)

# Update vocab size for oasst-sft-4-pythia-12b-epoch-3.5 - 50288 rather than 50280

config.model.embedding.vocab_size = 50288

config

接下来，我们要创建我们的推理途径。在这里，我们定义了最大的序列长度和最大的微批尺寸。在IPU上执行一个模型之前，需要通过编译将其变成可执行的格式。这将在流水线创建时发生。所有的输入形状在编译前必须是已知的，所以如果最大序列长度或微批尺寸改变了，途径将需要被重新编译。

选择一个较长的序列长度或较大的批处理量将使用更多的IPU内存。这意味着，增加一个可能需要你减少另一个。

这个单元大约需要18分钟来完成，其中包括下载模型权重。

import api

# changing these parameters will trigger a recompile.

sequence_length = 512  # max 2048

micro_batch_size = 1

# The pipeline is set to load the OpenAssistant checkpoint rather than the default Dolly one

# We override the Dolly prompt templating by specifying a prompt_format. Setting the format to

# just echo the instruction means that the pipeline does no formatting and it is up to the

# application to provide correctly templated prompts

# We set the text string that OpenAssistant uses to mark that it has finished generation, which

# is different from the Dolly one

oasst_pipeline = api.DollyPipeline(

    config,

    sequence_length=sequence_length,

    micro_batch_size=micro_batch_size,

    hf_dolly_checkpoint="OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5",

    prompt_format="{instruction}",

    end_key="<|endoftext|>",

)

调用你刚刚创建的oasst_pipeline对象，从提示中生成文本。

为了制作一个聊天机器人，我们将接受用户的输入并将其反馈给模型。为了使notebook能够自动测试，我们创建一个类似于Python内置函数input()的函数，收集用户的输入并返回，但如果设置了测试环境变量EXAMPLE_PROMPTS，它将从该变量返回罐装输入。该变量应该被设置为一个字符串的JSON列表，例如：

export EXAMPLE_PROMPTS='["Are you related to Dolly?", "Ah OK. How many islands are there in Scotland?"]'

import os

import json

example_prompts = os.getenv("EXAMPLE_PROMPTS")

if example_prompts is not None:

    example_prompts = json.loads(example_prompts)

# Get input from user like input() but with possibility of automation via EXAMPLE_PROMPTS environment variable

def auto_input(prompt: str) -> str:

    if example_prompts is None:

        return input(prompt)

    auto_in = example_prompts.pop(0) if example_prompts != [] else ""

    print(prompt, "AUTO", auto_in)

    return auto_in

聊天机器人的对话是由用户输入的若干回合和模型写出的回复建立起来的。随着对话的发展，提示应该被逐次扩展，所以模型可以获得完整的背景。

该模型已经在一个特定的提示模板上进行了训练，以代表对话的建立过程：

<|prompter|>user1<|endoftext|> <|assistant|>reply1<|endoftext|> <|prompter|>user2<|endoftext|> <|assistant|>...

你可以从任何用户输入开始。例如，“还有哪些动物与羊驼相似？”

import logging

# Conduct a complete conversation - with ability to set pipeline optional parameters

def chat(temperature=None, top_k=None, output_length=None):

    options = {}

    if temperature is not None:

        options["temperature"] = temperature

    if top_k is not None:

        options["k"] = top_k

    if output_length is not None:

        options["output_length"] = output_length

    # Suppress INFO logging to make a better interactive chat display

    logging.disable(logging.INFO)

    print("To complete the chat, enter an empty prompt")

    prompt = ""

    while True:

        user_input = auto_input("Prompter:")

        if user_input == "":

            break

        prompt += f"<|prompter|>{user_input}<|endoftext|><|assistant|>"

        chat_output = oasst_pipeline(prompt, **options)[0]

        prompt += chat_output + "<|endoftext|>"

    # Restore logging to what it was before

    logging.disable(logging.NOTSET)

chat(temperature=0.0)

# Note the first time you run this cell and enter a prompt, there will be a delay of ~1 minute where

# nothing appears to happen. This is where the server is attaching to the IPUs

oasst_pipeline.detach()

要在Paperspace以外的地方使用IPU硬件运行演示，你需要启用Poplar SDK。

关于如何启用Poplar SDK的细节，请参考您的系统的入门指南^[1]。也请参考Jupyter快速入门指南^[2]，了解如何设置Jupyter，以便能够在远程IPU机器上运行这个notebook。