Chatbot empty-state

​
Criar uma conta no Toolzz Analytics

Para criar uma conta o usuário deve entrar em https://analytics.toolzz.ai/ e clicar em “Criar Conta“ na tela de Login. Após, o usuário deverá completar os seguintes campos no formulário.
Chatbot empty-state
  1. Nome: Campo para inserir nome da conta
  2. Email: Campo para inserir qual e-mail será vinculado a conta
  3. Senha: Campo para inserir a senha para criação da conta
Ao inserir o e-mail, garantir que não deve existir nenhuma conta já vinculada
Após criar uma conta o usuário já consegue entrar na tela de Login e inserir e-mail e senha criados

​
Redefinição de Senha

Caso o usuário esqueça a senha da conta, na tela de login, deve clicar em “Esqueceu a Senha“. Após isso, será levado para tela “Redefina sua Senha“ que conterá um campo para que insira o e-mail que está vinculado à conta.
Usuário só receberá um email de redefinição de senha se uma conta com este email existir e tiver cadastrado.

​
Criar um Projeto

Para criar um projeto no Toolzz Analytics é bem simples! Basta seguir os seguintes passos:
  1. Entrar na ferramenta
  2. Realizar o Login
  3. No menu lateral esquerdo em baixo clicar em “+ Novo“
  4. Inserir o nome do projeto (Exemplo: meu-projeto-llm)
  5. Clicar em criar
É recomendado que o nome do projeto seja parecido ou o mesmo do Agente, facilitando encontrar o projeto

​
Painel Principal

No Analytics, o painel é uma sessão que permite uma visão ampla sobre todas as informações dentro do projeto criado. É por meio do painel que ficam exibidos os gráficos e dados para controle da ferramenta como um todo Além visualizar essas informações, o gerente do projeto pode requisitar a criação de um gráfico.
Ao fazer a requisição de gráfico, deve ser enviado quais dados ou métricas adicionais deverá aparecer no painel do usuário.

​
Elementos exibidos no Painel

Chatbot empty-state
ElementoDescrição
TraçosTotal de interações rastreadas no sistema, como chamadas ou logs processados pelo modelo. Cada interação pode estar vinculada a um usuário ou evento específico.
Custos de modelosCusto total acumulado pelo uso do modelo, baseado nos tokens processados. Geralmente expresso em dólares (USD).
TokensQuantidade total de tokens processados, representando unidades de texto nas interações, como palavras ou fragmentos.
PontuaçõesMétrica de avaliação da qualidade das respostas do modelo, podendo ser gerada automaticamente ou preenchida manualmente.
Latências de traçosTempo médio e percentis (50º, 90º, 95º, 99º) para o processamento de cada traço, refletindo a velocidade do sistema ao lidar com interações.
Latências de geraçõesTempo necessário para que o modelo gere respostas, com análise de percentis para avaliar o desempenho.
Latências de modelosTempo médio de resposta global do modelo, segmentado por percentis para medir sua eficiência.
Consumo por usuárioAnálise detalhada do custo individual de tokens e do número de traços por usuário, permitindo mensurar o impacto de cada interação.

​
Sessão de Rastreamento Analytics

A sessão de rastreamento é onde ficam localizados os principais blocos para obter informações e detalhes sobre cada resposta enviada pelo LLM
Chatbot empty-state

​
Descrição de Cada Bloco

​
Sessão de Usuários Analytics

Chatbot empty-state
Na sessão de usuários é possível encontrar dados de atributo em Analytics à um usuário adicionando um userId aos seus traços. O usuário é capaz de analisar as seguintes informações:
  • ID do Usuário: Identificação única para cada usuário que interagiu com o sistema.
  • Primeiro Evento: Data e hora em que o usuário realizou a sua primeira interação com o sistema.
  • Último Evento: Data e hora da última interação do usuário.
  • Eventos Totais: Número total de interações ou ações realizadas pelo usuário no sistema.
  • Tokens Totais: Refere-se ao total de tokens (palavras ou partes de palavras) processados durante as interações.
  • Custo Total: Custo acumulado associado ao uso do sistema por aquele usuário.
  • Última Pontuação: Indica a última pontuação gerada na interação com o LLM

​
Sessão de Dataset Analytics

Chatbot empty-state
Na sessão de Datasets que são uma coleção de entradas (e saídas esperadas) de uma aplicação LLM. O usuário poderá usar para testar novas versões antes de serem implantadas em produção. Nesta sessão o usuário pode analisar os seguintes itens.
  • Nome: Nome dado ao criar o dataset.
  • Descrição: Um breve resumo que explica o propósito, conteúdo ou objetivo do dataset.
  • Itens: Número total de registros, amostras ou entradas armazenados no dataset.
  • Execução: Quantidade de vezes que o dataset foi utilizado em processos, como treinamento ou inferências em modelos de IA.
  • Criado em: Data e hora de criação do dataset.
  • Última execução: Data e hora da última vez em que o dataset foi utilizado.
  • Metadata: Informações adicionais ou atributos técnicos do dataset, como estrutura, formato, origem, ou outros metadados relevantes para análise ou processamento.

​
Chaves de Acesso

Dentro do Toolzz AI é aceito integração com a ferramenta Toolzz Analytics por meio de credenciais. Para conectar as credenciais Analytics, o usuário deve:
  1. Entrar no credenciais
  2. Clicar em “+ Nova Credencial“
  3. Selecionar a categoria “Analytics“
  4. Preencher o formulário da credencial
  5. Credencial conectada com sucesso!
Para conectar uma credencial é necessário preencher um formulário, que possui os seguintes campos:
  • Nome da Credencial: Campo para inserir o nome da credencial
  • Public Key: Campo para inserir a chave pública do projeto no Toolzz Analytics
  • Secret Key: Campo para inserir a chave secreta do projeto no Toolzz Analytics

​
Como buscar as chaves de acesso Analytics

Já dentro da conta, para buscar os dados necessários para conectar a credencial o usuário deve seguir os seguintes passos:
  1. Clicar em “Configurações“ no a baixo do menu lateral
  2. Seguir até “Chaves da API“
  3. Clicar em “Criar novas chave de API“
  4. Copiar os campos Chave Secreta (sk) e Chave Pública (pk)
  5. Colar as chaves nos seus devidos campos da credencial.
  6. Credencial Analytics conectada com sucesso!
A chave secreta só pode ser vista uma vez porém o usuário pode sempre gerar uma nova.