Analytics
Módulo responsável por lidar com o gerenciamento das interações entre o Agente e o usuário, permitindo acompanhar o custo por pergunta e o custo total em períodos específicos, facilitando a gestão do orçamento e permitindo ajustes estratégicos no uso dos recursos de IA para manter a operação eficiente e dentro do planejamento financeiro.
Criar uma conta no Toolzz Analytics
Para criar uma conta o usuário deve entrar em https://analytics.toolzz.ai/ e clicar em “Criar Conta“ na tela de Login. Após, o usuário deverá completar os seguintes campos no formulário.
- Nome: Campo para inserir nome da conta
- Email: Campo para inserir qual e-mail será vinculado a conta
- Senha: Campo para inserir a senha para criação da conta
Após criar uma conta o usuário já consegue entrar na tela de Login e inserir e-mail e senha criados
Redefinição de Senha
Caso o usuário esqueça a senha da conta, na tela de login, deve clicar em “Esqueceu a Senha“. Após isso, será levado para tela “Redefina sua Senha“ que conterá um campo para que insira o e-mail que está vinculado à conta.
Criar um Projeto
Para criar um projeto no Toolzz Analytics é bem simples! Basta seguir os seguintes passos:
- Entrar na ferramenta
- Realizar o Login
- No menu lateral esquerdo em baixo clicar em “+ Novo“
- Inserir o nome do projeto (Exemplo: meu-projeto-llm)
- Clicar em criar
Painel Principal
No Analytics, o painel é uma sessão que permite uma visão ampla sobre todas as informações dentro do projeto criado. É por meio do painel que ficam exibidos os gráficos e dados para controle da ferramenta como um todo
Além visualizar essas informações, o gerente do projeto pode requisitar a criação de um gráfico.
Elementos exibidos no Painel
| Elemento | Descrição |
|---|---|
| Traços | Total de interações rastreadas no sistema, como chamadas ou logs processados pelo modelo. Cada interação pode estar vinculada a um usuário ou evento específico. |
| Custos de modelos | Custo total acumulado pelo uso do modelo, baseado nos tokens processados. Geralmente expresso em dólares (USD). |
| Tokens | Quantidade total de tokens processados, representando unidades de texto nas interações, como palavras ou fragmentos. |
| Pontuações | Métrica de avaliação da qualidade das respostas do modelo, podendo ser gerada automaticamente ou preenchida manualmente. |
| Latências de traços | Tempo médio e percentis (50º, 90º, 95º, 99º) para o processamento de cada traço, refletindo a velocidade do sistema ao lidar com interações. |
| Latências de gerações | Tempo necessário para que o modelo gere respostas, com análise de percentis para avaliar o desempenho. |
| Latências de modelos | Tempo médio de resposta global do modelo, segmentado por percentis para medir sua eficiência. |
| Consumo por usuário | Análise detalhada do custo individual de tokens e do número de traços por usuário, permitindo mensurar o impacto de cada interação. |
Sessão de Rastreamento Analytics
A sessão de rastreamento é onde ficam localizados os principais blocos para obter informações e detalhes sobre cada resposta enviada pelo LLM
Descrição de Cada Bloco
Sessão de Usuários Analytics
Na sessão de usuários é possível encontrar dados de atributo em Analytics à um usuário adicionando um userId aos seus traços. O usuário é capaz de analisar as seguintes informações:
- ID do Usuário: Identificação única para cada usuário que interagiu com o sistema.
- Primeiro Evento: Data e hora em que o usuário realizou a sua primeira interação com o sistema.
- Último Evento: Data e hora da última interação do usuário.
- Eventos Totais: Número total de interações ou ações realizadas pelo usuário no sistema.
- Tokens Totais: Refere-se ao total de tokens (palavras ou partes de palavras) processados durante as interações.
- Custo Total: Custo acumulado associado ao uso do sistema por aquele usuário.
- Última Pontuação: Indica a última pontuação gerada na interação com o LLM
Sessão de Dataset Analytics
Na sessão de Datasets que são uma coleção de entradas (e saídas esperadas) de uma aplicação LLM. O usuário poderá usar para testar novas versões antes de serem implantadas em produção. Nesta sessão o usuário pode analisar os seguintes itens.
- Nome: Nome dado ao criar o dataset.
- Descrição: Um breve resumo que explica o propósito, conteúdo ou objetivo do dataset.
- Itens: Número total de registros, amostras ou entradas armazenados no dataset.
- Execução: Quantidade de vezes que o dataset foi utilizado em processos, como treinamento ou inferências em modelos de IA.
- Criado em: Data e hora de criação do dataset.
- Última execução: Data e hora da última vez em que o dataset foi utilizado.
- Metadata: Informações adicionais ou atributos técnicos do dataset, como estrutura, formato, origem, ou outros metadados relevantes para análise ou processamento.
Chaves de Acesso
Dentro do Toolzz AI é aceito integração com a ferramenta Toolzz Analytics por meio de credenciais. Para conectar as credenciais Analytics, o usuário deve:
- Entrar no credenciais
- Clicar em “+ Nova Credencial“
- Selecionar a categoria “Analytics“
- Preencher o formulário da credencial
- Credencial conectada com sucesso!
Para conectar uma credencial é necessário preencher um formulário, que possui os seguintes campos:
- Nome da Credencial: Campo para inserir o nome da credencial
- Public Key: Campo para inserir a chave pública do projeto no Toolzz Analytics
- Secret Key: Campo para inserir a chave secreta do projeto no Toolzz Analytics
Como buscar as chaves de acesso Analytics
Já dentro da conta, para buscar os dados necessários para conectar a credencial o usuário deve seguir os seguintes passos:
- Clicar em “Configurações“ no a baixo do menu lateral
- Seguir até “Chaves da API“
- Clicar em “Criar novas chave de API“
- Copiar os campos Chave Secreta (sk) e Chave Pública (pk)
- Colar as chaves nos seus devidos campos da credencial.
- Credencial Analytics conectada com sucesso!