journal

Como escolher uma empresa de desenvolvimento de IA à medida?

Escolha quem construa nas suas ferramentas, teste com os seus dados, registe cada ação, indique quem gere o fluxo depois e lhe deixe o botão de desligar.

joseph j.founding engineer5 min de leitura

Uma empresa de desenvolvimento de IA deve ser escolhida pela forma como lida com a produção, não pela demonstração. A empresa certa constrói dentro dos sistemas que a equipa já usa, testa com dados reais, mantém uma pessoa a aprovar o resultado, regista cada ação, indica quem gere o fluxo de trabalho depois da entrada em produção e deixa as contas e o botão de desligar com o cliente. Peça cada um destes pontos por escrito.

#Pontos principais

  • Uma demonstração com dados preparados prova pouco. Peça para a ver funcionar com os vossos dados de entrada.
  • A construção deve ficar nas ferramentas e nas contas da empresa, não numa plataforma alugada.
  • Pergunte como a qualidade é medida depois da entrada em produção, e não apenas antes.
  • As questões de segurança na IA incluem a injeção de prompts, não apenas a lista de verificação habitual.
  • Saiba quem corrige quando algo falha e como a equipa interna assume o fluxo.

#De que precisa uma construção de IA à medida que uma demonstração não precisa?

Uma demonstração mostra que um modelo consegue fazer uma tarefa uma vez. Um fluxo de trabalho em produção tem de a fazer todos os dias, com dados de entrada desorganizados e alguém responsável pelo resultado. É nessa distância que os projetos ficam parados: a Gartner previa que 30% dos projetos de IA generativa seriam abandonados APós a prova de conceito até ao final de 2025 (Gartner, julho de 2024).

Pergunte a cada empresa o que acrescenta entre a demonstração e a produção: conjuntos de teste construídos com os vossos dados, um passo de revisão em que uma pessoa aprova, registos, monitorização das taxas de erro e um plano para as exceções que a IA nunca deve tratar sozinha.

#Que perguntas técnicas deve fazer um comprador sem perfil técnico?

  • Onde funciona o modelo, em que contas está e quem é o titular dessas contas?
  • Como medem a precisão com os nossos dados, e o que acontece quando ela desce?
  • Como se protegem contra a injeção de prompts? É o primeiro risco do OWASP Top 10 for LLM Applications.
  • O que fica registado, quem pode ver o registo e durante quanto tempo é conservado?
  • Que passos são automatizados e quais são aprovados por uma pessoa?

Não é preciso avaliar a engenharia. É preciso obter respostas concretas, por escrito, que o responsável de informática ou de segurança possa verificar.

#Como comparar uma empresa de desenvolvimento de IA com uma software house offshore?

Muitas das empresas que aparecem nas pesquisas por "empresa de desenvolvimento de IA" são agências de software generalistas que acrescentaram IA à lista de serviços. Isso pode funcionar para uma funcionalidade simples. Para um fluxo de trabalho dentro das operações, pergunte se a empresa vai mapear o processo com as pessoas que o executam, testar em árabe e em inglês com os vossos ficheiros e continuar responsável depois da entrada em produção. Se a resposta for "entregamos o código", a gestão do fluxo fica do lado do cliente.

We are

A Stennir constrói um fluxo de trabalho dentro das ferramentas da própria empresa, testa-o com os seus dados em árabe e em inglês, mantém uma pessoa a aprovar e depois gere-o como operações de IA geridas.

We aren't

A Stennir não é software que se aluga e onde se inicia sessão, nem uma software house que entrega o código e se vai embora.

#Quem gere o fluxo de trabalho depois da entrada em produção?

Esta é a pergunta que a maioria das propostas omite. Os modelos mudam, os dados de entrada variam e as equipas renovam-se. Alguém tem de acompanhar as taxas de erro, atualizar as regras e acrescentar o fluxo de trabalho seguinte. Na Stennir, isso são as operações de IA geridas, com um responsável nomeado. Na implementação de IA, paga-se pelo trabalho concluído, e as condições são acordadas na conversa.

#O que deve fazer a seguir um responsável de operações?

Escolha o fluxo de trabalho que pretende construir e envie as perguntas acima a cada empresa. Veja como a Stennir aborda o trabalho em implementação de IA e IA para operações, compare a Stennir com a contratação interna ou agende uma conversa de 30 minutos.

#Perguntas frequentes

Devemos construir IA à medida ou comprar uma ferramenta pronta?

Compre quando uma ferramenta já faz o fluxo de trabalho da forma como a equipa o executa e as regras de dados permitem o seu alojamento. Construa quando o fluxo atravessa vários sistemas da empresa, depende de regras próprias ou tem de funcionar numa região específica. Muitas empresas fazem as duas coisas: uma ferramenta comprada para tarefas comuns e uma construção à medida onde o processo é seu.

Quem é o titular do código e das contas depois de uma construção de IA à medida?

Pergunte antes de assinar e obtenha a resposta por escrito. Na Stennir, as contas ficam em nome do cliente, os dados permanecem sob o seu controlo e a equipa detém o botão de desligar. Se a colaboração com a Stennir terminar, o fluxo de trabalho continua a funcionar ou para, conforme a escolha do cliente. O alojamento segue o que as vossas regras exigirem.

O que pode correr mal numa construção de IA à medida, e como é detetado?

A IA pode ler mal um documento, aplicar uma regra de forma errada ou ser manipulada por texto escondido num dado de entrada. É por isso que uma pessoa aprova o resultado, que cada ação fica registada e que os conjuntos de teste construídos com os vossos dados voltam a ser executados APós cada alteração. Os erros são detetados na aprovação, e o registo mostra onde corrigi-los.

A Stennir trabalha em árabe, além de inglês?

Sim. O árabe e o inglês têm suporte completo, e outras línguas estão disponíveis mediante pedido. A Stennir testa cada fluxo de trabalho com os vossos documentos e mensagens reais nas duas línguas antes de a equipa passar a depender dele, em vez de traduzir no fim uma construção feita em inglês. As caixas de entrada com mistura de línguas são comuns no Golfo, por isso também são testadas.

Diga-nos que tarefa leva mais tempo.

30 minutos. Sem preparação. Diremos com honestidade se a IA pode ajudar e por onde começar.