Primeira geração de studio para LLMs como produto - SaaS - FlowiseAI

Uma corrida para disponibilizar o primeiro studio para construção de LLMs segue a todo vapor

Para aqueles que saíram do hype do ChatGPT e se aprofundaram na tecnologia e na arquitetura de modelos de linguagem sabem que o jeito de se produzir software já está mudando. Ainda muito restrito a comunidade open-source, o que pode ser uma tendência pela natureza da tecnologia, iniciativas como o LangChain associado a um punhado de bibliotecas dedicadas ao treinamento, armazenamento, gerenciamento, testes e implantação de LLMs crescem a todo vapor e impulsionam ferramentas no-code. Como apresentei no post sobre Embeddings LLMs são como agentes que atuam em seu próprio retreinamento (já que adotam estrutura de dados não tabelados e treinamento não supervisionado), seus dados são organizados semanticamente, ferramentas como Pinecone e Chroma despontam como opções de armazenamento vetorial - como se fossem banco de dados para modelos de linguagem, ou melhor, são memórias de retreinamento de longo prazo para IA, que aliado a serviços sem código na nuvem, como Render ou Replit, e LLMs e embeddings sobre demanda, boa parte dominados por OpenAI se juntam ao primeiro produto com interface visual que experimentei e sigo bastante surpreso, chamado FlowiseAI. Se já é muito falado sobre no-code ou low-code, esse negócio vai começar a ficar mais quente agora.

Ilustração mostrando como o Chroma atua como armazenamento vetorial (semântico) de documentos para retreinamento de LLMs.

Vou enumerar para ficar mais claro:

OpenAI provê modelos de linguagem e embeddings que servem como base para que seu modelo seja treinado. LangChain provê as bibliotecas para que você utilize esses LLMs e lhe adicione novos conhecimentos, permitindo criar encadeamentos. Pinecone e Chroma permite que você armazene seus treinamentos em bases vetoriais. Flowise junta isso tudo em uma interface visual que você facilmente “deployar” numa nuvem sem código como o Replit ou Render, (que teve sua série B de investimento aprovado no fim do mês passado). Tá ficando fácil criar seu próprio agente de IA.

Interface visual do FlowiseAI que permite que você construa e junte seu agente em caixinhas e já teste-o na mesma janela. Você pode conectar bases externas, bancos de dados, serviços REST, etc. E por fim é facil de exportar o código gerado do agente conversacional ou execucional (que faz coisas por você).

FlowiseAI é nada mais nada menos aquilo que eu esperava a meses, um produto com interface visual que permite que você construa agentes conversacionais deixando todo esse tecniquês de lado e construa em caixinhas, um chatbot ou agente treinado com seus dados, pronto para ser embedado em sua aplicação, que faz coisas por você ou conversa com seus dados. Ainda assim acredito que seja importante para uma pessoa de produto, arquitetos e desenvolvedores entenderem os conceitos de Vector Base, Embeddings, Prompt Engineering e por aí vai, sem este conhecimento você não saberá explorar este novo jeito de se construir software.

Mas voltando ao Flowise, ainda é um embrião, já que ainda exige conhecimentos técnicos para instalação para rodar localmente, exige instalação de bibliotecas, precisa de traquejo técnico para implantar em uma nuvem qualquer. Fique ligado: irão lançar sua própria nuvem em breve. O produto já é incrivelmente visual e eles receberam uma rodada de investimentos da YCombinator a duas semanas, feito no Vale do Silício e investido pelos próprios, história já conhecida não é mesmo? Tem tudo para virar o “canal” para construção de IAs/LLMs no curto prazo, afinal de contas, Azure e Google Cloud pelejam. Em meus testes, fiquei surpreendido, não esperava uma revolução tão rápida em produtizar tudo isso que vem surgindo como open source. E ah, o pessoal que está desenvolvendo, além de estarem ficando ricos, são bem simpáticos, me responderam no Twitter sobre uma funcionalidade que desejo muito.

Toda essa revolução me abre para alguns Insights e apostas:

1 - Corporações ainda irão levar alguns meses para conseguir aplicar de fato alguma LLM para resolução de problemas, já que são pouco adeptas da cultura OpenSource, a Microsoft até o momento não esboçou nenhum produto facilmente aplicável para construção de LLMs. Governos sairão na frente, Índia, Japão e Coréia do Sul irão despontar, o Brasil tem grande potencial também.

2 - Empresas de chatbot que continuarem como integradoras ou provendo serviços da OpenAI em suas estruturas tradicionais perderão espaço no médio prazo.

3 - Irá ficar cada vez mais fácil produzir software conversacional (sem UI) para performar atividades de análise, compreensão, manipulação e análise de dados já neste final de semestre. Alô, indústria de consultorias RPA, atenção! Knowledge-workers é hora de ampliar sua gama de atuação.

4 - Serviços na nuvem no ou low-code serão o modus operandi das pequenas e médias empresas. As corporações ainda terão um pouco de computação tradicional no longo prazo, por tentarem reduzir seus riscos ao máximo.

Bem, são apostas, é um tema que venho me dedicando nos últimos meses e acredito que a transformação vem pela tecnologia e não pela mudança cultural. As vezes é a tecnologia que nos faz mudar, vide o que as redes sociais impactaram de mudanças na nossa sociedade. Com a IA Generativa, o impacto maior será nos negócios. E vai ser bom, mais produtividade, menos trabalho repetitivo, mais criação, mais lucro. Bora lá. 👾