A inteligência artificial (IA) tornou-se uma realidade presente em várias ferramentas do dia a dia, especialmente para os profissionais de Data Engineering.
Atualmente, estas tecnologias permitem simplificar tarefas, acelerar processos e melhorar a exploração e gestão de dados.
Neste artigo, exploramos como a IA no Data Engineering está a transformar o trabalho em três ferramentas essenciais: SQL Server Management Studio (SSMS), Azure Data Factory and Snowflake.
SQL Server Management Studio (SSMS)
The SQL Server Management Studio (SSMS) é um dos ambientes de gestão de bases de dados relacionais mais utilizados em contexto empresarial.
Esta ferramenta oferece recursos para configurar, monitorizar e administrar instâncias do SQL Server e as respetivas bases de dados.
Além disso, a partir da versão 22, o SSMS passou a disponibilizar integração com o GitHub Copilot, permitindo utilizar inteligência artificial diretamente no ambiente de trabalho.
Desta forma, os utilizadores conseguem escrever T-SQL mais rapidamente e com maior precisão, com o apoio da IA.
Por outro lado, o Copilot também responde a perguntas gerais sobre SQL e auxilia em tarefas de administração.
O que Muda na Prática?
Um dos benefícios mais imediatos do GitHub Copilot no SSMS é a possibilidade de receber sugestões contextuais de SQL.
Para isso, o Copilot analisa o contexto do editor e o esquema da base de dados ligada.
Assim, pode sugerir código enquanto o utilizador escreve as queries, incluindo filtros relevantes, agrupamentos e joins adequados ao modelo de dados.
Consequentemente, para quem escreve dezenas de consultas por dia, esta funcionalidade pode representar uma redução considerável do esforço.
Copilot Chat para Consultas SQL
Além disso, o Copilot Chat permite colocar perguntas diretamente no ambiente do SSMS.
Por exemplo, o utilizador pode perguntar:
- Quais são as queries com maior consumo de CPU na última hora?
- Quais são as maiores tabelas por número de registos?
- Como simplificar um determinado procedimento armazenado?
Desta forma, o Copilot pode ajudar a formular consultas e a analisar questões relacionadas com a base de dados.
Por outro lado, as respostas têm em consideração o contexto disponível no editor, facilitando a compreensão das sugestões.
No entanto, existe uma limitação importante: o Copilot não conhece automaticamente todo o contexto de negócio.
Por isso, as questões que dependem de regras empresariais, definições específicas ou interpretação dos resultados continuam a exigir intervenção humana.
Azure Data Factory
The Azure Data Factory (ADF) é a plataforma de integração de dados da Microsoft em cloud. Permite construir e orquestrar pipelines que movem, transformam e carregam informação entre sistemas, desde bases de dados relacionais a Data Lakes, de APIs externas a Data Warehouses.
A integração de IA no ADF acontece através do Copilot for Azure Data Factory, disponível diretamente no ADF Studio, conforme descrito no texto original. Ao contrário do Copilot no SSMS, que ajuda sobretudo na escrita de código, o Copilot no ADF contribui para o desenho, configuração e diagnóstico de pipelines de integração de dados.
Pipeline Creation
Em vez de configurar manualmente cada atividade, conector e transformação, o utilizador descreve o que quer: “copiar dados de uma base SQL Server para um Azure Data Lake Storage e filtrar registos anteriores a 2020”.
Em seguida, o Copilot interpreta o pedido e gera uma proposta de pipeline completa.
Isto é especialmente útil em equipas com diferentes níveis de experiência. Desta forma, quem tem menos prática com a plataforma consegue produzir uma estrutura funcional inicial e depois validá-la com alguém mais experiente, sem precisar de começar do zero.
Monitoring and Diagnostics
Quando um pipeline falha, o Copilot analisa os logs de erro e apresenta uma explicação do problema, acompanhada dos passos recomendados para a sua resolução.
Assim, esta capacidade reduz significativamente o tempo de diagnóstico, quando comparada com a leitura manual de logs técnicos, especialmente em equipas com diferentes níveis de experiência.
Snowflake
The Snowflake é uma plataforma de dados em cloud criada para armazenar e analisar grandes volumes de informação. O que a distingue de outras plataformas é a forma como incorpora inteligência artificial como capacidade nativa, através do Cortex.
Cortex in Snowflake
The Cortex executa modelos de linguagem de grande dimensão diretamente sobre os dados armazenados no Snowflake, sem necessidade de os exportar, mover ou integrar com serviços externos.
Além disso, disponibiliza funções SQL nativas que permitem realizar operações de IA como se fossem consultas convencionais. Assim, a análise de sentimento, classificação de texto, extração de entidades, sumarização de documentos e tradução ficam acessíveis diretamente numa query, sem configuração adicional.
Cortex Analyst
The Cortex Analyst dirige-se a um perfil de utilizador diferente. Enquanto o Cortex é uma ferramenta utilizada por utilizadores técnicos para enriquecer dados programaticamente, o Analyst foi pensado para quem precisa de respostas, mas não domina SQL.
Na prática, um utilizador técnico ou analista define um modelo semântico sobre as tabelas, criando uma camada de interpretação que mapeia conceitos de negócio para estruturas técnicas.
A partir daí, qualquer utilizador pode consultar os dados em linguagem natural e obter respostas fiáveis, já que o modelo controla o espaço de interpretação.
What makes all of this possible?
A separação entre armazenamento e computação torna possível combinar estas capacidades. Desta forma, os virtual warehouses escalam de forma independente, permitindo executar diferentes tarefas em paralelo.
Assim, o Cortex pode estar a executar modelos de IA enquanto uma query analítica pesada corre sobre os mesmos dados, sem interferência entre ambos. Numa arquitetura tradicional, isto normalmente exigiria replicação de dados ou janelas de execução separadas.
AI in Data Engineering: Accelerator, Not a Replacement
A adoção de IA nas ferramentas de Data Engineering não é uma revolução silenciosa, é uma mudança visível no ritmo e na qualidade do trabalho diário.
Por exemplo, o Copilot no SSMS reduz o tempo de escrita e validação de queries. Além disso, o ADF Copilot elimina parte do esforço de diagnóstico, enquanto o Cortex do Snowflake traz capacidades de IA diretamente para dentro do pipeline de dados, sem necessidade de infraestrutura adicional.
O que todas estas integrações têm em comum é o posicionamento: a IA funciona como camada de suporte, não como substituto do engenheiro.
Por isso, o julgamento sobre o modelo de dados, os critérios de negócio e a qualidade do resultado continua a ser humano. O que muda é que esse julgamento passa a ser exercido com menos fricção e mais informação disponível.
