Snowflake revela Cortex, um serviço gerenciado para construir aplicativos LLM na nuvem de dados

Snowflake, uma empresa de dados como serviço e armazenamento em nuvem com sede em Montana, lançou o Cortex, uma solução totalmente gerenciada que aproveita os recursos de grandes modelos de linguagem em seu ecossistema de dados.

Revelado no evento anual Snowday da empresa, o Cortex fornece às empresas que usam a nuvem de dados Snowflake um conjunto de blocos de construção de IA, incluindo LLMs de código aberto, para analisar dados e construir aplicativos direcionados a diferentes casos de uso específicos de negócios.

O Snowflake Cortex permite que as empresas acessem rapidamente grandes modelos de linguagem e os utilizem para diversos fins, como a criação de aplicativos personalizados com base nesses modelos, o que pode ser realizado em poucos minutos. Além disso, esta inovação permite que as organizações mantenham o controlo sobre os seus dados, ao mesmo tempo que aproveitam o poder da inteligência artificial generativa para gerar benefícios comerciais. O vice-presidente sênior de Inteligência Artificial da Snowflake, Sridhar Ramaswamy, expressou seu entusiasmo com este desenvolvimento, afirmando que ele oferece uma oportunidade para as empresas revolucionarem a forma como aproveitam a IA, permitindo que todos os usuários participem deste processo e obtenham resultados tangíveis dele..

A prévia privada de nossa oferta mais recente começa hoje, acompanhada por uma série de modelos orientados a tarefas, adaptados para aumentar a eficiência de operações específicas no amplo domínio do gerenciamento de dados. Além disso, estamos integrando essa inovação em três de nossas soluções de IA de ponta, incluindo Snowflake Copilot, Universal Search e Document AI, todas voltadas para otimizar a experiência do usuário no manuseio de vastos conjuntos de dados.

Construindo aplicativos LLM com Cortex

À luz das tendências atuais, as organizações estão ansiosas por incorporar inteligência artificial generativa nas suas operações; no entanto, vários desafios devem ser superados antes que essa integração se torne uma realidade. Esses obstáculos incluem a necessidade de conhecimentos especializados em IA, bem como a exigente tarefa de gerenciar a complexa infraestrutura de unidades de processamento gráfico (GPU). Consequentemente, inúmeras entidades enfrentam dificuldades em traduzir protótipos promissores em produções totalmente funcionais devido a estas limitações. Felizmente, o Snowflake Cortex oferece uma solução que simplifica todas as etapas deste processo complexo, permitindo que as empresas aproveitem todo o potencial da IA ​​generativa e, ao mesmo tempo, minimizem a carga imposta pelos requisitos tecnológicos.

A plataforma oferece uma variedade de recursos de IA versáteis, específicos de domínio e sem servidor que podem ser invocados por meio de chamadas SQL ou Python em seu aplicativo. Esses recursos permitem incorporar perfeitamente funcionalidades inteligentes em seus fluxos de trabalho, ao mesmo tempo em que aproveita nossa infraestrutura econômica para obter eficiência ideal.

Arquitetura do floco de neve Cortex

A utilização de funções especializadas permite maior eficiência em processos analíticos, aproveitando os recursos dos algoritmos de linguagem e de aprendizado de máquina. Essas funções permitem que os usuários realizem diversas operações, como responder perguntas, fornecer resumos, traduzir textos, gerar previsões e identificar irregularidades em conjuntos de dados, tudo por meio do uso de entrada de linguagem natural.

Além disso, os recursos abrangentes oferecidos por esses utilitários de uso geral concedem aos desenvolvedores acesso a uma ampla gama de funcionalidades. Eles variam de modelos de linguagem de código aberto amplamente acessíveis, como o Llama 2, a ofertas proprietárias, como o modelo inovador da Snowflake, projetado especificamente para traduzir entradas textuais em linguagem de consulta estruturada (SQL) para interrogar repositórios de informações.

Mais importante ainda, essas funções de uso geral também vêm com incorporação de vetores e recursos de pesquisa que permitem aos usuários contextualizar facilmente as respostas do modelo com base em seus dados e criar aplicativos personalizados direcionados a diferentes casos de uso. Este aspecto é tratado com Streamlit no Snowflake.

A aquisição da Neeva pela Snowflake resultou em um benefício significativo para seus usuários, pois agora eles podem acessar um processo contínuo de provisionamento e implantação sem precisar realizar nenhuma tarefa manual", afirmou Ramaswamy, fundador da Neeva e pessoa por trás da integração de recursos de IA. dentro do Snowflake. “Nosso sistema opera de forma semelhante à oferta da OpenAI, fornecendo uma interface fácil de usar que permite aos usuários interagir com o Snowflake por meio de uma API. É importante ressaltar que garantimos que os dados do cliente permaneçam completamente isolados de outros, evitando qualquer potencial de cruzamento treinamento ou compartilhamento de dados entre diferentes clientes.

Ramaswamy destacou ainda que é necessário um conhecimento mínimo de programação para utilizar a solução, uma vez que ela opera dentro de um ambiente padronizado de Linguagem de Consulta Estruturada (SQL).

Utilizando a interface amigável de nossa plataforma, os clientes têm a capacidade de construir chatbots com capacidade de conversação, adaptados à sua área específica de especialização, como um assistente que foi meticulosamente treinado para fornecer assistência no domínio das informações pertinentes.

Experiências nativas de LLM apoiadas pela Cortex

Snowflake, um provedor líder de serviços de nuvem de dados, aproveitou o serviço Cortex da Amazon Web Services (AWS) para fornecer funcionalidades aprimoradas em sua plataforma por meio de experiências de modelo de linguagem nativa (LLM). Em uma prévia privada, Snowflake introduziu três novos recursos – Snowflake Copilot, Universal Search e Document AI, todos alimentados pela tecnologia Cortex.

O copiloto serve como um auxílio interativo para os usuários do sistema, facilitando a comunicação por meio de linguagem natural, permitindo-lhes consultar suas informações na fala comum, redigir solicitações SQL direcionadas a bancos de dados pertinentes, modificar e restringir o escopo dessas consultas, e extrair descobertas úteis dos resultados.

A pesquisa universal aproveita o poder de grandes modelos de linguagem, como aqueles usados ​​pelos LLMs, para fornecer aos usuários uma função de pesquisa abrangente que identifica de forma rápida e eficiente as informações e aplicações mais pertinentes, adaptadas às suas necessidades específicas.

Utilizando Document AI, os usuários podem extrair com eficiência detalhes pertinentes, como valores faturados e estipulações de contrato, de documentações não organizadas armazenadas dentro dos limites seguros do ecossistema de dados Snowflake.

Notavelmente, várias entidades da indústria de dados, como a Databricks, desenvolveram capacidades comparáveis ​​através da introdução do LakehouseIQ. Como um concorrente notável do Snowflake, o Databricks ganhou destaque significativo neste campo.

Além do Watson da IBM e do BigQuery ML do Google Cloud, outras empresas como Informatica e Dremio introduziram suas próprias soluções para gerenciar e consultar dados usando entradas de linguagem natural. Essas ferramentas permitem que as empresas utilizem seus dados de maneira eficaz, fornecendo uma interface mais intuitiva e fácil de usar.

Mais anúncios no Snowday 2023

Snowflake, uma subsidiária da Snowflake, divulgou recentemente que está expandindo seu suporte para Iceberg Tables, que permite aos clientes consolidar todas as suas informações dentro do ecossistema de dados baseado em nuvem, eliminando assim silos de dados. Além disso, a empresa planeia introduzir novas funcionalidades na sua plataforma de governação Horizon, destinadas a melhorar a experiência do utilizador e a promover uma melhor tomada de decisões através de insights mais informados.

A atualização introduz diversas melhorias, como controle aprimorado de qualidade de dados, uma interface de usuário intuitiva para rastrear a linhagem de dados, categorização refinada de ativos de informação e o estabelecimento de um repositório centralizado para facilitar avaliações de segurança entre nuvens e adesão regulatória.

Além disso, a empresa revelou uma iniciativa financeira que visa fornecer até US$ 100 milhões em financiamento para startups inovadoras que desenvolvam aplicativos na plataforma Snowflake durante seus estágios iniciais.

O programa recebeu apoio de várias fontes, incluindo seu próprio braço de capital de risco e várias empresas externas de capital de risco, como Altimeter Capital, Amplify Partners, Anthos Capital, Coatue, ICONIQ Growth, IVP, Madrona, Menlo Ventures e Redpoint Ventures.

*️⃣ Link da fonte:

Dia de neve , Streamlit ,