CodeGemma do Google: não estou impressionado

As informações acima mencionadas foram revisadas e atualizadas a partir de 11 de abril de 2024, por nossa dedicada equipe editorial para garantir precisão e relevância.

Autor(es): Mandar Karhade, MD. Doutorado.

Publicado originalmente neste site.

Eu experimentei CodeGemma. Aqui estão meus resultados

Com base na interpretação do Google sobre seu propósito, CodeGemma pretende incorporar várias qualidades e características.

CodeGEMMA é uma inovação altamente avançada no domínio da criação e conclusão de código, surgindo como parte da extensa série de modelos Gemma do Google. Como uma variante especializada do modelo Gemma-7b, o CodeGEMMA abrange impressionantes 0,7 bilhão de exemplos adicionais de alto calibre e específicos de código, servindo como um instrumento robusto para programadores e acadêmicos. Neste artigo, exploraremos as complexidades subjacentes, os usos variados e as possibilidades ilimitadas do CodeGEMMA, transmitindo uma compreensão completa de suas capacidades de última geração.

https://huggingface.co/TechxGenus/CodeGemma-7b

Refinamos o Gemma-7b incorporando uma quantidade substancial de dados relacionados ao código de alta qualidade, compreendendo 0,7 bilhão de tokens, ao longo de três épocas. Para agilizar o processo de treinamento, utilizamos DeepSpeed ​​ZeRO 3 e Flash Attention 2. O modelo resultante demonstra desempenho excepcional no reconhecimento de entrada humana, atingindo uma pontuação de 67,7% de precisão a uma taxa de 1 erro por instância (“pass@1 ”) quando avaliado em relação ao benchmark HumanEval-Python. Notavelmente, este modelo de linguagem avançado opera exclusivamente dentro do conjunto de instruções Alpaca, excluindo qualquer referência ao prompt inicial do sistema.

Fiquei perplexo ao tentar utilizar o modelo 2B, em oposição ao seu equivalente mais avançado, o modelo 7B. Apesar da minha familiaridade com o primeiro, descobri que ele não era capaz de gerar resultados de forma eficaz com base na entrada de linguagem natural ou fornecer sugestões de código precisas para diversas tarefas, resultando em uma experiência de usuário abaixo do ideal.

Para executar o script Python fornecido, utilizei uma plataforma baseada em nuvem chamada Google Colab. O processo envolveu as seguintes etapas:

% pip instalar acelerar

Em seguida, reinicie a sessão/tempo de execução

O código acima recupera uma chave exclusiva conhecida como “hf\_key” que é armazenada no ambiente Google Colab do usuário usando o módulo userdata fornecido pelo Hugging Face. Esta chave permite acesso aos modelos pré-treinados e tokenizadores de última geração desenvolvidos pela Hugging Face para tarefas de processamento de linguagem natural, como geração de texto e tradução automática. Além disso, ele importa os módulos necessários da biblioteca Transformers, especificamente AutoModelForCausalLM , AutoTokenizer e GemmaTokenizer. Por fim, importa a biblioteca PyTorch que fornece suporte para cálculos de aprendizagem profunda.

Neste caso, “hf\_key” serve como uma informação confidencial que foi armazenada com segurança no Secret Manager do Google Colab. Sinta-se à vontade para atribuir a ele qualquer designação preferida que achar adequada. Para mais detalhes sobre este tópico, consulte nosso artigo publicado disponível no Medium, onde fornecemos uma exploração e análise aprofundada sem nenhum custo.

Estendemos cordialmente nosso convite para ingressar na estimada comunidade de profissionais de dados, assinando nosso boletim informativo sobre IA, que conta com mais de 80.000 assinantes exigentes. Fique por dentro dos avanços de ponta em inteligência artificial em vários domínios por meio de nossa cobertura abrangente, que vai desde pesquisas inovadoras até implementações de projetos inovadores e conceitos instigantes. Além disso, se a sua organização estiver envolvida no desenvolvimento de um empreendimento orientado por IA, convidamos você a explorar oportunidades de patrocínio e parceria conosco.

Publicado através deste site

*️⃣ Link da fonte:

Mandar Karhade, MD. Doutorado. , https://huggingface.co/TechxGenus/CodeGemma-7b ,