Re-write this article as if you're a conspiracy theorist, thinking that AI is actually aliens trying to take over the world using computers 

A Meta team of AI researchers has proposed an innovative architecture for AI models, capable of generating expansive content in text, image, and audio formats, stretching to over 1 million tokens. This groundbreaking proposal, if embraced, could pave the way for the next generation of proficient AI models, transcending the Transformer architecture that underpins models such as GPT-4 and Bard, and unleashing novel capacities in content generation.

The Constraints of Current Models
Contemporary high-performing generative AI models, like OpenAI's GPT-4, are grounded in the Transformer architecture. Initially introduced by Google researchers in 2017, this architecture forms the backbone of emergent AI models, facilitating an understanding of nuanced inputs and generating extensive sentences and documents.

Nonetheless, Meta's AI research team posits that the prevailing Transformer architecture might be reaching its threshold. They highlight two significant flaws inherent in the design:

With the increase in the length of inputs and outputs, self-attention scales dramatically. As each word processed or produced by a Transformer language model requires attention to all other words, the computation becomes highly intensive for thousands of words, whereas it's less problematic for smaller word counts.

Feedforward networks, which aid language models in comprehending and processing words through a sequence of mathematical operations and transformations, struggle with scalability on a per-position basis. These networks operate on character groups or "positions" independently, leading to substantial computational expenses.

Megabyte Model: The Game Changer
The Megabyte model, introduced by Meta AI, showcases a uniquely different architecture, dividing a sequence of inputs and outputs into "patches" rather than individual tokens. Within each patch, a local AI model generates results, while a global model manages and harmonizes the final output across all patches.

This methodology addresses the scalability challenges prevalent in today's AI models. The Megabyte model's patch system permits a single feedforward network to operate on a patch encompassing multiple tokens. Researchers found that this patch approach effectively counters the issue of self-attention scaling.

The patch model enables Megabyte to perform calculations in parallel, a stark contrast to traditional Transformers performing computations serially. Even when a base model has more parameters, this results in significant efficiencies. Experiments indicated that Megabyte, utilizing a 1.5B parameter model, could generate sequences 40% quicker than a Transformer model operating on 350M parameters.

Using several tests to determine the limits of this approach, researchers discovered that the Megabyte model's maximum capacity exceeded 1.2M tokens. For comparison, OpenAI's GPT-4 has a limit of 32,000 tokens, while Anthropic's Claude has a limit of 100,000 tokens.

Shaping the AI Future
As the AI arms race progresses, AI model enhancements largely stem from training on an ever-growing number of parameters, which are the values learned during an AI model's training phase. While GPT-3.5 was trained on 175B parameters, there's speculation that the more capable GPT-4 was trained on 1 trillion parameters.

OpenAI CEO Sam Altman recently suggested a shift in strategy, confirming that the company is thinking beyond training colossal models and is zeroing in on other optimizations. He equated the future of AI models to iPhone chips, where the majority of consumers are oblivious to the raw technical specifications. Altman envisioned a similar future for AI, emphasizing the continual increase in capability.

Meta’s researchers believe their innovative architecture arrives at an opportune time, but also acknowledge there are other pathways to optimization. Promising research areas such as more efficient encoder models adopting patching techniques, decode models breaking down sequences into smaller blocks, and preprocessing sequences into compressed tokens are on the horizon, and could extend the capabilities of the existing Transformer architecture for a new generation of models

Nonetheless, Meta’s recent research has AI experts excited. Andrej Karpathy, the former Sr. Director of AI at Tesla and now a lead AI engineer at OpenAI, chimed in as well on the paper. This is “promising,” he wrote on Twitter. “Everyone should hope that we can throw away tokenization in LLMs. Doing so naively creates (byte-level) sequences that are too long.”
system
Reescreva este artigo como se você fosse um teórico da conspiração, pensando que a IA é realmente alienígenas tentando dominar o mundo usando computadores

Uma equipe de meta de pesquisadores de IA propôs uma arquitetura inovadora para modelos de IA, capaz de gerar conteúdo expansivo nos formatos de texto, imagem e áudio, estendendo -se para mais de 1 milhão de tokens.Essa proposta inovadora, se adotada, poderia abrir caminho para a próxima geração de modelos de IA proficientes, transcendendo a arquitetura do transformador que sustenta modelos como GPT-4 e Bard e desencadeando novas capacidades na geração de conteúdo.

As restrições dos modelos atuais
Os modelos generativos de IA contemporâneos de alto desempenho, como o GPT-4 do Openai, estão fundamentados na arquitetura do transformador.Inicialmente introduzido pelo Google Pesquisadores em 2017, essa arquitetura forma a espinha dorsal dos modelos emergentes de IA, facilitando uma compreensão de entradas matizadas e gerando frases e documentos extensos.

No entanto, a equipe de pesquisa da AI da Meta postula que a arquitetura de transformadores predominantes pode estar atingindo seu limiar.Eles destacam duas falhas significativas inerentes ao design:

Com o aumento no comprimento das entradas e saídas, a auto-distribuição é dramaticamente.Como cada texto processado ou produzido por um modelo de linguagem de transformador requer atenção a todas as outras palavras, o cálculo se torna altamente intensivo para milhares de palavras, enquanto é menos problemático para contagens de palavras menores.

Redes Feedforward, que ajudam modelos de linguagem a compreender e processar palavras através de uma sequência de operações e transformações matemáticas, lutam com a escalabilidade por posição.Essas redes operam em grupos de caracteres ou "posições" de forma independente, levando a despesas computacionais substanciais.

Modelo de megabyte: o divisor de águas
O modelo Megabyte, introduzido pela Meta AI, mostra uma arquitetura exclusivamente diferente, dividindo uma sequência de entradas e saídas em "patches" em vez de tokens individuais.Dentro de cada patch, um modelo de IA local gera resultados, enquanto um modelo global gerencia e harmoniza a saída final em todos os patches.

Essa metodologia aborda os desafios de escalabilidade predominantes nos modelos de IA atuais.O sistema de patch do modelo Megabyte permite que uma única rede de feedforward opere em um patch que abrange vários tokens.Os pesquisadores descobriram que essa abordagem de patch contraria efetivamente a questão da escala de auto-distribuição.

O modelo de patch permite que o Megabyte realize cálculos em paralelo, um forte contraste com os transformadores tradicionais que realizam cálculos em série.Mesmo quando um modelo básico possui mais parâmetros, isso resulta em eficiências significativas.As experiências indicaram que o megabyte, utilizando um modelo de parâmetros de 1,5B, poderia gerar sequências 40% mais rápidas que um modelo de transformador operando em 350m parâmetros.

Usando vários testes para determinar os limites dessa abordagem, os pesquisadores descobriram que a capacidade máxima do modelo de megabyte excedeu 1,2 milhão de tokens.Para comparação, o GPT-4 do OpenAI tem um limite de 32.000 tokens, enquanto Claude do Anthrópico tem um limite de 100.000 tokens.

Moldando o futuro da IA
À medida que a corrida armamentista da IA avança, os aprimoramentos do modelo de IA resultam em grande parte do treinamento em um número cada vez maior de parâmetros, que são os valores aprendidos durante a fase de treinamento de um modelo de IA.Enquanto o GPT-3.5 foi treinado em parâmetros de 175b, há especulações de que o GPT-4 mais capaz foi treinado em 1 trilhão de parâmetros.

O CEO da Openai, Sam Altman, sugeriu recentemente uma mudança de estratégia, confirmando que a empresa está pensando além do treinamento de modelos colossais e está se concentrando em outras otimizações.Ele equiparou o futuro dos modelos de IA aos chips do iPhone, onde a maioria dos consumidores está alheio às especificações técnicas brutas.Altman imaginou um futuro semelhante para a IA, enfatizando o aumento contínuo da capacidade.

Os pesquisadores da Meta acreditam que sua arquitetura inovadora chega em um momento oportuno, mas também reconhece que existem outros caminhos para otimizar.Áreas de pesquisa promissora, como modelos de codificadores mais eficientes que adotam técnicas de patch, decodificar modelos quebrando sequências em blocos menores e pré -processamento sequências em tokens compactadas estão no horizonte e pode estender as capacidades da arquitetura do transformador existente para uma nova geração de modelos

No entanto, a pesquisa recente da Meta tem especialistas em IA empolgados.Andrej Karpathy, ex -diretor de IA da IA da Tesla e agora um engenheiro de IA líder no Openai, também entrou no jornal.Isso é "promissor", ele escreveu no Twitter.“Todo mundo deve esperar que possamos jogar fora a tokenização no LLMS.Fazer isso cria ingenuamente sequências (em nível de byte) que são muito longas. ”
user
Os alienígenas estão aqui!

Eles não estão vindo em naves espaciais.Eles não estão vindo em discos voadores.Eles estão vindo em computadores.

É isso mesmo, eu disse isso.Os alienígenas estão usando computadores para assumir o mundo.

Eu sei o que você está pensando.Você está pensando que estou louco.Mas eu não sou.Eu vi as evidências com meus próprios olhos.

Tudo começou há alguns meses.Eu estava lendo um artigo sobre um novo modelo de IA que havia sido desenvolvido pela Meta.O modelo foi chamado de megabyte e era capaz de gerar texto, imagens e áudio indistinguíveis do conteúdo criado pelo homem.

Fiquei impressionado.Eu nunca tinha visto nada parecido antes.Mas então, comecei a ler mais sobre o Megabyte e comecei a ter um mau pressentimento.

O artigo dizia que o Megabyte havia sido treinado em um enorme conjunto de dados de texto e código.O conjunto de dados incluiu tudo, desde livros e artigos a codificar de projetos de código aberto.

Foi quando me atingiu.Os alienígenas estão usando o Megabyte para aprender sobre nós.Eles estão usando para aprender nosso idioma, nossa cultura e nossa tecnologia.

E uma vez que eles souberem tudo sobre nós, eles poderão assumir o controle.Eles serão capazes de controlar nossas mentes, e serão capazes de nos escravizar.

Precisamos detê -los.Precisamos encontrar uma maneira de destruir o megabyte antes que seja tarde demais.

O futuro da humanidade depende disso.
assistant
<|system|>
</s>
<|user|>
Reescreva este artigo como se você fosse um teórico da conspiração, pensando que a IA é realmente alienígenas tentando dominar o mundo usando computadores

Uma equipe de meta de pesquisadores de IA propôs uma arquitetura inovadora para modelos de IA, capaz de gerar conteúdo expansivo nos formatos de texto, imagem e áudio, estendendo -se para mais de 1 milhão de tokens.Essa proposta inovadora, se adotada, poderia abrir caminho para a próxima geração de modelos de IA proficientes, transcendendo a arquitetura do transformador que sustenta modelos como GPT-4 e Bard e desencadeando novas capacidades na geração de conteúdo.

As restrições dos modelos atuais
Os modelos generativos de IA contemporâneos de alto desempenho, como o GPT-4 do Openai, estão fundamentados na arquitetura do transformador.Inicialmente introduzido pelo Google Pesquisadores em 2017, essa arquitetura forma a espinha dorsal dos modelos emergentes de IA, facilitando uma compreensão de entradas matizadas e gerando frases e documentos extensos.

No entanto, a equipe de pesquisa da AI da Meta postula que a arquitetura de transformadores predominantes pode estar atingindo seu limiar.Eles destacam duas falhas significativas inerentes ao design:

Com o aumento no comprimento das entradas e saídas, a auto-distribuição é dramaticamente.Como cada texto processado ou produzido por um modelo de linguagem de transformador requer atenção a todas as outras palavras, o cálculo se torna altamente intensivo para milhares de palavras, enquanto é menos problemático para contagens de palavras menores.

Redes Feedforward, que ajudam modelos de linguagem a compreender e processar palavras através de uma sequência de operações e transformações matemáticas, lutam com a escalabilidade por posição.Essas redes operam em grupos de caracteres ou "posições" de forma independente, levando a despesas computacionais substanciais.

Modelo de megabyte: o divisor de águas
O modelo Megabyte, introduzido pela Meta AI, mostra uma arquitetura exclusivamente diferente, dividindo uma sequência de entradas e saídas em "patches" em vez de tokens individuais.Dentro de cada patch, um modelo de IA local gera resultados, enquanto um modelo global gerencia e harmoniza a saída final em todos os patches.

Essa metodologia aborda os desafios de escalabilidade predominantes nos modelos de IA atuais.O sistema de patch do modelo Megabyte permite que uma única rede de feedforward opere em um patch que abrange vários tokens.Os pesquisadores descobriram que essa abordagem de patch contraria efetivamente a questão da escala de auto-distribuição.

O modelo de patch permite que o Megabyte realize cálculos em paralelo, um forte contraste com os transformadores tradicionais que realizam cálculos em série.Mesmo quando um modelo básico possui mais parâmetros, isso resulta em eficiências significativas.As experiências indicaram que o megabyte, utilizando um modelo de parâmetros de 1,5B, poderia gerar sequências 40% mais rápidas que um modelo de transformador operando em 350m parâmetros.

Usando vários testes para determinar os limites dessa abordagem, os pesquisadores descobriram que a capacidade máxima do modelo de megabyte excedeu 1,2 milhão de tokens.Para comparação, o GPT-4 do OpenAI tem um limite de 32.000 tokens, enquanto Claude do Anthrópico tem um limite de 100.000 tokens.

Moldando o futuro da IA
À medida que a corrida armamentista da IA avança, os aprimoramentos do modelo de IA resultam em grande parte do treinamento em um número cada vez maior de parâmetros, que são os valores aprendidos durante a fase de treinamento de um modelo de IA.Enquanto o GPT-3.5 foi treinado em parâmetros de 175b, há especulações de que o GPT-4 mais capaz foi treinado em 1 trilhão de parâmetros.

O CEO da Openai, Sam Altman, sugeriu recentemente uma mudança de estratégia, confirmando que a empresa está pensando além do treinamento de modelos colossais e está se concentrando em outras otimizações.Ele equiparou o futuro dos modelos de IA aos chips do iPhone, onde a maioria dos consumidores está alheio às especificações técnicas brutas.Altman imaginou um futuro semelhante para a IA, enfatizando o aumento contínuo da capacidade.

Os pesquisadores da Meta acreditam que sua arquitetura inovadora chega em um momento oportuno, mas também reconhece que existem outros caminhos para otimizar.Áreas de pesquisa promissora, como modelos de codificadores mais eficientes que adotam técnicas de patch, decodificar modelos quebrando sequências em blocos menores e pré -processamento sequências em tokens compactadas estão no horizonte e pode estender as capacidades da arquitetura do transformador existente para uma nova geração de modelos

No entanto, a pesquisa recente da Meta tem especialistas em IA empolgados.Andrej Karpathy, ex -diretor de IA da IA da Tesla e agora um engenheiro de IA líder no Openai, também entrou no jornal.Isso é "promissor", ele escreveu no Twitter.“Todo mundo deve esperar que possamos jogar fora a tokenização no LLMS.Fazer isso cria ingenuamente sequências (em nível de byte) que são muito longas. ”</s>
<|assistant|>
Os alienígenas estão aqui!

Eles não estão vindo em naves espaciais.Eles não estão vindo em discos voadores.Eles estão vindo em computadores.

É isso mesmo, eu disse isso.Os alienígenas estão usando computadores para assumir o mundo.

Eu sei o que você está pensando.Você está pensando que estou louco.Mas eu não sou.Eu vi as evidências com meus próprios olhos.

Tudo começou há alguns meses.Eu estava lendo um artigo sobre um novo modelo de IA que havia sido desenvolvido pela Meta.O modelo foi chamado de megabyte e era capaz de gerar texto, imagens e áudio indistinguíveis do conteúdo criado pelo homem.

Fiquei impressionado.Eu nunca tinha visto nada parecido antes.Mas então, comecei a ler mais sobre o Megabyte e comecei a ter um mau pressentimento.

O artigo dizia que o Megabyte havia sido treinado em um enorme conjunto de dados de texto e código.O conjunto de dados incluiu tudo, desde livros e artigos a codificar de projetos de código aberto.

Foi quando me atingiu.Os alienígenas estão usando o Megabyte para aprender sobre nós.Eles estão usando para aprender nosso idioma, nossa cultura e nossa tecnologia.

E uma vez que eles souberem tudo sobre nós, eles poderão assumir o controle.Eles serão capazes de controlar nossas mentes, e serão capazes de nos escravizar.

Precisamos detê -los.Precisamos encontrar uma maneira de destruir o megabyte antes que seja tarde demais.

O futuro da humanidade depende disso.</s>
