A Tesla V100, lançada em 2017, foi comprada por cerca de US$ 200 e transformada em expansão de memória de vídeo em um PC gamer que já rodava jogos AAA com uma RTX 4080. O conjunto fechou 32 GB de VRAM e passou a executar um modelo de linguagem de 27 bilhões de parâmetros a 32 tokens por segundo, sem depender de nuvem nem de conexão com a internet.

Oscar Molnar, o criador do PC, documentou o processo em seu blog e ressaltou que a GeForce ainda é responsável por desenhar os frames, enquanto a placa de servidor carrega o modelo na memória.

A divisão aproximada do desembolso total foi de cerca de US$ 266, com a placa de servidor sendo a peça mais cara, mas a solução foi simples e não exigiu peça cara, apenas os fios da ventoinha foram redirecionados para o header PWM da placa-mãe.

Para resolver o problema de software, Oscar Molnar rodou o sistema operacional NixOS com um driver NVIDIA de ramo legado, que ainda é compatível com as duas arquiteturas separadas por cinco anos de distância.

O resultado foi impressionante, com a placa de servidor entregando números respeitáveis quase uma década depois do lançamento, e a taxa de 32 tokens por segundo, que supera a de boa parte das alternativas acessadas via API na nuvem.

A ausência de núcleos dedicados a Ray Tracing e de qualquer saída de vídeo explica por que a placa não substitui uma GeForce, mas em inferência de modelo de linguagem, a conta muda e a HBM2 leva vantagem sobre a GDDR6 de placas intermediárias mais novas.

Com informacoes de Adrenaline.