O que é isso?

É um sistema de editoração, de altíssima qualidade tipográfica, utilizado na produção de documentos científicos com bastante conteúdo matemático.
Um exemplo de documento preparado com o LaTeX pode ser visto aqui e um outro aqui.

Para saber mais leia a Wikipedia ou a página do LaTeX Project.

Por quê LaTeX e não o MS Word?

O que fazer para começar?

1º passo - baixar e instalar um interpretador:

• MacTeX para Mac OS X;
• TeXLive para qualquer distribuição Linux;
• MikTeX para Windows. Independente do sistema operacional, recomendo baixar uma versão completa (com todos os pacotes) do interpretador.

2º passo - instalar um editor de texto apropriado:

• Texmaker é um excelente editor, gratuito e multiplataforma.

Mas qualquer editor de texto pode ser usado para escrever um documento em LaTeX.
Até o bloco de notas? Sim, até o bloco de notas!
Mas lembre-se que o MS Word é um processador de texto, não um editor!

3º passo - estudar uma boa referência:

• Leslie Lamport, LaTeX: A Document Preparation System, Addison-Wesley Professional, 2nd Edition, 1994.
• Tobias Oetiker et al., The Not So Short Introduction to LATEX2ε.
• Tobias Oetiker et al., Uma não tão pequena introdução ao LATEX2ε.
• Till Tantau et al., The BEAMER class.

Depois é só começar a usar.

ATENÇÃO:
Existe uma curva de aprendizado, em alguns momentos ela é bem lenta.
Porém, penso que os benefícios são grandes e justificam o tempo investido.

Modelo de documentos

• Modelo LaTeX para para preparar um artigo.
• Modelo LaTeX para preparar um conjunto de slides.
• Modelo LaTeX para dissertações/teses do PPG-EM UERJ, cortesia do Prof. Daniel Chalhub.
• LaTeX UERJ, cortesia do Prof. Luís Fernando de Oliveira.

Existe algo similar para gerar figuras de alto nível?

Sim, conheça o TikZ.

• Exemplos de figuras geradas nessa linguagem podem ser vistos aqui.
• Uma boa referência é o manual do TikZ/PGF.
• Para facilitar o desenvolvimento das figuras use o KtikZ.