PDF para Markdown

As colunas encontram-se à caça de medianizes: faixas verticais que nenhuma linha atravessa e que percorrem quase toda a banda de texto. A largura, por si só, não prova nada. Um relatório de uma só coluna com uma tabela de duas células tem espaços estreitos espalhados por todo o lado, e um limiar de largura chamaria fronteira de coluna a cada um deles, pelo que o que decide é outra coisa: uma medianiz verdadeira é respeitada por todas as linhas de corpo, e a fracção de altura coberta nos dois flancos dá o veredicto. As faixas correntes comparam-se com os dígitos normalizados, porque «Página 3 de 40» e «Página 4 de 40» são o mesmo rodapé. Seis páginas em dez. Abaixo disso, a linha fica. As tabelas são a parte honesta. Três ou mais linhas consecutivas cujos fragmentos começam em posições x aproximadamente coincidentes formam uma tabela; a prosa não. As fronteiras agrupam-se com uma tolerância proporcional ao tamanho do tipo, e cada tabela sai com um valor de confiança: a fracção das suas linhas que as respeita de verdade. Abaixo de 0,6 continua a ser escrita, sinalizada e levantada como aviso. Inventar células seria pior. As imagens vêm recortadas da página rasterizada a 216 dpi, em vez de extraídas do fluxo original. Isso custa resolução nativa e compra sobrevivência frente a todas as codificações que um PDF pode transportar. O pacote leva um fragmento por linha em JSONL, cada um com o seu caminho de títulos, páginas, estimativa de tokens e SHA-256, mais um mapa a indicar que página produziu cada bloco. Os fragmentos cortam nas fronteiras dos blocos. Sempre. Partir um parágrafo a meio de uma frase para acertar numa contagem de tokens dá pedaços que ninguém lê isolados, e isso arruína a recuperação por completo.