Raspador

Mini-biblioteca para extração de dados em documentos semi-estruturados

Sobre mim

• Desenvolvedor desde 2003
• Conheci Python em 2009
• Trabalho na NCR Corporation
• Na NCR, Python não é a linguagem primária

from raspador import history

• Foi utilizado para extração de dados de Espelhos MFD
• Virou código de base do projeto

Outro parser?

• lxml (XPath, cssselectors)
• html5lib (html parser)
• BeautifulSoup (tree parser api)
• PyQuery (cssselectors)
• Scrapely (magia negra)
• Scrapy (crawler: request, responsing)
• pyparsing (grammar)
• NLTK (grammar)
• Plain Python + regex

O que?

• Extrair dados de arquivos texto que não foram projetados para isso.

Problema

• Extrair dados em documentos de texto
  • Texto sem marcação
  • Arquivos grandes
• Pequenas variações entre arquivos
• Precisão na extração dos dados

Opções?

• lxml (XPath, cssselectors)
• html5lib (html parser)
• BeautifulSoup (tree parser api)
• PyQuery (cssselectors)
• Scrapely (magia negra)
• Scrapy (crawler: request, responsing)
• pyparsing (grammar)
• NLTK (grammar)
• Plain Python + regex

Plain Python + regex

• Fácil de escrever
• Difícil de manter

O que faz?

res = []
for linha in entrada.splitlines():
    if not linha:
        continue
    item = {}
    for parte in linha.split():
        k, v = parte.split(':')
        item[k] = v
    res.append(item)

Regular expressions

Some people, when confronted with a problem, think "I know, I'll use regular expressions." Now they have two problems. (Jamie Zawinski, 1997)

Não exagere

I love regular expressions (Jeff Atwood)

Objetivos

• Reduzir complexidade
  • Incluir semântica
  • Favorecer composição
• Código testável

Exemplo: pessoa_parser.py

from raspador import Parser
from raspador import StringField, IntegerField

class ParserDeInformacoesPessoais(Parser):
    Nome = StringField(r'Nome: (.*)')
    Idade = IntegerField(r'(\d+) anos')

pessoa.txt

Nome: Guido van Rossum

Guido van Rossum é um programador de computadores dos Países Baixos que é mais conhecido por ser o autor da linguagem de programação Python. Wikipédia

Nascimento: 31 de janeiro de 1956 (57 anos), Países Baixos

Cônjuge: Kim Knapp (desde 2000)

Educação: Universidade de Amsterdã (1982)

Filho: Orlijn Michiel Knapp-van Rossum

Irmão: Just van Rossum

pessoa_utilizacao.py

from pessoa_parser import ParserDeInformacoesPessoais

parser = ParserDeInformacoesPessoais()

with open('pessoa.txt') as f:
    for pessoa in parser.parse(f):
        print(pessoa.Nome)
        print(pessoa.Idade)

# parser.parse retorna um generator
with open('pessoa.txt') as f:
    g = parser.parse(f)
    print(type(g))
    print(next(g))

raspador.item

class Dictionary(OrderedDict):
    """
    Dictionary that exposes keys as properties for 
    easy read access.
    """
    def __getattr__(self, name):
        if name in self:
            return self[name]
        raise AttributeError(
            "%s without attr '%s'" %
                (type(self).__name__, name))

Campos built-in

from raspador import (
    BaseField, IntegerField,
    StringField, BooleanField,
    FloatField, BRFloatField,
    DateField, DateTimeField)

BaseField

search

>>> s = "02/01/2013 10:21:51           COO:022734"
>>> field = BaseField(search=r'COO:(\d+)')
>>> field.parse_block(s)
'022734'

BaseField

input_processor

>>> s = "02/01/2013 10:21:51           COO:022734"
>>> def double(value):
...     return int(value) * 2
...
>>> field = BaseField(r'COO:(\d+)', 
...                   input_processor=double)
>>> field.parse_block(s)  # 45468 = 2 x 22734
45468

BaseField

is_list

>>> s = "02/01/2013 10:21:51           COO:022734"
>>> field = BaseField(r'COO:(\d+)', is_list=True)
>>> field.parse_block(s)
['022734']

DateField

format_string

>>> s = "2013-01-02T10:21:51           COO:022734"
>>> field = DateField(r'^(\d+-\d+-\d+)', 
...                   format_string='%Y-%m-%d')
>>> field.parse_block(s)
datetime.date(2013, 1, 2)

Parser

• Responsável por conduzir a iteração
• Podem ser alinhados

Nem tudo que é texto

... está em texto

pdftotext

Dica:

pdftotext -layout <arquivo.pdf>

Mantém a estrutura do arquivo gerado próxima com o original.

Regular expressions

• Debuggex: visualize suas REs

  https://www.debuggex.com/

• Aurélio

  Expressões regulares, uma abordagem divertida

Compatibilidade

• CPython 2.6+
  • 2.6: pip install ordereddict
• CPython 3.2+
• PyPy

Testes

Testes automatizados com tox.

    $ tox

Bibliotecas de terceiros para os testes são instaladas automaticamente no ambiente virtual da versão do Python:

    nose==1.3.0
    coverage==3.6
    flake8==2.0

É nosso

https://github.com/fgmacedo/raspador

https://pypi.python.org/pypi/raspador

https://raspador.readthedocs.org/

Obrigado!

Fernando Macedo

@fgmacedo

fgmacedo.com

fgmacedo@gmail.com

fgmacedo.github.io/talks/pybr9_raspador/ (Slides)