/monitor para acompanhar páginas conhecidas, rastrear um site em um agendamento ou executar uma busca contínua na web por novos resultados que correspondam a uma meta.
Todos os tipos de monitor compartilham o mesmo fluxo de trabalho: escolha um ou mais alvos, defina um agendamento, adicione uma meta opcional em linguagem simples e receba notificações por webhook, email ou Slack quando algo importante acontecer. Esta página aborda a configuração compartilhada. Para configurações e exemplos específicos de alvo, acesse a página de monitoramento de Página, Site ou Toda a web em escala.
Para se qualificar, participe de uma entrevista com informações relevantes (casos de uso bem elaborados e concretos etc.) com nosso Assistente de Feedback do Firecrawl. Leva apenas alguns minutos, pode ser interrompida a qualquer momento e é adequada tanto para humanos quanto para agentes (basta colar o link no seu ambiente de execução agêntico!). É mais útil se você realiza buscas ou scraping em sites governamentais, judiciais, regulatórios ou de registros públicos e já enfrentou suas particularidades na prática.
Iniciar a entrevistaInclua seu email para se qualificar. As entrevistas são avaliadas quanto à qualidade ao final de cada semana.
Monitoramento de páginas
Monitoramento de sites
Monitoramento de toda a web em escala
same, new, changed, removed ou error. Você pode receber um webhook quando cada página monitorada for concluída, um webhook para cada verificação concluída, resumos por email quando houver mudanças ou erros, notificações do Slack em um canal, ou qualquer combinação dessas notificações.
Alvos
retentionDays tem valor padrão de 30 e pode ser definido em até 365.
Cada chamada de criação retorna o novo monitor com o cron normalizado, nextRunAt calculado e estimatedCreditsPerMonth. Quando a avaliação está habilitada, estimatedCreditsPerMonth é uma estimativa de limite superior, porque os créditos de avaliação só são cobrados para páginas alteradas que de fato são avaliadas:
Objetivos e avaliação
goal em linguagem simples quando quiser receber alertas apenas sobre mudanças significativas. Se goal estiver presente e judgeEnabled for omitido, o Firecrawl ativa a avaliação automaticamente. A avaliação é executada nas páginas alteradas e retorna um judgment com meaningful, confidence, reason e meaningfulChanges.
Como a meta é aplicada depende do alvo: monitores de página e site avaliam páginas alteradas, enquanto monitores de toda a web em escala avaliam cada novo resultado de busca.
Use judgeEnabled: false se quiser armazenar uma meta sem avaliar as mudanças ainda. O avaliador só é executado quando o monitor tem judgeEnabled e um goal não vazio.
goal é obrigatório para alvos search (monitoramento de toda a web em escala), a menos que você defina judgeEnabled: false. Ele é opcional para alvos scrape e crawl.monitor.page como este quando uma história correspondente entrar no escopo:
Agendamentos
every 30 minutesevery 15 minutes starting at :07hourlyevery 2 hoursdailydaily at 9:00daily at 9amdaily at 5:30 PMweekly
timezone determina quando expressões como daily at 9am são executadas. Os agendamentos em texto são distribuídos com base no ID do monitor antes de serem convertidos para cron, para que vários monitores não sejam executados todos no mesmo instante.
Rastreamento de mudanças
same, changed, new, removed ou error. Quando quiser detectar mudanças em campos estruturados específicos (preço, manchete, indicador de disponibilidade em estoque, itens de uma lista etc.), habilite o rastreamento de mudanças no modo JSON adicionando um formato changeTracking com modes: ["json"] às scrapeOptions do alvo.
scrape e crawl. Monitores de toda a web em escala completos (search) emitem alertas sobre novos resultados em vez de comparar páginas conhecidas. Veja Statuses and dedup.Modo Markdown (padrão)
scrapeOptions.formats é apenas ["markdown"], cada página alterada na resposta da verificação inclui um diff de texto unificado e uma AST no estilo parseDiff:
Modo JSON
changeTracking com modes: ["json"] junto com um schema JSON (ou um prompt) que descreva os campos que importam para você. O Firecrawl extrai esse JSON em cada verificação e gera um diff por campo identificado pelo caminho do campo, além de um snapshot.json com a extração atual completa, para que os consumidores não precisem buscar novamente o scraping subjacente.
{previous, current}:
same, a menos que você também habilite o git-diff (veja o modo misto abaixo). O diff se concentra exclusivamente nos campos do seu schema.Modo misto (JSON + git-diff)
diff.text (sidecar em markdown) quanto diff.json (diff por campo), junto com a extração snapshot.json:
changed sempre que qualquer uma das saídas mudar.
Notificações
Webhooks
webhook, o Firecrawl pode enviar dois eventos do monitor:
monitor.page: Enviado conforme cada scraping monitorado é concluído no worker de scraping.monitor.check.completed: Enviado após a consolidação da verificação completa. Inclui o status da verificação e contagens de resumo. Use os eventosmonitor.pageou a API de verificação do monitor para obter resultados por página.
monitor.page inclui isMeaningful e judgment quando a avaliação de alteração significativa é executada para uma página alterada.
monitor.page:
monitor.check.completed:
success é true quando a verificação é concluída sem erros de página. É false em verificações com falha ou parciais, e error contém o motivo da falha quando disponível.
recipients for omitido, o Firecrawl enviará para os membros da equipe aptos a receber emails de alerta do sistema.
Você pode configurar até 25 destinatários especificados.
Processo de confirmação do destinatário
Slack
- Abra o painel de monitoramento. Você pode adicionar notificações do Slack ao criar um novo monitor ou adicioná-las a um monitor que já existe.
- Durante a criação do monitor ou após selecionar um monitor existente, role até Notificações e selecione Slack.
- Você precisará passar pelo fluxo de OAuth. Conclua o processo e selecione o workspace e o canal em que deseja receber as notificações.
Consultar resultados
GET /v2/monitor/{monitorId}/checks para listar verificações e GET /v2/monitor/{monitorId}/checks/{checkId} para inspecionar uma verificação. Os SDKs fazem paginação automática por padrão.
status da verificação: queued, running, completed, failed, partial ou skipped_overlap.
A resposta de detalhes da verificação inclui estimatedCredits, actualCredits, contagens resumidas e um array pages paginado. estimatedCredits é a reserva no limite máximo para a verificação; actualCredits é o valor final cobrado depois que o Firecrawl determina quantas páginas mudaram e precisaram de avaliação. Use a URL next de nível superior para buscar a próxima página de resultados, seguindo a paginação do rastreamento. Você pode filtrar páginas por status: same, new, changed, removed ou error. Cada página alterada inclui dados de diff inline; páginas de monitores em modo JSON também incluem um snapshot com a extração atual.
- Modo Markdown
- Modo JSON
- Modo misto

