wget scaricare pagina internet

5 risposte [Ultimo contenuto]
Ritratto di gala_00
gala_00
(Geek)
Offline
Geek
Iscritto: 14/06/2012
Messaggi: 80

Ciao a tutti, mi spiace sottoporvi questo problema ma proprio non ne vengo a capo.

Sto usando wget per scaricare una pagina internet con alcune info che devo poi passare ad un database.
Il problema che la pagina ha un menù a tendina che limita le info che wget scarica.
Sapete come posso impostare wget per dirgli di selezionare la voce corretta del menù a tendina e poi fargli scaricare la pagina?

Grazie A presto
_00

Ritratto di homeless
homeless
(Guru)
Offline
Guru
Iscritto: 21/10/2011
Messaggi: 1431

gala_00 ha scritto:

Ciao a tutti, mi spiace sottoporvi questo problema ma proprio non ne vengo a capo.

Sto usando wget per scaricare una pagina internet con alcune info che devo poi passare ad un database.
Il problema che la pagina ha un menù a tendina che limita le info che wget scarica.
Sapete come posso impostare wget per dirgli di selezionare la voce corretta del menù a tendina e poi fargli scaricare la pagina?

Grazie A presto
_00


Se indichi qual'è la pagina web che ti interessa, ci si può dare un'occhiata.

Ritratto di gala_00
gala_00
(Geek)
Offline
Geek
Iscritto: 14/06/2012
Messaggi: 80

Grazie per l'aiuto,

la pagina è: https://it.investing.com/equities/italy

di default si posiziona su "FTSE MIB" ma con li menù a tendina si può selezionare la voce "italia tutte le azioni".
Quello che non riesco a far fare a wget è selezionare la voce del menù.
Penso che debba usare qualche altro strumento per interagire con il sito e poi eseguire wget.
Non sono un super esperto ma da quello che ho visto, il menù attiva una funzione (del codice) che recupera le info.

Grazie in anticipo per qualunque aiuto.

_00

Ritratto di Ilix
Ilix
(Junior)
Offline
Junior
Iscritto: 25/10/2017
Messaggi: 9

Hai già provato ad usare --post-data?

Tipo...

wget --post-data 'user=foo&password=bar' http://example.com/auth.php

Il name della select non si vede perché vengono usati i JS per passare le info a Ajax, però sarà la stessa dell'id.

Altrimenti ti tocca andare a scavare nei JS per vedere cosa combina l'evento onchange su quella tendina. In questo caso... auguri!

Ciao. Ilic

Ritratto di Ilix
Ilix
(Junior)
Offline
Junior
Iscritto: 25/10/2017
Messaggi: 9

Ho fatto una prova ma non funziona. Non funziona nemmeno con GET.
Probabile che i dati arrivano tramite la chiamata ad un altro PHP. Devi prima di tutto trovare qual è la pagina php che interroga il DB e restituisce quella tabella.

Ritratto di gala_00
gala_00
(Geek)
Offline
Geek
Iscritto: 14/06/2012
Messaggi: 80

Grazie per gli utili consigli, ho fatto un po' di prove ma attualmente sono rimasto fermo al punto di partenza.
Quello che ho fatto è stato scaricare giù tutto il sito, da ciò che ho capito, posso dire che quando si seleziona la tendina, si avvia un pezzo di codice in PHP che recupera le info richieste, quelle mancanti nella pagina di default vengono recuperate da altre pagine. Ma la cosa strana è che alcune info non le ho trovate. In questi giorni vedrò di riprovare.
Ancora grazie e mille.

_00