Comments on: OpenWebSpider# v0.1.1 http://www.openwebspider.org/2008/08/21/openwebspider-v011/ Open Source Web Spider Tue, 19 May 2009 07:59:47 +0000 hourly 1 http://wordpress.org/?v=3.2.1 By: Shen139 http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-222 Shen139 Thu, 04 Sep 2008 09:04:27 +0000 http://www.openwebspider.org/?p=51#comment-222 Ciao Max, sono contento che hai risolto il problema! Per quanto riguarda la pressione di invio alla fine non ti nascondo che l'ho messo più per effettuare i debug che per altro... sto per rilasciare la versione 0.1.2 (con interessanti novità come l'indicizzazione delle immagini e altro....) e di sicuro ti tolgo quella rottura! Grazie per la segnalazione! Stefano Ciao Max,
sono contento che hai risolto il problema!

Per quanto riguarda la pressione di invio alla fine non ti nascondo che l’ho messo più per effettuare i debug che per altro… sto per rilasciare la versione 0.1.2 (con interessanti novità come l’indicizzazione delle immagini e altro….) e di sicuro ti tolgo quella rottura!

Grazie per la segnalazione!

Stefano

]]> By: Shen139 http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-221 Shen139 Thu, 04 Sep 2008 09:01:51 +0000 http://www.openwebspider.org/?p=51#comment-221 Hi hilkiah, OWS uses a table (hostlist) where are stored all domains you want to index for example: www.example.com, www.test.com, .... You can simply add all the domains you want to index to that table and run openwebspider on the first of the list. To add hostnames you can use the followind command: openwebspider.exe −−index www.example.com −−add−hostlist (this command won't index www.example.com) The easy way to index a single website is: openwebspider.exe −−index www.example.com -s To index a single page: openwebspider.exe −−index www.example.com/page.html -m 0 -s Please refer to this page for a complete how-to: http://www.openwebspider.org/documentation/openwebspider-v01/openwebspider-v01-command-line-argumentsusage/ Hi hilkiah,
OWS uses a table (hostlist) where are stored all domains you want to index
for example: http://www.example.com, http://www.test.com, ….
You can simply add all the domains you want to index to that table and run
openwebspider on the first of the list.
To add hostnames you can use the followind command:
openwebspider.exe −−index http://www.example.com −−add−hostlist
(this command won’t index http://www.example.com)

The easy way to index a single website is:
openwebspider.exe −−index http://www.example.com -s

To index a single page:
openwebspider.exe −−index http://www.example.com/page.html -m 0 -s

Please refer to this page for a complete how-to:
http://www.openwebspider.org/documentation/openwebspider-v01/openwebspider-v01-command-line-argumentsusage/

]]> By: cangieit http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-220 cangieit Wed, 03 Sep 2008 14:01:57 +0000 http://www.openwebspider.org/?p=51#comment-220 Ciao stefano, PERFETTO, avevi ragione, il problema era in mono.....il casino delle dipendenze non sono riuscito a risolverlo e quindi Centos5 -> Centos4 ed è perfetto. ;;;)))) Complimenti ancora. L'unica cosa che alla fine della scansione dopo il "Bye Bye" mi compare "premere un tasto per continuare" come posso fare x toglierlo? è possibile evitarlo? Ciao e grazie ancora Max Ciao stefano,
PERFETTO, avevi ragione, il problema era in mono…..il casino delle dipendenze non sono riuscito a risolverlo e quindi Centos5 -> Centos4 ed è perfetto. ;;;)))) Complimenti ancora.

L’unica cosa che alla fine della scansione dopo il “Bye Bye” mi compare “premere un tasto per continuare” come posso fare x toglierlo? è possibile evitarlo?

Ciao e grazie ancora
Max

]]> By: hilkiah http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-219 hilkiah Wed, 03 Sep 2008 12:20:29 +0000 http://www.openwebspider.org/?p=51#comment-219 Hi Shen139, I've just stumbled upon OpenWebSpider and I'm hoping that it'll serve as a replacement for Nutch (crawler/indexer functionality). My question is...how can I crawl multiple pages? Say I have a list of 1000 URLS to crawl, put it another way (the Nutch way), how can I do a web crawl with OWS? Secondly, OWS only parses html/text files, thus if someone wanted to assist the project by writing a parser for another file format (say pdf), would they HAVE to use C#? Thanks, Hilkiah Hi Shen139,

I’ve just stumbled upon OpenWebSpider and I’m hoping that it’ll serve as a replacement for Nutch (crawler/indexer functionality).

My question is…how can I crawl multiple pages? Say I have a list of 1000 URLS to crawl, put it another way (the Nutch way), how can I do a web crawl with OWS?

Secondly, OWS only parses html/text files, thus if someone wanted to assist the project by writing a parser for another file format (say pdf), would they HAVE to use C#?

Thanks,
Hilkiah

]]> By: Shen139 http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-218 Shen139 Wed, 03 Sep 2008 08:53:56 +0000 http://www.openwebspider.org/?p=51#comment-218 Per me a occhio e croce è un problema di mono! Prova a upgradare alla versione 1.9.1! Il fatto è che mono è un bel progettone ma che purtroppo non è molto interfacciato con lo sviluppo del framework .NET di microsoft... soprattutto nelle versioni precedenti. Le ultime versioni sono molto stabili e molto aderenti agli standard! Molta gente mi ha scritto di avere vari problemi con vecchie versioni di mono... problemi risolti al 100% con l'ultima versione stabile disponibile! Io stesso quando sviluppo cerco di usare pacchetti aggiornati alle ultimissime versioni... questo però mi crea un sacco di problemi con le persone che hanno versioni vecchie e su cui io non ho mai testato lo spider. Prova e fammi sapere! Ciau Per me a occhio e croce è un problema di mono!
Prova a upgradare alla versione 1.9.1!
Il fatto è che mono è un bel progettone ma che purtroppo non è molto interfacciato con lo sviluppo del framework .NET di microsoft… soprattutto nelle versioni precedenti. Le ultime versioni sono molto stabili e molto aderenti agli standard!

Molta gente mi ha scritto di avere vari problemi con vecchie versioni di mono… problemi risolti al 100% con l’ultima versione stabile disponibile!

Io stesso quando sviluppo cerco di usare pacchetti aggiornati alle ultimissime versioni… questo però mi crea un sacco di problemi con le persone che hanno versioni vecchie e su cui io non ho mai testato lo spider.

Prova e fammi sapere!

Ciau

]]> By: cangieit http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-217 cangieit Wed, 03 Sep 2008 08:43:03 +0000 http://www.openwebspider.org/?p=51#comment-217 Ciao Stefano, ogni tanto non solo inglese non è male.... ;) mi spiego meglio, che sono stato molto vago: Centos 5, ( CentOS (2.6.18-92.1.10.el5)) mono-core 1.2.4-2.el5.centos The Mono CIL runtime, suitable for running .NET code mono-data 1.2.4-2.el5.centos Database connectivity for Mono mono-devel 1.2.4-2.el5.centos Development tools for Mono mono-web 1.2.4-2.el5.centos ASP.NET, Remoting, and Web Services for Mono mono-winforms 1.2.4-2.el5.centos Windows Forms implementation for Mono mysql-server 5.0.45-7.el5 questo è quello che ho.....la cosa strana è che si blocca e rimane appesa, andando a vedere sotto mysql rimane in sleep e sta li.....a vita senza dare nessun errore esplicito.... Ciao e grazie Max Ciao Stefano,
ogni tanto non solo inglese non è male…. ;)
mi spiego meglio, che sono stato molto vago:

Centos 5, ( CentOS (2.6.18-92.1.10.el5))

mono-core 1.2.4-2.el5.centos The Mono CIL runtime, suitable for running .NET code
mono-data 1.2.4-2.el5.centos Database connectivity for Mono
mono-devel 1.2.4-2.el5.centos Development tools for Mono
mono-web 1.2.4-2.el5.centos ASP.NET, Remoting, and Web Services for Mono
mono-winforms 1.2.4-2.el5.centos Windows Forms implementation for Mono

mysql-server 5.0.45-7.el5

questo è quello che ho…..la cosa strana è che si blocca e rimane appesa, andando a vedere sotto mysql rimane in sleep e sta li…..a vita senza dare nessun errore esplicito….

Ciao e grazie
Max

]]> By: Shen139 http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-216 Shen139 Wed, 03 Sep 2008 08:01:50 +0000 http://www.openwebspider.org/?p=51#comment-216 Ciao, (che bello... un commento in italiano :-) ) Quando ci sono di questi problemi solitamente la causa si nasconde in mono. Sicuro che hai l'ultima versione? Se usi lo spider sotto windows e hai il framework .NET versione 2.0 o successiva stai apposto! Se il motivo non sta dietro a mono allora forse sta dietro al mysql! Il connector che usa OWS è l'ultima versione (al momento del rilascio dello spider) e forse se hai una versione un pò vecchia di mysql ci sono problemi di retrocompatibilità. Ottieni qualche errore o si blocca e basta? Stefano Ciao,
(che bello… un commento in italiano :-) )
Quando ci sono di questi problemi solitamente la causa si nasconde in mono.
Sicuro che hai l’ultima versione?
Se usi lo spider sotto windows e hai il framework .NET versione 2.0 o successiva stai apposto!

Se il motivo non sta dietro a mono allora forse sta dietro al mysql!
Il connector che usa OWS è l’ultima versione (al momento del rilascio dello spider) e forse se hai una versione un pò vecchia di mysql ci sono problemi di retrocompatibilità.

Ottieni qualche errore o si blocca e basta?

Stefano

]]> By: cangieit http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-215 cangieit Tue, 02 Sep 2008 17:39:50 +0000 http://www.openwebspider.org/?p=51#comment-215 Ciao Stefano, bel progetto.....utilizzavo una release + vecchia la .7 ora ho scaricato la 1.1, ma durante il collegamento al mysql entra in sleep la connessione, qualche suggerimento? ciao e grazie e un saluto a tutti...... max Ciao Stefano,
bel progetto…..utilizzavo una release + vecchia la .7 ora ho scaricato la 1.1, ma durante il collegamento al mysql entra in sleep la connessione, qualche suggerimento?

ciao e grazie e un saluto a tutti……
max

]]> By: Shen139 http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-213 Shen139 Mon, 01 Sep 2008 11:34:46 +0000 http://www.openwebspider.org/?p=51#comment-213 OWS uses its own memory not that of mysql! Please give me the error you get! OWS uses its own memory not that of mysql!

Please give me the error you get!

]]> By: webie http://www.openwebspider.org/2008/08/21/openwebspider-v011/comment-page-1/#comment-212 webie Mon, 01 Sep 2008 11:14:30 +0000 http://www.openwebspider.org/?p=51#comment-212 Hi Stefano, I have for 4GB ram installed but have locked mysql into memory with memlock does ows use swap memory? Maybe i take mysql out of lock and try again. Regards Darren Hi Stefano,

I have for 4GB ram installed but have locked mysql into memory with memlock does ows use swap memory? Maybe i take mysql out of lock and try again.

Regards

Darren

]]>