remote pages & authentication

[Sulien]

Koristim fopen (read atribut naravno) da otvorim neki remote sadržaj, točnije Yahoo Groups stranicu. Skripta koju sam složio bi trebala pročitati tu stranicu i dohvatiti ono što ju zanima, ići na sljedeću itd. Da, nešto kao spidering. Stvar je u tome što Yahoo Groups koristi cookie athentication i, makar sam ja pri izvršavanju ulogiran na Groups kao user, PHP skripta koja se tu na mom Apacheu vrti nije ja pa njoj Yahoo odbija poslužiti stranice. Kako bih mogao to riješiti, odnosno kako Yahoo vidi da mu moja skripta pristupa i kako bi mogao 'ulogirati' svoj server na Yahoo tako da ga poslužuje? Need help

Mislim, nisam previše sklon Groupsima ali nam ovo zaista treba...

Moja ideja je bila da, budući da se ja browserom mogu ulogirati, skripta nekako iskoristi browser da dođe do sadržaja. Naravno to je apsurd jer je php server-side Druga ideja bi bilo napisati program koji fejka browser -- out of question (or Perl?). Treće -- neko suludo JS rješenje; Firefeox extension; dohvaćanje internet cachea; xxxxx ???

Ajde mi3 admini

[zytzagoo]

http://www.php.net/curl
http://curl.haxx.se/libcurl/php/examples/

U osnovi, mislim da ces trebati odsimulirati login na yahoo groups, kao da koristis browser, a zapravo to radis s php skriptom, pozivajuci odredjeni url i predajuci odredjene parametre curl-u, koji ce za tebe obaviti POST slanje forme i handlea-ti daljnju mozebitnu redirekciju i slicno... Curl podrzava cookie-je.

[Sulien]

to! to!!! baš sam to tražio!!

e kako sam znao da ćeš se ti javit, zyt... je'l ima neki topic na kojem ti ne rješiš stvar??

idem odmah prilagodit skriptu

[Sulien]

hoho -- job complete

skripta, kraj one užasne forme za login, groznog html koda i hrpe naknadnih redirectova u svrhu glupih reklama ipak uspijeva napraviti cookie session i pristupati porukama na grupi koju želim, iz kojih regexpima izvlačim body-e i headere emailova i spremam u bazu... sve zahvaljujući cURL-u

sada mogu napraviti bazu od svih ~10,000 mailova na groupsima... što će uskoro i biti potrebno

sad bih mogao razmisliti i da skriptu malo proljepšam i da je objavim pod nekim open source licensom... jer ipak ovakva stvar postoji samo komercijalno u jednom programu koju sam našao, ali open source skriptu nikako

[zytzagoo]

svaka cast

[che.UP]

Sulien wrote:

sada mogu napraviti bazu od svih ~10,000 mailova na groupsima... što će uskoro i biti potrebno 8)

jos slozis regexpe koji ce ti stripat REMOVE_THIS, NOSPAM i slicne stringove unutar email adrese i prodas spamerima i obogatis se :)

[Sulien]

e, to mi je čudno što ljudi stavljaju te dodatke da se zaštite, a svaki normalan čovjek koji programira spidere za traženje e-mailova može sa 5-6 dodatnih linija u kodu maknuti NOSPAM i REMOVETHIS (i varijante)

inače, ne mogu sa yahoogroupsa skidati emailove jer yahoo prikazuje samo prvo slovo od domene (ali da se u većini slučajeva lako pogoditi - 'y' je yahoo.com, 'h' je hotmail, itd.)