View previous topic :: View next topic |
Author |
Message |
Sulien
Joined: 04 Jan 2004 Posts: 2905 Location: Zagreb
|
Posted: 07.02.2005 12:54 Post subject: remote pages & authentication |
|
|
Koristim fopen (read atribut naravno) da otvorim neki remote sadržaj, točnije Yahoo Groups stranicu. Skripta koju sam složio bi trebala pročitati tu stranicu i dohvatiti ono što ju zanima, ići na sljedeću itd. Da, nešto kao spidering. Stvar je u tome što Yahoo Groups koristi cookie athentication i, makar sam ja pri izvršavanju ulogiran na Groups kao user, PHP skripta koja se tu na mom Apacheu vrti nije ja pa njoj Yahoo odbija poslužiti stranice. Kako bih mogao to riješiti, odnosno kako Yahoo vidi da mu moja skripta pristupa i kako bi mogao 'ulogirati' svoj server na Yahoo tako da ga poslužuje? Need help
Mislim, nisam previše sklon Groupsima ali nam ovo zaista treba...
Moja ideja je bila da, budući da se ja browserom mogu ulogirati, skripta nekako iskoristi browser da dođe do sadržaja. Naravno to je apsurd jer je php server-side Druga ideja bi bilo napisati program koji fejka browser -- out of question (or Perl?). Treće -- neko suludo JS rješenje; Firefeox extension; dohvaćanje internet cachea; xxxxx ???
Ajde mi3 admini |
|
|
Back to top |
|
|
zytzagoo mi3.crew
Joined: 25 Aug 2003 Posts: 1842 Location: Zagreb, Hrvatska
|
Posted: 07.02.2005 17:20 Post subject: |
|
|
http://www.php.net/curl
http://curl.haxx.se/libcurl/php/examples/
U osnovi, mislim da ces trebati odsimulirati login na yahoo groups, kao da koristis browser, a zapravo to radis s php skriptom, pozivajuci odredjeni url i predajuci odredjene parametre curl-u, koji ce za tebe obaviti POST slanje forme i handlea-ti daljnju mozebitnu redirekciju i slicno... Curl podrzava cookie-je. |
_________________ [+]I[+]am[+]my[+]own[+]religion[+] |
|
Back to top |
|
|
Sulien
Joined: 04 Jan 2004 Posts: 2905 Location: Zagreb
|
Posted: 07.02.2005 23:18 Post subject: |
|
|
to! to!!! baš sam to tražio!!
e kako sam znao da ćeš se ti javit, zyt... je'l ima neki topic na kojem ti ne rješiš stvar??
idem odmah prilagodit skriptu |
|
|
Back to top |
|
|
Sulien
Joined: 04 Jan 2004 Posts: 2905 Location: Zagreb
|
Posted: 09.02.2005 10:34 Post subject: |
|
|
hoho -- job complete
skripta, kraj one užasne forme za login, groznog html koda i hrpe naknadnih redirectova u svrhu glupih reklama ipak uspijeva napraviti cookie session i pristupati porukama na grupi koju želim, iz kojih regexpima izvlačim body-e i headere emailova i spremam u bazu... sve zahvaljujući cURL-u
sada mogu napraviti bazu od svih ~10,000 mailova na groupsima... što će uskoro i biti potrebno
sad bih mogao razmisliti i da skriptu malo proljepšam i da je objavim pod nekim open source licensom... jer ipak ovakva stvar postoji samo komercijalno u jednom programu koju sam našao, ali open source skriptu nikako |
|
|
Back to top |
|
|
zytzagoo mi3.crew
Joined: 25 Aug 2003 Posts: 1842 Location: Zagreb, Hrvatska
|
Posted: 09.02.2005 12:01 Post subject: |
|
|
svaka cast |
_________________ [+]I[+]am[+]my[+]own[+]religion[+] |
|
Back to top |
|
|
che.UP mi3.crew
Joined: 07 Sep 2003 Posts: 2320 Location: zagreb
|
Posted: 09.02.2005 14:35 Post subject: |
|
|
Sulien wrote: |
sada mogu napraviti bazu od svih ~10,000 mailova na groupsima... što će uskoro i biti potrebno 8)
|
jos slozis regexpe koji ce ti stripat REMOVE_THIS, NOSPAM i slicne stringove unutar email adrese i prodas spamerima i obogatis se :) |
_________________ UP | TypeTester | Accommodations App
Meni u Firefox-u ne radi AJAX |
|
Back to top |
|
|
Sulien
Joined: 04 Jan 2004 Posts: 2905 Location: Zagreb
|
Posted: 09.02.2005 19:05 Post subject: |
|
|
e, to mi je čudno što ljudi stavljaju te dodatke da se zaštite, a svaki normalan čovjek koji programira spidere za traženje e-mailova može sa 5-6 dodatnih linija u kodu maknuti NOSPAM i REMOVETHIS (i varijante)
inače, ne mogu sa yahoogroupsa skidati emailove jer yahoo prikazuje samo prvo slovo od domene (ali da se u većini slučajeva lako pogoditi - 'y' je yahoo.com, 'h' je hotmail, itd.) |
|
|
Back to top |
|
|
|