Fisiere foarte mari... cum te descurci?

Am o problema, in sensul ca trebuie sa ... lucrez cu niste fisiere xml foarte mari, unele ajungand si la 150 MB ... Sunt mult prea mari pentru a le prelucra in php, mult prea mari pentru a le deschide intr-un editor xml pe desktop...

Am incercat varianta unui spliter cu care sa impart fisierul mare in bucati mai mici. Nu am reusit sa gasesc insa un program bun pentru asta ... Am gasit multe in linie de comanda (nu ma descurc cu ele), am gasit unele cu installer si GUI dar surpriza... nu functioneaza! :)

V-ati intalnit cu situatia asta? Cum ati procedat? Ce as putea sa fac ca sa pot totusi lucra cu aceste fisiere?

Eu folosesc VIM, lucrez si cu fisiere de 4-6 Giga, asa ca ti-l recomand si tie tot pe acesta.

:) VIM este unul dintre acelea care nu mi-a mers ... L-am instalat, totul cool, dar cand sa deschid fisierul xml si sa vad ce e pe acolo.... blank... nu se intampla nimic. Gresesc undeva, e vreo chichita de care nu stiu?

Nu am incercat metoda lui haos, insa am folosit splitter si a functionat foarte bine. Din pacate nu imi amintesc nici cum se numea, nici unde l-am gasit. Asa ca iti recomand sa incerci mai multe, pentru ca sigur e macar unul bun.

Daca vrei sa il imparti in mai multe fisiere poti folosi Text File Splitter. Il gasesti free pe softpedia la download (Download Text File Splitter 2.0.4 Free - Split large text files using this utility - Softpedia).
Eu l-am folosit acum ceva timp pentru a imparti un fisier de log de pe linux de vreo 2 GB. Poti seta tu cum vrei sa ti-l splituiasca (nr. de linii, dimensiune, etc).

Sper sa iti foloseasca.

@alex @ioan - merci, o sa incerc acum ceva...

Nu ai spus ce sistem de operare ai. Daca mie imi merge pentru 6 giga, la cei 150 mega ai tai ar trebui sa zboare..

depinde si cati ram-i ai, la 1gb nu prea e de ajuns, la 2gb e o sansa daca inchizi toate procesele care consuma mai mult in momentul respectiv (gen firefox)
l-ai putea importa si in phpmyadmin si prelucra de acolo

Xp cu 2 GB ram ... o sa incerc si varianta cu pmy. Merci...

Eu aveam problema asta cu dumpuri de sql de peste 16 GB. Foloseam csplit in linie de comanda. (csplit - Wikipedia, the free encyclopedia)

Nu am inteles exact problema si cum ai vrea sa le prelucrezi, dar cred ca Notepad++ te poate ajuta.

Știu că acum ceva timp am întâlnit și eu astfel de fișiere mari (peste 500MB). Am folosit tot vim (cum a mai recomand cineva pe aici) pe Utuntu, iar configurația PC-ului nu era chiar foarte grozavă. Nu a mers greu, nu s-a blocat, știu că-i mai aplicasem chiar și câteva parsări.

Text File Splitter 2.0.4 e bun .. chiar foarte bun
Ca sa copiezi intr-un singur fisier inapoi toate xml-urile splitate dupa ce te-ai jucat cu ele foloseste direct in consola comanda: copy *.xml ToateFisierele.xml

Mai pe inteles.
Daca ai fisierele splitate pe partitia D: in documentul ... Documente25
Te duci in consola si introduci pathul adica de genul
d:\bla bla bla\Documente25
apoi
copy *.xml DenumireFisier.xml

Si vei avea intr-un singur fisier iarasi toate xml-urile splitate .

Cam asa lucrez eu cu fisiere de 3-4 Gb de text .

Citat:

---

Postat în original de Toto

Am o problema, in sensul ca trebuie sa ... lucrez cu niste fisiere xml foarte mari, unele ajungand si la 150 MB ... Sunt mult prea mari pentru a le prelucra in php, mult prea mari pentru a le deschide intr-un editor xml pe desktop...

Am incercat varianta unui spliter cu care sa impart fisierul mare in bucati mai mici. Nu am reusit sa gasesc insa un program bun pentru asta ... Am gasit multe in linie de comanda (nu ma descurc cu ele), am gasit unele cu installer si GUI dar surpriza... nu functioneaza! :)

V-ati intalnit cu situatia asta? Cum ati procedat? Ce as putea sa fac ca sa pot totusi lucra cu aceste fisiere?

---

Poti sa folosesti si php, cu un XML Parser (probabil tu ai folosit simplexml si de aceea nu ai reusit).

Uite un exemplu folosit de mine.

Cod:

---

        foreach($myfeeds as $f) {
            $x = new XMLReader();
            $dest = JPATH_COMPONENT.DS."xml".DS.$f->nume.".xml"; //path to xml.
           

            $x->open($dest); // am incarcat o copie locala a xml-ului, pentru a fi mai rapid.
            $z = microtime(true);
            set_time_limit(0);
            while($x->read()){
       
                if(($x->nodeType === 1)){ //luam numele elementului.
                    $nume = $x->name;
                }
               
                if(($x->nodeType === 3)) { // construit un array, cand suntem la text-ul elementului
                    $data[$nume] = $x->value;
                   
                }
               
                if(($x->nodeType === 15) && ($x->name =='title')){    // daca suntem la inchiderea elementului title
                        $cautare['text'] = 'aldo';
                        $cautare['titlu'] = $data['title'];
                    if($this->searchInXML($cautare) == true){
                        //echo $data['title']."<br>";
                        $ok = true;
                    }
                    else {
                        $x->next('item'); // nu este produsul cautat, trecem la urmatorul produs, sarind urmatoarele elemente (mai scade din timp)
                        $ok = false;
                    }
                }
               
               
                if(($x->nodeType === 15) && ($x->name =='item') && ($ok == true)){ //verifica daca este la inchiderea atributului item, cel care contine produsele. acum putem sa printam produsele care le-am gasit pentru ca array-ul este complet.
                    //print_r($data);
                    //echo "<br><br><br>";
                   
                }
          }
        }

---

of topic @Bogdan Ungureanu. gadgetland.ro vezi ca e virusat:D