awk - Speed the process of matching two columns using python -

-

अगर मेरे पास FILE1 समान है: 

  1 56903 1 293943 1 320022 2 24050 2 404999 2 1003093

और ऐसा FILE2: 

  1 rs40209 56903 1 rs209485 79382 1 rs392392 320022 2 rs30302 504922 2 rs3202309 707899 2 rs39339 1003093

और मैं दूसरे कॉलम को खींचना चाहता हूं कि FILE1 के साथ FILE1 मैच का पहला और दूसरा, मैं एक नेस्टेड लूप का उपयोग FILE1 इस awk कमांड के माध्यम से पढ़ सकता हूँ: 

  जबकि COL1 COL2 पढ़ा; क्या करें- V COL1 = $ COL1 -v COL2 = $ COL2 '($ 1 == COL1 और amp; $ 3 == COL2) {प्रिंट $ 2}' $ FILE2 किया & lt; "$ FILE1"

आउटपुट के रूप में

<पूर्व> rs40209 rs392392 rs39339

वापस आएगा।

< P> हालांकि, यह करने के लिए नेस्टेड लूप का उपयोग बहुत धीमा है।

अधिकांश डेटा सॉर्ट किए जाते हैं, लेकिन सभी नहीं, और मैं सॉर्ट नहीं कर सकता क्योंकि अन्य फाइल इन फाइलों पर मौजूदा ऑर्डर में निर्भर करती है।

अजगर का उपयोग, FILE1 के लिए ~ 2 एम प्रविष्टियों और FILE2 के साथ ~ 1 एम प्रविष्टियों के साथ यह करने का एक बहुत तेज़ तरीका क्या होगा?

पायथन में आप सेट में 1 फ़ाइल की सामग्री पढ़ेंगे। सेट को एक हैश तालिका द्वारा समर्थित किया जाता है जो औसत O (1) (निरंतर-समय) लुकअप: 

  खोलने वाला ('FILE1 ') फ़ाइल के रूप में: file1_contents = {फ़ाइल में पंक्ति के लिए} टुपे (लाइन.split ())}

फिर दूसरी फ़ाइल को फ़िल्टर करें: 

  खोलने के साथ ('FILE2') फ़ाइल 2 के रूप में: file2: c1, c2, c3 = line.split () में अगर फ़ाइल 1_contents: print (c2) में (c1, c3)

के साथ के लिए FILE1 और FILE2 प्रश्न के रूप में सामग्री वाले, आउटपुट में परिणाम 

  rs40209 rs392392 rs39339

2 मिलियन प्रविष्टियों के साथ, सेट में थोड़ी मात्रा में राम (लगभग 1 गीगाबाइट) का उपभोग होगा, लेकिन इसमें सबसे ज्यादा असीमपटाटिक समय जटिलता होगी FILE1 में 2 मिलियन प्रविष्टियों और FILE2 में 1 मिलियन के लिए कुल समय मेरे लैपटॉप पर 5 सेकंड था। यह फैब्रिकेटर की एडब्ल्यूके स्क्रिप्ट की तुलना में ~ 4 गुना तेज है: 

 % time awk -f script.awk FILE2 & gt; / Dev / null awk -f script.awk FILE2 & gt; / Dev / null 17.47s उपयोगकर्ता 0.14 s सिस्टम 99% cpu 17.606 कुल% समय अजगर filter.py & gt; / Dev / null पायथन filter.py & gt; / Dev / null 4.32s उपयोगकर्ता 0.20s सिस्टम 99% सीपीयू 4.526 कुल

Comments

Post a Comment

Popular posts from this blog

java - org.apache.http.ProtocolException: Target host is not specified -

-
I have written a simple httprequest / response code and I am getting this error below: I used to type in my classpath httpclient, httpcore, common -Codecs and general logging. I am very new to Java and I do not know what's going on here. Please help me. code: import org.apache.http.client.HttpClient; Import org.apache.http.client.methods.HttpGet; Import org.apache.http.HttpResponse; Import org.apache.http.impl.client.HttpClientBuilder; Import org.apache.http.Header; Import org.apache.http.HttpHeaders; Public class UnshorteningUrl {public static zero main (string [] args throws exception {HttpGet request = zero; HTTP Client Client = HTTP ClientBuilder.credit (). Build (); Try {Request = New HTTP Gate ("trib.me/1lBFzSi"); HttpResponse httpResponse = client.execute (request); Header [] header = httpResponse.getHeaders (HttpHeaders.LOCATION); // Preconditions.checkState (headers.length == 1); String new url = header [0] .getValue (); System.out.println ("new url...
Read more

java - Gradle dependencies: compile project by relative path -

-
Is it possible to specify a dependency on another gradeal project in the granular (in android studios) outside the current project limits? For example, with a relative path like this: dependence {collection project ('../../ stdlib / dagger'}} MyApp (path / user / foo / workspace / mypad) The app (Path / User / Foo / Workspace / MyPass / App) And I have an Android Library Project with 3 subdomules: stdlib (path is / user / foo / Utilities (Path / User / Foo / Workspace / Stadlib / Utilis) http (Path / User / Foo / Workspace / Stadlib / HT) / Li> What I have to do is compile the Dagger, Util, http module in the MyApp project. The Stidelib Library module under heavy development And MyApp will grow in the form of Growth, so I do not want to push them into a Mewen repository. I am a little change. is likely to add another Gredle projects in some way? I will push the study library into the Maven repository after the source is in search of a temp...
Read more

ruby on rails - Object doesn't support #inspect when used with .include -

-
So I have participated in a glitch error that I do not even know how to debug. I am very new to the railing, so it has kicked my ass well when I use the .includes (school) seen by the student, it gives a blue box error, But when I look at any other model and .includes (school) , the school works just fine. class student & lt; ActiveRecord :: Base has has_many: relationships, foreign_key: "liker_id", dependent :: has_many: matches, foreign_key: "student_1_id", dependent :: deleted belong_to: school belong_to: conference belong_to: would_you_rather belong_to: home city belong_to: year is_to: Major and class school & lt; on the console activatecord :: Affiliate for the base: conference includes: respondent, class: "school", foreign_key: "rival_id" (e.g. For: School) Select SQL generated Select "School". * "School" from "school" "ID" IN (1) error message back NoMethodError: u...
Read more