Hadoop Gyakorlat 1 Korszer adatbzisok 2014 Parancsok Listzs

Hadoop Gyakorlat 1 Korszerű adatbázisok 2014

Parancsok • Listázás – hadoop fs –ls • Kiírja egy fájl tartalmát – hadoop fs –cat • Betöltés – hadoop fs –put • Könyvtár létrehozás – hadoop fs –mkdir • Könyvtár törlése rekurzívan – hadoop fs -rmr Gombos Gergő Korszerű Adatbázisok 2014 2

Eclipse plugin 1. Letölteni a szükséges jar-okat a. http: //oktnb 16. inf. elte. hu/ggombos/korszeru/ b. hadoop-eclipse-plugin-1. 1. 2. jar c. hadoop-core-1. 2. 1. jar 2. 3. 4. 5. Plugin bemásolása az eclipse/plugin mappába Elindítjuk az eclipset Nézet átállítása Map/Reduce-ra New Hadoop location beállítása Gombos Gergő Korszerű Adatbázisok 2014 3

Hadoop location • map/reduce master: – host: monet. inf. elte. hu – port: 10814 • dfs master: – use M/R Master host OK – host: monet. inf. elte. hu – port: 8020 • User name: neptun azonosito Gombos Gergő Korszerű Adatbázisok 2014 4

Segítség A generált kódban lecseréljük a sorokat erre: conf. set. Input. Format(Text. Input. Format. class); conf. set. Output. Format(Text. Output. Format. class); File. Input. Format. set. Input. Paths(conf, new Path("In")); File. Output. Format. set. Output. Path(conf, new Path("Out")); Létező fmappák törlése: File. System fs = File. System. get(conf); if (fs. exists(new Path(“Outer”))) fs. delete(new Path(“Outer”), true); Gombos Gergő Korszerű Adatbázisok 2014 5